抓取预算：AI 爬虫进不来，往往是一堆小事叠在一起

抓取预算听起来抽象，落到日志上很具体：同样一段时间，爬虫来的次数少了，或者来了只抓首页就走。我们看过一个站，三个月内抓取频次从每天两千多次掉到三百次，运营以为是内容不受欢迎，实际是四个技术问题叠加。

先看首字节，再看内容

他们的详情页首字节平均 1.8 秒，高峰期超过 3 秒。爬虫有超时阈值，等不及就放弃，下一次来的间隔会拉长。把数据库查询和图片懒加载顺序调了一遍，首字节降到 400 毫秒，抓取频次两周内回到一千以上。

重复 URL 在偷偷吃掉预算

同一个商品可以通过分类页、标签页、带参数的筛选页、带 utm 的推广页访问，每个地址都算一次抓取。没有 canonical 约束，爬虫会把预算花在同一条内容的不同壳上。加上 canonical、屏蔽无意义参数、收敛筛选组合，实际内容被抓的次数才会上升。

正文别只靠 JS 渲染

不是所有 AI 爬虫都执行 JavaScript。核心内容如果在客户端渲染，抓到的可能只是一个空容器。服务端渲染或预渲染不是必须全站做，至少详情页、问答页、对比页要保证源码里有正文。

无效页面也在消耗

大量 404、软 404（返回 200 但内容是“暂无数据”）、空标签页，会拉低整站抓取质量。定期看日志里的状态码分布，比凭感觉删页面更有效。

排查顺序建议

• 服务器日志：爬虫 UA 的请求量与状态码；
• 速度：首字节与最大内容绘制时间；
• URL 治理：canonical、参数、分页；
• 渲染：关闭 JS 后页面是否还有正文；
• 站点地图：重点页面是否都在，是否返回 200。

按这个顺序做，通常两周能看出变化。别一上来就改模板，先确认预算丢在哪。