robots.txt 里写给 AI 爬虫的那几行，多数站点写反了

一个做工业传感器的客户找到我们时，结论很直接：官网在几个 AI 平台里几乎没有出现过。技术同事先查了 robots.txt，写的是 User-agent: * Allow: /，看起来没有任何问题。真正的原因在另一层：他们的 WAF 把一批海外 IP 段当成异常流量，直接返回 403，其中就包括 AI 爬虫。

robots.txt 是声明，不是开关

robots.txt 只表达“欢迎或不愿意被谁抓”，它没有强制力。遵守它的爬虫会退让，不遵守的照样来。反过来，即使 robots.txt 全部放开，前面的防火墙、CDN 防护、频率限制仍然可以把你拦在门外。所以排查顺序永远是：先看服务器日志里有没有爬虫的请求，再看这些请求返回了什么状态码，最后才去看 robots.txt 写得对不对。

常见的三种“写反了”

把整站屏蔽当成保护

有的站点为了防采集，直接写 Disallow: /，同时对主流搜索引擎单独放行。这个做法在传统搜索时代勉强成立，在 AI 时代等于主动退出。如果不希望被模型引用，这样做没问题；如果目标是 GEO，这就是自断入口。

只允许 Googlebot

只写一条 Googlebot 的规则，其他一律拒绝，会让一批 AI 爬虫吃闭门羹。更稳妥的做法是先记录真实来访的 UA，再按需放行，不要凭印象写规则。UA 名称以日志为准，不同平台还会调整，定期核对比抄一份清单更可靠。

屏蔽了搜索参数页，却把内容放在参数页

为了防重复收录，很多站点屏蔽了带参数的 URL。但如果你的规格、报价、型号差异都只存在于参数页，屏蔽之后就只剩一个空壳页面可抓。结果是页面被收录，内容却没被读到。

怎么验证抓取是通的

• 看日志：确认 AI 爬虫 UA 有访问记录，状态码以 200 为主；
• 看响应：首字节时间控制在 1 秒内，避免超时放弃；
• 看内容：返回的 HTML 里要有正文，不能只靠 JS 渲染；
• 看地图：sitemap 中的重点 URL 能被正常访问，没有 301 链。

这四步做完，再谈内容优化才有意义。抓取不通的时候，写多少篇都是自娱自乐。

先确认门是开的，再讨论屋里摆什么。