很多品牌把“AI 不引用我”归因于内容不好，实际排查下来，第一步就断了：页面根本没被抓到。抓取检测要回答的不是“有没有排名”，而是“请求有没有到达你的页面”。
为什么不能只看 robots.txt
robots 只说明你允许谁抓，不说明对方真的抓到了。CDN 的地域限制、WAF 的人机校验、频控规则、动态渲染缺失，都可能让请求停在半路。我们见过 robots 全开放、但内容页对非浏览器请求一律返回 403 的站点。
检测怎么做
- 按平台特征 UA 请求首页、栏目页与重点内容页，记录状态码与返回体；
- 对照 CDN 与 WAF 日志，确认拦截发生在边缘节点还是源站；
- 对返回正常但长期无引用的页面，检查是否存在渲染依赖与内容注入问题；
- 按影响面排序，先修被拦截的重点页面。
常见修复顺序
先放开对公开内容的误拦截，再处理动态渲染，最后才讨论内容质量。顺序反了，会出现在打不开的页面上反复改文案的情况。
抓取是入口。入口关着，后面的优化都无处落地。
Advantages
核心优势
按平台 UA 实测
用各平台真实请求特征访问首页、栏目与内容页，而不是只检查 robots 文件。
抓取链路逐层判断
从 DNS、CDN、WAF 到应用层逐层排查，区分“抓不到”和“抓到了但没收录”。
拦截规则识别
定位具体拦截来源，是频率限制、UA 黑名单还是人机校验，避免盲目关掉防护。
修复优先级清单
按影响页面数量与内容重要度排序，先修能带来最多引用机会的那几项。
Process
服务流程
标准化交付流程，每一步都有明确产出与验收标准。
-
01
范围确认
确定需要检测的域名、栏目与重点内容页，明确目标平台清单。
-
02
UA 探测
以各平台特征 UA 发起请求，记录状态码、响应时间与返回内容。
-
03
链路排查
对照 CDN、WAF 与服务器日志，确认拦截发生在哪一层。
-
04
报告与修复
输出检测明细与修复建议，复测确认抓取恢复正常。
Scenarios
适用场景
- 站点改版后 AI 引用突然减少
- 开了 CDN 或 WAF 后收录下降
- 新站长期没有被 AI 引用
- 内容页正常但栏目页抓不到
- 需要向技术团队说明具体拦截点
抓取检测和收录查询有什么区别？
收录查询看的是结果，抓取检测看的是过程。前者告诉你有没有被收录，后者告诉你是在哪一层被挡住，两者的修复方式完全不同。
平台没有公开爬虫标识怎么办？
部分平台不公开独立 UA，我们会用公开标识加通用请求特征组合探测，并在报告中标注置信度，避免把推测当成结论。
检测会不会影响站点安全？
不会。检测只发起正常的页面请求，不尝试绕过验证，也不做高频压测；发现拦截后给的是配置建议，由技术团队确认后再改。
GEO · Growth Engine
想了解「AI 抓取检测」是否适合你的品牌？
留下品牌与目标，我们先给出可见度基线判断，再给出服务建议。