“AI 爬虫访问矩阵”是AI 搜索可见性与 GEO中的重要检查事项。审计时需要围绕“分别检查 GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot、Google-Extended、Applebot-Extended 等”展开，并结合“记录 robots.txt 中每个爬虫对应的实际规则”判断是否存在真实风险；结论应以可复核的页面、数据或平台证据为依据。
最佳实践
1. 分别检查 GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot、Google-Extended、Applebot-Extended 等。
2. 记录 robots.txt 中每个爬虫对应的实际规则。
3. 未单独验证的爬虫标记为“未审计”，不能默认放行。
4. 区分搜索访问控制与模型训练控制。
5. 若关键 AI 搜索爬虫不可达，应触发技术可达性警示。
实用建议
先选择首页和具有代表性的页面模板作为样本，优先验证：分别检查 GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot、Google-Extended、Applebot-Extended 等。
继续核对：记录 robots.txt 中每个爬虫对应的实际规则。发现异常时按页面模板和问题类型分组，不要只记录单个 URL。
保存检测时间、页面 URL、截图或平台导出结果；对无法从公开页面确认的内容明确标记为“需补查”。
页面、响应头、渲染或公开资料可验证。
审计说明
页面、响应头、渲染或公开资料可验证。