AI 爬虫是 AI 公司用来抓取网页的程序,例如 OpenAI 的 GPTBot 和 OAI-SearchBot、Anthropic 的 ClaudeBot、Perplexity 的 PerplexityBot。
网站在 robots.txt 里可以单独允许或禁止这些爬虫。有的爬虫用于训练模型,有的用于实时回答用户问题,作用不同。
多数 AI 爬虫不执行 JavaScript,正文必须写在原始 HTML 里才读得到。
在开悟报告里怎么测
开悟检查 robots.txt 对主要 AI 爬虫的设置,并用不执行脚本的方式抓取页面,确认正文可读。这两项构成 GEO 的 AI 爬虫可达分项,占 15 分。
先看一份关于您官网的体检报告
提交域名和目标市场。报告由人工复核后发给您,里面的每个数字都注明来源和口径。