robots.txt 告诉 AI 爬虫什么
每个站点的策略按照其自身报告的方式来解读:依据的是它的 robots.txt 对 40 个为 AI 搜索和问答抓取页面的爬虫,以及 9 个采集训练数据的爬虫是怎么说的。
- 对 AI 开放79.7%(545)AI 搜索:允许 · AI 训练:允许
- AI 搜索允许,AI 训练不允许8.8%(60)AI 搜索:允许 · AI 训练:不允许
- 选择性开放3.8%(26)部分 AI 公司允许,其他拒之门外
- 对 AI 关闭7.7%(53)AI 搜索:不允许 · AI 训练:不允许
以上为 684 个有应答站点的占比。开放包括 119 个完全没有 robots.txt 的站点,即全部允许。关闭包括 13 个对所有爬虫(含搜索引擎)都关闭自身的主机名:多为 API 和 CDN 主机名,而非针对 AI 的决定。
服务器是否照 robots.txt 所说的做?
robots.txt 只是一个请求,而服务器先给出答案。在检查自身的访问之后,每个首页又被请求了四次,每次使用一个 AI 爬虫的 user-agent 字符串,并将应答与该站点 robots.txt 对该爬虫的说明并列。
| 爬虫 | robots.txt 中禁止 | 服务器拒绝 | robots.txt 允许时仍被拒绝 | robots.txt 禁止时仍被提供 |
|---|---|---|---|---|
| GPTBot OpenAI 训练 | 15.6% | 8.8% | 5.9% | 80 个中的 75% |
| OAI-SearchBot ChatGPT 搜索 | 8.2% | 3.8% | 2.3% | 46 个中的 76.1% |
| ClaudeBot Anthropic 训练 | 15.5% | 8.7% | 5.5% | 75 个中的 74.7% |
| PerplexityBot Perplexity 搜索 | 12.3% | 8.5% | 6.3% | 60 个中的 71.7% |
robots.txt 中禁止:684 个有应答站点的占比。服务器各列:首页对检查自身请求开放的站点(约 525 个)的占比。禁止时仍被提供:在禁止该爬虫的站点中的占比。拒绝指 401、403、429 或 503。
自上月以来有什么变化
这是第一期。从 2026 年 12 月期起,本节将列出每一个更改了其 AI 策略、开始或停止封禁四个爬虫之一、或其服务器开始或停止拒绝其 robots.txt 所允许的爬虫的站点。
查询某个站点
索引中的每个站点,按其 2026 年 11 月 1 日的应答。不在样本中的站点也可以用同样的方式免费检查。
被封禁最多的 AI 爬虫
| 爬虫 | 公司 | 用途 | 被以下比例封禁 |
|---|---|---|---|
| Bytespider | Bytedance | 仅训练 | 17.5%( 120 ) |
| CCBot | Common Crawl | 仅训练 | 17.3%( 118 ) |
| GPTBot | OpenAI | 仅训练 | 15.6%( 107 ) |
| ClaudeBot | Anthropic | 仅训练 | 15.5%( 106 ) |
| Diffbot | Diffbot | AI 问答 | 14%( 96 ) |
| meta-externalagent | Meta AI | AI 问答 | 14%( 96 ) |
| Google-Extended | Google AI | AI 问答 | 13.5%( 92 ) |
| cohere-ai | Cohere | AI 问答 | 13.2%( 90 ) |
| Applebot-Extended | Apple Intelligence | 仅训练 | 12.9%( 88 ) |
| PetalBot | Huawei | AI 搜索索引 | 12.9%( 88 ) |
| Amazonbot | Amazon | AI 问答 | 12.3%( 84 ) |
| PerplexityBot | Perplexity | AI 搜索索引 | 12.3%( 84 ) |
占比基于 684 个有应答站点中,其 robots.txt 对该爬虫禁止 / 的(按名称或通过其所属分组)。检查所知的每个爬虫都在 summary.json 中;每个爬虫是什么,见爬虫参考。
为 AI 编写的文件与信号
| 信号 | 判定标准 | 站点 |
|---|---|---|
| llms.txt | 真正的:以 Markdown 标题开头的文本文件 | 15.8%( 108 ) |
| Content-Signal | robots.txt 中说明内容可用于何用途的一行 | 2.5%( 17 ) |
| TDM 保留 | 欧盟文本与数据挖掘退出声明,以响应头或 /.well-known/tdmrep.json 形式 | 0.9%( 6 ) |
| 面向代理的 markdown 副本 | 首页对 Accept: text/markdown 以 markdown 应答 | 3.7%( 25 ) |
| agents.json | 位于 /.well-known/agents.json | 0.3%( 2 ) |
| noai 指令 | 在首页的 meta robots 或 X-Robots-Tag 中 | 0%( 0 ) |
以上为 684 个有应答站点的占比。
逐期列表
| 版本 | 应答 | 开放 | AI 搜索,无训练 | 选择性 | 关闭 | 拒绝一个被允许的爬虫 | 提供一个被屏蔽的爬虫数据 |
|---|---|---|---|---|---|---|---|
| 2026 年 11 月 | 1000 中的 684 | 79.7 % | 8.8 % | 3.8 % | 7.7 % | 11.3 % | 63.7 % |
方法
- 每月同样的站点。Tranco 列表 8PXYV 的前 1,000 个主机名,这是研究标准的排名,于 2026 年 10 月 11 日下载并冻结,因此指数的变化是站点的变化,而不是列表的变化。其中一些是没有网站的基础设施主机名;它们计为未应答。
- 同一天,同样的规则。每月 1 日,从 GitHub Actions 云运行器(本版运行时间为 13:27 至 13:37 UTC):每个站点一次,一次六个,不重试。这就是本网站为任何人运行的检查,评分规则 v3:robots.txt、llms.txt、首页及其 markdown 副本、agents.json 和 TDM 文件以 CrawlReadinessBot 身份访问,然后以 GPTBot、OAI-SearchBot、ClaudeBot 和 PerplexityBot 身份访问首页,只保留状态。站点自己的报告所述与该指数对其的所述一致。
- 四种策略。从 robots.txt 对 40 个搜索和应答爬虫以及 9 个训练爬虫的判定中读取。对 AI 开放:最多五分之一的搜索爬虫被屏蔽,训练基本保持开放。AI 搜索,无 AI 训练:搜索开放,训练被屏蔽(或文件中列出的每个训练爬虫都被屏蔽)。对 AI 关闭:所有主要 AI 公司都被拒之门外。选择性:其他任何情况,例如一家公司保持开放而其余被屏蔽。
- 拒绝与测试。拒绝是 401、403、429 或 503。爬虫的拒绝只有在首页对检查自身的请求开放时才计入:当服务器也拒绝我们时,那可能是对所有机器人的墙。对 robots.txt 屏蔽的爬虫返回 2xx 两种情况都计入,因此为被屏蔽爬虫提供数据的站点比例包括一些首页未对我们开放的站点;该图块上的第二个数字以及按爬虫划分的表格将它们排除在外。当一个站点至少有一个爬虫的应答可以对照其 robots.txt 读取时,该站点计为已测试。每个比例都说明了它是什么的比例。
- 局限。一次遍历,仅首页。测试发送爬虫的用户代理字符串,这是防火墙规则匹配的内容;它不是来自供应商的 IP 地址,因此通过地址验证爬虫的站点可能会拒绝我们而接纳真正的爬虫。防火墙按网络和按小时应答,429 可能是速率限制,因此更严格的数字排除了仅 429 的拒绝。2026 年 10 月的研究从不同的网络以浏览器为基准测量了相同的站点,因此其数字不属于本系列。
下载数据
可在任何地方引用这些数字,包括媒体,需注明出处。文件以 CC BY-NC 4.0 许可:可自由共享和改编用于非商业用途,需注明出处。文件的商业使用,例如在您销售的产品或数据集中,需要我们的许可:请询问 [email protected]。引用为“Crawl Readiness, AI Access Index, November 2026, www.crawlreadiness.com/ai-access-index/2026-11.”
- results.csv:样本中每个站点一行,包含其策略、服务器对四个爬虫各自的应答以及每个信号。
- changes.csv:自上一版以来的每个变化,逐站点。
- summary.json:本页上的每个数字,以及每个数字是什么的比例。
如果您在样本中运营一个站点并希望将其行从已发布文件中删除,请从该域的地址写信至 [email protected]。
您的站点处于什么位置?
同样的检查,免费,附带修复建议:在您的站点上运行它。人们用免费工具检查过的站点列在 Checked sites 中,不排名。
像 {{NAME_ab12cd34}} 这样写的值是真实值的占位符。在回复和工具调用中完全按原样使用它们:它们会在任何运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。