文章标题:被 AI Bot 淹没
正文: 我试着分析访问这个自托管博客的 AI bot。我想给管理员们整理一份简单易行的指南,好把 AI bot 和其他 bot、真实用户区分开。
我放弃了。数量太多,变化太快,没有一个可以依靠的固定参照点。这里是还在进行中的 Marimo notebook,大概永远也不会完成。等我修好一个部分,另一个部分就已经过时了。
既然我在这上面花了太多时间,我只想用一点积极的东西做个了结。所以这是我的笔记:
- 8% 的潜在 AI bot 流量(包含冒充者),大约每小时 20 次请求,
- Cloudflare Radar:很好的情报来源,但不完整且不稳定,
- User Agent 处理起来很烦人——只像 robots.txt 那样检查简单的子串,
- 即将推出的用于声明 bot IP 段的 JSON 标准,
- HTTP 消息签名 RFC9421,
- Petalbot / Huawei / Deepseek 之间的关系,
- JA4 没有帮助。
下次我会试试 Fingerprint.js 或 Anubis。在此期间,限流效果不错。
让我们深入看看。
整体流量
看一下,我的潜在 AI 流量大约占 8%(按 Cloudflare Radar,user agent 在 AI bot 列表中)。这 8% 的细分如下:
请记住,这包含冒充者——尤其是 Googlebot 经常被冒充,我认为这正是它占多数的原因。在单独的 Google 文章中,我统计过,有效的 Google 流量比来自 GCP 的垃圾流量少一个数量级。
我很高兴地报告,这个量对我这个小站点来说完全不成问题。即便按这个潜在数字算,也不过每小时约 20 次请求。
通用 AI Bot 类别
AI bot 大致分三类,意图上有些差异:
- AI Crawler:为训练模型收集数据的 bot。
- AI Assistant:人类指示 AI agent 直接抓取与其查询相关的内容。
- AI Search:人类指示 AI 搜索相关内容,而它找到了你的站点。
大多数公司正是出于这些目的使用这几类 bot。
外部人无法验证其中任何一点,我们只能相信其声明的意图。而这很难相信,尤其是当像 Cloudflare 这样可信的来源声称,就连 Googlebot(为搜索引擎目的爬取)这样的 bot 也会向 AI 训练提供数据时。

说曹操曹操到……
Cloudflare Radar 反复无常
众所周知(TM),Cloudflare 是 bot 检测中的顶尖存在。而且他们在 Cloudflare Radar 中还免费发布了很多东西!我本想主要基于他们的数据得出结论,因为那是一站式商店。
然后我在 GitHub 上发现了 Cloudflare Radar 的这个“镜像”,它看起来是 bot 情报的完美基线。
不幸的是,我们缺少 IP 段,而且我观察到 bot 会随机从索引中消失。例如,Amzn-User bot 在某处丢失了,尽管官方文档仍列着它(截至 2026 年 11 月 17 日)。Kimi-User 也是一样。

当然,这是实时情报源,所以会随时间变化。格式可能无预警变化,这没关系。尽管如此,还是让人不悦。
你看,我明白。要监控如此多的 bot 群(我已经领教过了)、让所有这些情报保持最新,是非常困难的。尤其是当事 bot 根本没有合作动机时。首先,你必须观察海量流量,而这本身就是一项壮举。
Cloudflare Radar 的替代品
在寻找情报替代品时,你通常会看到两个问题。要么贵,要么不完整。
以下是一些不完整的概览(只要搜 Kimi 或 Instapaper——我没找到):
- Fingerprint——也是一个基于 OpenSource Javascript 的指纹识别方案!
- CrawlerIndex
文章标题:被 AI 机器人淹没
正文: 我不打算为此付费,所以无法推荐付费信息来源。我确信有人乐意收你的钱来换取这类情报。我看到了 LLMPulse,但他们承认(截至 2026 年 11 月 18 日)这些数据是基于 Cloudflare Radar 的数据。
所以,结果因人而异,我的结论是 Cloudflare Radar 最好。我可能大错特错。
RFC 与标准
也许真正的宝藏是我一路遇到的标准。因为我确信不久的将来我还会再见到它们。
用户代理
我讨厌解析用户代理。根本不存在标准,我找到最好的也就是 RFC9110 中的这一节,而那显然不够。
这很让人恼火,因为你看到两个用户代理来自同一来源,但在代码里处理所有这些乱七八糟的东西实在太费劲了。
Robots.txt 的 RFC9309 也认同——规则是只要存在某个子串,用户代理就算匹配,例如 GPTBot 匹配 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.4; +https://openai.com/gptbot)。不多不少,就这样,接受现实吧。
已发布的机器人 IP 地址格式 RFC?
似乎还出现了一个关于机器人运营方声明 IP 范围的萌芽标准,所以我很乐意解析所有这些文件。
它相当简单,就是一个像这样的 JSON:
{
"creationTime": "2026-09-22T02:00:07.000000",
"prefixes": [
{
"ipv4Prefix": "132.196.86.0/24"
},
{
"ipv4Prefix": "172.182.202.0/25"
},
{
"ipv4Prefix": "172.182.207.0/25"
},
]
}
解析留给读者作为练习,但它就在 WIP notebook 里。用二叉树处理子网可以加分!
我很惊讶 AWS 把这事搞砸了。IP 列表(这里、这里和这里)被大量奇怪的 HTML 包裹着,但这不过是简单抓取就能解决的问题。这些前缀也不是 CIDR 子网,而是静态 IP,而且还有 "ipv4prefix" 与 "ip_prefix" 的不一致……AWS,你以前在这方面很在行!改进一下!
HTTP 消息签名 RFC9421
RFC9421 于 2024 年 2 月发布。总体思路是机器人持有一个 JWT,可以用已发布的密钥验证。JWT 还包含机器人动作的“范围”(随机请求参数),以便我们能够约束机器人的活动。
我认为这是有前景的技术——如果它能被广泛采用,那么你就可以通过接受密钥来把好机器人加入白名单。JWT 相当标准,所以支持良好、易于理解。至于我们究竟如何获取密钥,那是个有趣但独立的问题,RFC 中也有说明。
Petalbot / 华为 / DeepSeek?
显然,华为运营着自己的搜索引擎。自然,他们需要获取一些数据用于索引。不确定为什么它会被归入 AI 爬虫类别,我唯一找到的信息是华为和 DeepSeek 正在联手。所以也许这个不起眼的机器人是那笔交易的一部分。
我们缺少常见的用户和搜索子机器人。它的不同之处还在于,他们不提供 IP 列表,而是任何反向 DNS 包含 petalbot 的 IP 都是官方的。这是个激进的选择,但我尊重它。还有几个机器人采用同样的做法,所以值得记住这一点。
JA4 没帮到我
我一直在试图避免这个,但我做不到。我不是说它没用,我是说它的信号比预期弱得多。我对这些相关性都不太有信心。机器人是随机分组的,一个机器人有多个哈希,这些可能会随着版本升级而随时间变化。
我真的很想避免基于 JavaScript 的指纹识别和行为分析,但看来这就是出路。我可能会以后再重新研究这些。
撤退并重整
收集并保持这些情报最新,超出了我愿意在业余时间做的事。与此同时,互联网被 PHP2Shell 和其他 2Shells 之类的漏洞震动了。还发生了一些宕机和严重的网络攻击。我今天完全没受影响,但明天可能就不一样了。
被 AI 机器人淹没
幸运的是,我的站点足够健壮,这些 AI 机器人只是可以忽略的噪音。对于把自己原创的想法贡献给下一轮训练,我有所保留,但眼下这是个优先级较低的问题。
更好的解决方案确实存在——我将来会尝试它们。我看中了 Fingerprint.js 和 Anubis。在此期间,基础的限流机制承担了大部分繁重的工作。
我得承认,也许我有点太自大了,试图仅凭第一性原理独自对抗这些大公司。