Newshot

被AI机器人淹没

Translation(model translation, not the source's own text)

文章标题:被 AI Bot 淹没

正文: 我试着分析访问这个自托管博客的 AI bot。我想给管理员们整理一份简单易行的指南,好把 AI bot 和其他 bot、真实用户区分开。

我放弃了。数量太多,变化太快,没有一个可以依靠的固定参照点。这里是还在进行中的 Marimo notebook,大概永远也不会完成。等我修好一个部分,另一个部分就已经过时了。

既然我在这上面花了太多时间,我只想用一点积极的东西做个了结。所以这是我的笔记:

  • 8% 的潜在 AI bot 流量(包含冒充者),大约每小时 20 次请求,
  • Cloudflare Radar:很好的情报来源,但不完整且不稳定,
  • User Agent 处理起来很烦人——只像 robots.txt 那样检查简单的子串,
  • 即将推出的用于声明 bot IP 段的 JSON 标准,
  • HTTP 消息签名 RFC9421,
  • Petalbot / Huawei / Deepseek 之间的关系,
  • JA4 没有帮助。

下次我会试试 Fingerprint.js 或 Anubis。在此期间,限流效果不错。

让我们深入看看。

整体流量

看一下,我的潜在 AI 流量大约占 8%(按 Cloudflare Radar,user agent 在 AI bot 列表中)。这 8% 的细分如下:

请记住,这包含冒充者——尤其是 Googlebot 经常被冒充,我认为这正是它占多数的原因。在单独的 Google 文章中,我统计过,有效的 Google 流量比来自 GCP 的垃圾流量少一个数量级。

我很高兴地报告,这个量对我这个小站点来说完全不成问题。即便按这个潜在数字算,也不过每小时约 20 次请求。

通用 AI Bot 类别

AI bot 大致分三类,意图上有些差异:

  • AI Crawler:为训练模型收集数据的 bot。
  • AI Assistant:人类指示 AI agent 直接抓取与其查询相关的内容。
  • AI Search:人类指示 AI 搜索相关内容,而它找到了你的站点。

大多数公司正是出于这些目的使用这几类 bot。

外部人无法验证其中任何一点,我们只能相信其声明的意图。而这很难相信,尤其是当像 Cloudflare 这样可信的来源声称,就连 Googlebot(为搜索引擎目的爬取)这样的 bot 也会向 AI 训练提供数据时。

googlebot_trains
googlebot_trains

说曹操曹操到……

Cloudflare Radar 反复无常

众所周知(TM),Cloudflare 是 bot 检测中的顶尖存在。而且他们在 Cloudflare Radar 中还免费发布了很多东西!我本想主要基于他们的数据得出结论,因为那是一站式商店。

然后我在 GitHub 上发现了 Cloudflare Radar 的这个“镜像”,它看起来是 bot 情报的完美基线。

不幸的是,我们缺少 IP 段,而且我观察到 bot 会随机从索引中消失。例如,Amzn-User bot 在某处丢失了,尽管官方文档仍列着它(截至 2026 年 11 月 17 日)。Kimi-User 也是一样。

no_kimi
no_kimi

当然,这是实时情报源,所以会随时间变化。格式可能无预警变化,这没关系。尽管如此,还是让人不悦。

你看,我明白。要监控如此多的 bot 群(我已经领教过了)、让所有这些情报保持最新,是非常困难的。尤其是当事 bot 根本没有合作动机时。首先,你必须观察海量流量,而这本身就是一项壮举。

Cloudflare Radar 的替代品

在寻找情报替代品时,你通常会看到两个问题。要么贵,要么不完整。

以下是一些不完整的概览(只要搜 Kimi 或 Instapaper——我没找到):

  • Fingerprint——也是一个基于 OpenSource Javascript 的指纹识别方案!
  • CrawlerIndex

文章标题:被 AI 机器人淹没

正文: 我不打算为此付费,所以无法推荐付费信息来源。我确信有人乐意收你的钱来换取这类情报。我看到了 LLMPulse,但他们承认(截至 2026 年 11 月 18 日)这些数据是基于 Cloudflare Radar 的数据。

所以,结果因人而异,我的结论是 Cloudflare Radar 最好。我可能大错特错。

RFC 与标准

也许真正的宝藏是我一路遇到的标准。因为我确信不久的将来我还会再见到它们。

用户代理

我讨厌解析用户代理。根本不存在标准,我找到最好的也就是 RFC9110 中的这一节,而那显然不够。

这很让人恼火,因为你看到两个用户代理来自同一来源,但在代码里处理所有这些乱七八糟的东西实在太费劲了。

Robots.txt 的 RFC9309 也认同——规则是只要存在某个子串,用户代理就算匹配,例如 GPTBot 匹配 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.4; +https://openai.com/gptbot)。不多不少,就这样,接受现实吧。

已发布的机器人 IP 地址格式 RFC?

似乎还出现了一个关于机器人运营方声明 IP 范围的萌芽标准,所以我很乐意解析所有这些文件。

它相当简单,就是一个像这样的 JSON:


        {
  "creationTime": "2026-09-22T02:00:07.000000",
  "prefixes": [
    {
      "ipv4Prefix": "132.196.86.0/24"
    },
    {
      "ipv4Prefix": "172.182.202.0/25"
    },
    {
      "ipv4Prefix": "172.182.207.0/25"
    },
    ]
}
      

解析留给读者作为练习,但它就在 WIP notebook 里。用二叉树处理子网可以加分!

我很惊讶 AWS 把这事搞砸了。IP 列表(这里、这里和这里)被大量奇怪的 HTML 包裹着,但这不过是简单抓取就能解决的问题。这些前缀也不是 CIDR 子网,而是静态 IP,而且还有 "ipv4prefix" 与 "ip_prefix" 的不一致……AWS,你以前在这方面很在行!改进一下!

HTTP 消息签名 RFC9421

RFC9421 于 2024 年 2 月发布。总体思路是机器人持有一个 JWT,可以用已发布的密钥验证。JWT 还包含机器人动作的“范围”(随机请求参数),以便我们能够约束机器人的活动。

我认为这是有前景的技术——如果它能被广泛采用,那么你就可以通过接受密钥来把好机器人加入白名单。JWT 相当标准,所以支持良好、易于理解。至于我们究竟如何获取密钥,那是个有趣但独立的问题,RFC 中也有说明。

Petalbot / 华为 / DeepSeek?

显然,华为运营着自己的搜索引擎。自然,他们需要获取一些数据用于索引。不确定为什么它会被归入 AI 爬虫类别,我唯一找到的信息是华为和 DeepSeek 正在联手。所以也许这个不起眼的机器人是那笔交易的一部分。

我们缺少常见的用户和搜索子机器人。它的不同之处还在于,他们不提供 IP 列表,而是任何反向 DNS 包含 petalbot 的 IP 都是官方的。这是个激进的选择,但我尊重它。还有几个机器人采用同样的做法,所以值得记住这一点。

JA4 没帮到我

我一直在试图避免这个,但我做不到。我不是说它没用,我是说它的信号比预期弱得多。我对这些相关性都不太有信心。机器人是随机分组的,一个机器人有多个哈希,这些可能会随着版本升级而随时间变化。

我真的很想避免基于 JavaScript 的指纹识别和行为分析,但看来这就是出路。我可能会以后再重新研究这些。

撤退并重整

收集并保持这些情报最新,超出了我愿意在业余时间做的事。与此同时,互联网被 PHP2Shell 和其他 2Shells 之类的漏洞震动了。还发生了一些宕机和严重的网络攻击。我今天完全没受影响,但明天可能就不一样了。

被 AI 机器人淹没

幸运的是,我的站点足够健壮,这些 AI 机器人只是可以忽略的噪音。对于把自己原创的想法贡献给下一轮训练,我有所保留,但眼下这是个优先级较低的问题。

更好的解决方案确实存在——我将来会尝试它们。我看中了 Fingerprint.js 和 Anubis。在此期间,基础的限流机制承担了大部分繁重的工作。

我得承认,也许我有点太自大了,试图仅凭第一性原理独自对抗这些大公司。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗