文章标题:当 AI 构建的应用变得有风险:来自 3,911 个仓库的数据
正文:
这类文章最终都会落到同一句话上:98% 的 AI 构建应用存在安全漏洞,现在就扫描你的应用。我们自己卖扫描器,所以这个结论对我们来说很方便。这篇文章讲的是我们花了一周时间试图推翻它的经过。
语料库现在已经扩展到九个 AI 构建工具下的 3,911 个公开仓库——Bolt、Lovable、Cursor、v0、Replit、Windsurf、Base44、Tempo 和 Firebase Studio。方法论,以及我们发现自己的头条归因数字是循环论证、并将其从 92.8% 修正为 78.3% 的那次更正,都写在语料库那篇文章里。这篇是后续:两项新发现,以及针对它们的三种后来被证明是错误的理解方式。
大部分缺陷存在于无人使用的应用中
如果 AI 构建的应用充满了可被利用的漏洞,你会预期看到一波安全事件。于是我们拉取了每个已扫描仓库的 GitHub 元数据:
| 信号 | 占 3,911 个仓库的比例 |
|---|---|
| 无 star、fork 或 open issue | 66.3% |
| 90 天内无 push | 68.1% |
| 距上次 push 的中位天数 | 216 |
| 关联了在线部署 | 40.3% |
| 有维护且显示出一些外部信号 | 19.7%(777 个仓库) |
语料库的三分之二是休眠状态。一个八个月没人碰过的作品集网站上缺少行级安全策略,并不是安全问题——没有数据可泄露,也没有人会去泄露它。那些构建者并非疏忽大意。他们是对的。
这改变了每一条“98% 不安全”头条应该被解读的方式,包括我们自己的。缺陷是真实的,也和报道的一样普遍。它们大多存在于永远不会有用户的应用里。
但需要注意的是反方向的偏差,而且这一点更重要。star 严重低估了真实产品:一个有两百名付费客户的应用没有理由去收集 GitHub star,而且很多能正常工作的产品根本没有公开仓库,因为平台托管了它们。所以公开仓库并不是已部署 AI 构建应用的代表性样本。它们代表的是另一个群体。我们可以说这个语料库大部分处于休眠状态。我们不能说已部署的世界没问题,其他扫描公开仓库的人也不能这么说。
那个经受住所有推翻尝试的发现
至少含有一个严重发现的应用比例随应用规模增长而上升,而且是单调上升:
| 代码行数 | 仓库数 | ≥1 个严重 | 95% 下界 | ≥1 个高危 |
|---|---|---|---|---|
| 低于 1,000 | 451 | 2.9% | 1.7% | 26.8% |
| 1,000–2,000 | 281 | 5.7% | 3.5% | 49.1% |
| 2,000–5,000 | 510 | 17.6% | 14.6% | 63.1% |
| 5,000–10,000 | 1,045 | 15.2% | 13.2% | 63.4% |
| 10,000–15,000 | 532 | 29.9% | 26.2% | 81.8% |
| 15,000–25,000 | 460 | 38.5% | 34.1% | 88.3% |
| 25,000–40,000 | 259 | 50.6% | 44.5% | 86.1% |
| 超过 40,000 | 373 | 59.2% | 54.2% | 88.2% |
一千行以下的应用中,一百个里有三个。四万行以上的应用,十个里有将近六个。区间用的是 Wilson 而非正态,因为在样本量小、比例接近零或一的情况下,正态近似会产生零宽度的区间,那是无稽之谈。
我们试了三种方法想让它消失。
这是某个平台的脚手架造成的吗?不是。它在全部九个构建工具上都独立成立,比较低于 10,000 行的应用与超过 10,000 行的应用,提升倍数在 2.1× 到 6.4× 之间。九个全部成立。
这是扫描器变更造成的假象吗?不是——而这才是真正的风险,因为我们在测量时语料库正处于两个扫描器构建版本之间的迁移期,这是骗自己的绝佳方式。按构建版本拆分,一个版本的提升倍数是 3.5×,另一个是 3.6×。同样的梯度。
文章标题:当 AI 构建的应用变得有风险:来自 3,911 个代码仓库的数据
正文: 是误报在堆积吗?大概不是,尽管这是我们唯一无法完全排除的一点。我们的扫描器误报率偏高:本月对 374 个 critical 和 high 级别发现所做的人工审计显示,误报比我们先前公布的数字更多,而最常见的四类问题已在同一周修复。我们会在测出修复后的误报率之后再公布,绝不提前。但一个不随应用规模上升的错误率,无法凭空造出 20× 的斜率——它只会把每一行大致同等地抬高。除非误报集中在大应用中,而这将由修复后审计来核查;即便数值不成立,形状在误报问题下依然站得住。
我们原本希望它意味着什么,以及它实际意味着什么
第一反应是把它称为一个阈值:AI 构建的应用在 10,000 行处越过风险悬崖。简洁、可引用,但错了。
如果大应用确实更潦草,那么每行的发现数应该更多。我们测量了这一点。每 10,000 行的发现数随规模下降,从 0.708 到 0.178。在大约一个小时里,这看起来像是一个更好的叙事——大应用每行其实更干净。
那也是错的,原因很无聊。我们的扫描器按规则聚合发现:每条被触发的规则一条记录,重复项折叠进标题并标记为 (3x)。因此任何仓库能报告的 critical 数量上限由规则表决定——我们观察到的最大值是 8,而可能的 critical 规则有 57 条——而行数却超过九万。每行密度必然随规模增长而下降。这是我们自身输出格式造成的假象,无论从哪个方向都不能说明代码本身的情况。
剩下的是平淡却真实的一点:这是暴露面,而非质量退化。你构建得越多,某处有东西漏过去的可能性就越大。没有人会因为应用变大而把代码写得更差。只是有更多东西可能出错,而一个泄露的密钥就足够了。
如何应对
如果你的应用只有几百行且没人用,说真的:不用担心这个。2.9% 这个数字是真实的。
如果你已超过一万行并且有用户,基础比例约为 30%,而且每增加一个功能都会上升。主导该区间的三类发现,按顺序为:
- Supabase 表上从未启用行级安全(row-level security)。anon key 按设计就在你的客户端 bundle 里。没有 RLS,那个 key 能读取整张表。
- 边界客户端一侧的密钥——任何以 NEXT_PUBLIC_ 或 VITE_ 开头的内容,或硬编码在组件里的内容。它会被打包进你发给陌生人的 JavaScript 中。
- 没有授权检查的 API 路由。攻击者不走你的界面。他们直接调用你的端点。
以上都不需要工具。你一个下午就能手工全部检查完。
这没有测量什么
- 精确率:扫描器误报率偏高。本月对 374 个发现的人工审计发现的误报比我们估计的更多;主要类别已修复,修复后的比率将在测出后公布。在此之前,请把绝对比率当作上界,把梯度当作发现。
- 召回率:这里没有任何内容说明扫描器漏掉了什么。没有覆盖率声明,没有“捕获 X% 的问题”。那需要一个植入漏洞的 ground-truth 语料库,而我们还没有构建。
- 用户、事件或危害:这里测量的是代码。这里没有一个数字能证明任何人被入侵。
- 私有仓库:仅限公开仓库——考虑到关于休眠状态的发现,这大概是整体中较不严重的那一半。
上述每一个数字都能从它所引用的带日期的语料库快照重新生成,而该快照带有生成它的扫描器指纹。如果你想要数据集的一个切片用于自己的写作,来问我们。我们宁愿更多人发表这方面的数字,而不是只有我们的——尤其是因为我们的数字不止一次需要更正。