Newshot

当 AI 构建的应用变得有风险:来自 3,911 个代码仓库的数据

Translation(model translation, not the source's own text)

文章标题:当 AI 构建的应用变得有风险:来自 3,911 个仓库的数据

正文:

题图
题图

这类文章最终都会落到同一句话上:98% 的 AI 构建应用存在安全漏洞,现在就扫描你的应用。我们自己卖扫描器,所以这个结论对我们来说很方便。这篇文章讲的是我们花了一周时间试图推翻它的经过。

语料库现在已经扩展到九个 AI 构建工具下的 3,911 个公开仓库——Bolt、Lovable、Cursor、v0、Replit、Windsurf、Base44、Tempo 和 Firebase Studio。方法论,以及我们发现自己的头条归因数字是循环论证、并将其从 92.8% 修正为 78.3% 的那次更正,都写在语料库那篇文章里。这篇是后续:两项新发现,以及针对它们的三种后来被证明是错误的理解方式。

大部分缺陷存在于无人使用的应用中

如果 AI 构建的应用充满了可被利用的漏洞,你会预期看到一波安全事件。于是我们拉取了每个已扫描仓库的 GitHub 元数据:

信号占 3,911 个仓库的比例
无 star、fork 或 open issue66.3%
90 天内无 push68.1%
距上次 push 的中位天数216
关联了在线部署40.3%
有维护且显示出一些外部信号19.7%(777 个仓库)

语料库的三分之二是休眠状态。一个八个月没人碰过的作品集网站上缺少行级安全策略,并不是安全问题——没有数据可泄露,也没有人会去泄露它。那些构建者并非疏忽大意。他们是对的。

这改变了每一条“98% 不安全”头条应该被解读的方式,包括我们自己的。缺陷是真实的,也和报道的一样普遍。它们大多存在于永远不会有用户的应用里。

但需要注意的是反方向的偏差,而且这一点更重要。star 严重低估了真实产品:一个有两百名付费客户的应用没有理由去收集 GitHub star,而且很多能正常工作的产品根本没有公开仓库,因为平台托管了它们。所以公开仓库并不是已部署 AI 构建应用的代表性样本。它们代表的是另一个群体。我们可以说这个语料库大部分处于休眠状态。我们不能说已部署的世界没问题,其他扫描公开仓库的人也不能这么说。

那个经受住所有推翻尝试的发现

至少含有一个严重发现的应用比例随应用规模增长而上升,而且是单调上升:

代码行数仓库数≥1 个严重95% 下界≥1 个高危
低于 1,0004512.9%1.7%26.8%
1,000–2,0002815.7%3.5%49.1%
2,000–5,00051017.6%14.6%63.1%
5,000–10,0001,04515.2%13.2%63.4%
10,000–15,00053229.9%26.2%81.8%
15,000–25,00046038.5%34.1%88.3%
25,000–40,00025950.6%44.5%86.1%
超过 40,00037359.2%54.2%88.2%

一千行以下的应用中,一百个里有三个。四万行以上的应用,十个里有将近六个。区间用的是 Wilson 而非正态,因为在样本量小、比例接近零或一的情况下,正态近似会产生零宽度的区间,那是无稽之谈。

我们试了三种方法想让它消失。

这是某个平台的脚手架造成的吗?不是。它在全部九个构建工具上都独立成立,比较低于 10,000 行的应用与超过 10,000 行的应用,提升倍数在 2.1× 到 6.4× 之间。九个全部成立。

这是扫描器变更造成的假象吗?不是——而这才是真正的风险,因为我们在测量时语料库正处于两个扫描器构建版本之间的迁移期,这是骗自己的绝佳方式。按构建版本拆分,一个版本的提升倍数是 3.5×,另一个是 3.6×。同样的梯度。

文章标题:当 AI 构建的应用变得有风险:来自 3,911 个代码仓库的数据

正文: 是误报在堆积吗?大概不是,尽管这是我们唯一无法完全排除的一点。我们的扫描器误报率偏高:本月对 374 个 critical 和 high 级别发现所做的人工审计显示,误报比我们先前公布的数字更多,而最常见的四类问题已在同一周修复。我们会在测出修复后的误报率之后再公布,绝不提前。但一个不随应用规模上升的错误率,无法凭空造出 20× 的斜率——它只会把每一行大致同等地抬高。除非误报集中在大应用中,而这将由修复后审计来核查;即便数值不成立,形状在误报问题下依然站得住。

我们原本希望它意味着什么,以及它实际意味着什么

第一反应是把它称为一个阈值:AI 构建的应用在 10,000 行处越过风险悬崖。简洁、可引用,但错了。

如果大应用确实更潦草,那么每行的发现数应该更多。我们测量了这一点。每 10,000 行的发现数随规模下降,从 0.708 到 0.178。在大约一个小时里,这看起来像是一个更好的叙事——大应用每行其实更干净。

那也是错的,原因很无聊。我们的扫描器按规则聚合发现:每条被触发的规则一条记录,重复项折叠进标题并标记为 (3x)。因此任何仓库能报告的 critical 数量上限由规则表决定——我们观察到的最大值是 8,而可能的 critical 规则有 57 条——而行数却超过九万。每行密度必然随规模增长而下降。这是我们自身输出格式造成的假象,无论从哪个方向都不能说明代码本身的情况。

剩下的是平淡却真实的一点:这是暴露面,而非质量退化。你构建得越多,某处有东西漏过去的可能性就越大。没有人会因为应用变大而把代码写得更差。只是有更多东西可能出错,而一个泄露的密钥就足够了。

如何应对

如果你的应用只有几百行且没人用,说真的:不用担心这个。2.9% 这个数字是真实的。

如果你已超过一万行并且有用户,基础比例约为 30%,而且每增加一个功能都会上升。主导该区间的三类发现,按顺序为:

  • Supabase 表上从未启用行级安全(row-level security)。anon key 按设计就在你的客户端 bundle 里。没有 RLS,那个 key 能读取整张表。
  • 边界客户端一侧的密钥——任何以 NEXT_PUBLIC_ 或 VITE_ 开头的内容,或硬编码在组件里的内容。它会被打包进你发给陌生人的 JavaScript 中。
  • 没有授权检查的 API 路由。攻击者不走你的界面。他们直接调用你的端点。

以上都不需要工具。你一个下午就能手工全部检查完。

这没有测量什么

  • 精确率:扫描器误报率偏高。本月对 374 个发现的人工审计发现的误报比我们估计的更多;主要类别已修复,修复后的比率将在测出后公布。在此之前,请把绝对比率当作上界,把梯度当作发现。
  • 召回率:这里没有任何内容说明扫描器漏掉了什么。没有覆盖率声明,没有“捕获 X% 的问题”。那需要一个植入漏洞的 ground-truth 语料库,而我们还没有构建。
  • 用户、事件或危害:这里测量的是代码。这里没有一个数字能证明任何人被入侵。
  • 私有仓库:仅限公开仓库——考虑到关于休眠状态的发现,这大概是整体中较不严重的那一半。

上述每一个数字都能从它所引用的带日期的语料库快照重新生成,而该快照带有生成它的扫描器指纹。如果你想要数据集的一个切片用于自己的写作,来问我们。我们宁愿更多人发表这方面的数字,而不是只有我们的——尤其是因为我们的数字不止一次需要更正。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗