
HAProxy 的 Agentic Security,以及当你并不特殊时安全政治的挣扎
以下是我个人的经历,不代表公司或社区中每个人的想法。
我是 HAProxy 的首席开发者,也是 Linux 内核安全团队的成员。在过去的几个月里,我看到了数百份 AI 辅助的“安全报告”,它们几乎总是遵循同样的模式:有人提交“这里有个缺陷”,却没有复现步骤,也没有补丁。处理不完整的报告已经成为日常,因为报告者往往根本不知道 LLM 认为自己发现了什么。
然而这根本不是 LLM 的问题。几个月前,一位值得信赖的同事——他可以使用 Anthropic 最强大的模型 Mythos——用它分析了 HAProxy。关键在于,他们花时间验证了发现并编写了补丁(顺便说一句,对此表示感谢)。这个模型发现的几个缺陷的深度和复杂性让我真心佩服,我不禁想,如果没有这类工具,它们是否会被发现。那次经历让我对该模型的实际能力有了信心,也让我对有专业人类知识配合时的结果有了信心。
我们无法使用的报告,我们无法获得的模型
为了帮助应对大量低价值的 AI 报告,我记录了 Linux 内核和 HAProxy 的威胁模型,以便 LLM 能更好地校准严重程度,不再就那些不可能发生或没有现实影响的问题浪费大家的时间。这明显降低了两个项目上无聊报告的出现率(Linux 上还不够,那里的一些研究者仍然关注缺少文档更新的过时版本)。
大约在同一时间,Linux Foundation 为我提供了为期六个月的 Claude Max 订阅,使用额度为 20 倍。我花了一些时间才适应以 agentic 模式工作,但现在没问题了。这个产品本身令人印象深刻,确实强大,而且显然仍在改进。它能在覆盖整个受审查代码区域的超大上下文窗口中工作的能力,让人感觉它几乎能看穿墙壁。不幸的是,该访问权限不包含 Mythos,后者仍受额外的访问限制。
例如,除非你认识“对”的人,否则获取具备真正网络“防御”能力的模型已经变得极其严苛。尽管我完成了 Anthropic 的 Cyber Verification Program(CVP),希望这能解决该问题,但它仍然不授予 Mythos 的访问权限。我联系了 Anthropic 的联系人请求访问权限;该请求显然被认为是合理的,但仍然没有结果。Anthropic 在继续完善其项目,但每次他们更改流程,都意味着要重新开始,承担更大的行政负担,而且无法保证能为合法的防御工作获得访问权限。我听说 OpenAI 的 Daybreak 项目也好不了多少,在我们安全团队在其 CVP 更新之前,近几个月内已被拒绝两次,且没有给出解释。
访问情况已有一些变化,现在由 Anthropic 自助提供,但在他们自行定义的访问层级之间存在显著的准入门槛。最强大的基于“Mythos”的模型(“Red”访问权限)要求经过验证的安全研究员身份,而显然我和我们团队中的任何人都无法达到该条件。较低的层级需要一套面向企业的繁琐身份审批流程(我仍然无法完成),并且只授予能力一般的模型,这些模型会拒绝重要的防御任务,例如漏洞利用复现和其他防御任务。
相反,我们最终拿到了两批 Mythos 生成的关于 HAProxy 的报告,每批包含 30 到 50 条,这表明其他人已经在未经我们知情的情况下获得了访问权限(除了那位最早的同事)。拿到这些报告费了极大的功夫,而这与处理它们所需的精力相比根本不值一提。
那些报告对开发者来说简直无法使用,满是冗长的废话,堆在超长的单行段落里,没有代码摘录,没有对问题的清晰解释,更不用说任何复现步骤或修复方案了。它们甚至没有包含所测试构建的 commit ID,所以我们只能靠反复试错来猜测测试的是哪个版本。这非常令人沮丧,因为模型已经以高置信度给出了一个发现,却不太愿意高效地沟通,因为没人要求它这么做。这让人真的怀疑 Anthropic 是否了解开发者是如何工作的、他们需要什么。
由于我们无法访问该模型,我们调整了工作流程,让它的小弟 Opus 4.8(我们当时能用的版本)来解码这些报告并提出修复方案。效果还算可以,尽管缺少复现代码使得很难区分真实缺陷和误报,因而也难以验证所提补丁的相关性和有效性。鉴于在报告分享之前所有的推理上下文都已丢失,Opus 无法重建全部交互过程或 Mythos 观察到的一切。尽管如此,这一精简后的工作流程让我们提高了效率,并在按照我们的标准、偏好和长期目标重新修改后,合并了大约三分之一的所提修复方案。
防护机制在错误的时刻触发
此后,Fable 5 的发布最初看起来很有前景,但它引入了糟糕的防护机制,使其不适合性能和安全性至关重要的底层开发。这些机制频繁触发。在现实场景中,你根本无法用 Fable 扫描代码中的安全问题,更不用说阅读安全报告了;它会立即拒绝,并要求降级到 Opus 4.8。显然,提示词中的“bug”一词加上阅读 C 代码,就足以立刻把一切标记为不应继续的网络安全工作。时至今日,我仍然不知道是否有人成功使用过这个模型,或者用于什么目的。至少肯定不是底层开发。
随后到来的 Opus 5,以及之后的 5.5,带来了令人印象深刻的改进。它们确实感觉像是为帮助开发者而设计的工具,几乎就像一位技艺娴熟的同事。你可以把漫长而复杂的任务委托给它,而不用担心最终会得到什么;它们条理清晰、考虑周全,甚至往往会主动提出一些不错的额外建议,从而提前满足某些需求。防护机制的触发频率比 Fable 低得多,但对需要验证所写安全代码的开发者来说仍然过于频繁,无法可靠使用(否则就不算安全了,对吧?)。至少它们现在能找到 bug 了,偶尔还能给出可用的复现步骤。但经常是,当你已经有了复现步骤时,它们却公然拒绝研究 bug 的根本原因!
当拒绝发生时,大多数情况下似乎有效的做法是终止会话并从头开始,把上下文中任何惹恼模型的内容统统丢弃,希望不同的初始随机种子能让它避开输出触发同一防护机制的相同 token 序列,代价是花费更多的 token。有时需要尝试 3-4 次,或者我不得不接受降级到 Opus 4.8,并等待漫长的时间让它找出复现步骤。总的来说,尽管有这些烦扰,这些模型的能力仍然相当引人注目。
文章标题:关于使用基于 AI 的工具在开源软件中寻找 Bug
正文: 当时,我并没有注意到我的工作账号(当时还没有任何安全访问权限)与我通过 Linux Foundation 获得的已认证 CVP 账号在拦截率上有什么有意义的差别,这让我无法相信后者带来了任何价值。
访问权限流向了干活最少的人
接着出现了这个奇怪的转折:Anthropic 发布的东西实际上相当于在为他们最强的竞争对手 GLM 5.3 做广告。平心而论,这并不本意是广告;他们是在抱怨竞争对手如何避免像 Anthropic 那样用防护措施烦扰用户——在这场对开放权重的长期战争中,他们已经骗不了任何人了。但对于那些整天面对 Opus 或 Fable 顽固拒绝的人来说,这件事的意义截然不同:那正是他们想要的!这让我好奇到亲自测试了 GLM 5.3。确实,它确实能找到 Bug,运行更快,成本更低。第一轮下来,它找到的 Bug 候选大约是 Opus 5.5 找到的一半,但它也至少抓到了一个 Opus 漏掉的真实 Bug。大概只需要跑两遍,而且成本还只是零头。
上个月,Anthropic 宣布(附带一张令人惊讶的问候图片,表明他们的营销人员 2004 年之前没上过网)了一个“改进的 Cyber Verification Program”(CVP),这个项目仍然没有解决任何问题,而且很可能让没有企业资源可用的开源开发者和维护者的处境更糟。个人只能访问“防御”层级,而根据 Anthropic 自己的图表评分,该层级在发现 Bug 方面表现极差,至少在我自己的测试中,它看起来与我个人账号目前拥有的权限完全相同。更高层级保留给安全专业人士,也就是那些以用无意义、不可利用的报告骚扰开源维护者、然后索要 CVE 来衡量自己相对于竞争对手的相关性为业的人。
看出问题了吗?他们给造成伤害的人更多访问权限,却没有给真正干活的人提供任何更好的东西——那些阅读冗长复杂报告、复现问题、验证问题、发布修复、撰写描述性提交信息并移植到维护分支的人。Anthropic 是在放大开源社区的负担,而不是提供帮助。
开源维护者应该为报告的大量涌入做好准备,有些是好的,有些是坏的,但这迫使他们在别人利用他们的努力建立公司声誉的同时,免费做甚至更痛苦的 Bug 修复工作。
开发者真正需要什么
让我澄清大多数开发者真正需要什么,这一点已通过与另外几位 OSS 维护者的讨论得到确认:
- 自己扫描代码,在特定区域找到 Bug 候选
- 对每个 Bug,努力编写一个复现器,证明该 Bug 在现有代码中可达,而不通过修改代码作弊。好的复现器是你可以以后在将修复回移到维护分支时复用的,用来验证该修复确实是需要的,并且在那些分支上也有效。
- 对每个 Bug,从同一会话的上下文中编写一个、最好多个修复候选,趁该上下文仍然足够丰富、能理解导致该 Bug 被标记的所有交互,并解释为什么这些修复能够持久有效。
- 消除上述步骤识别出的误报(编写修复确实能把它们筛掉)。
- 编写测试,确保修复没有引入回归,并检查同一类中的其他潜在 Bug。
大多数开发者不需要:
- 编写武器化漏洞利用(例如 shellcode 注入)
- 渗透运行中的系统并在组件之间跳转
- 尝试提权
- 窃取机密数据
- 影响数据完整性
- 花时间分类和审查关于任意代码位置的完全杂乱无章的报告,这些报告难以组织并分派给维护者
关于使用基于 AI 的工具在开源软件中查找缺陷
当前调校不当(或设计不佳)的防护措施把维护者挡在了第一步,而所有其他能力仍然对付费客户 freely available,这些客户继续靠出售漏洞利用牟利,把所有人都惹毛。我认为,至少当模型处理的是源码已提供的代码时,防护措施就不该触发。写出一份候选修复、编译测试,结果突然声称“我不被允许攻击这段代码”,这有什么意义?
此外,连拒绝进攻性任务都是短视的。软件的核心意义就在于它会被修复。我们目前都处在一个痛苦的时期:大量缺陷被报告,但同时软件也在被修复,所以最终将没有什么可攻击的了。这不像遗传学,一旦检测出疾病,你不能决定去改变自己的基因组。
真正有帮助的做法
更好的办法?想想看:GitHub 托管着 800 万个项目中的 2.25 亿名开发者。一项低费用订阅,让这些开发者能在公共项目上工作,而不受我上文描述的荒谬限制,对任何提供它的 AI 厂商来说都将极有帮助且利润丰厚。LLM 可以接受在一个本地仓库上工作,只要该仓库与某个获授权的公共仓库偏离不太大。
就我个人而言,我愿意为此每月付 20 美元。说实话,这对厂商来说成本也不高:我当前的 Claude Max 20x 账户,只有在我花整整两天折腾 HAProxy 代码、让它吐出未知缺陷之后,周使用率才第一次达到两位数。用 token 做安全审查极其便宜,因为大部分时间花在构建和运行本地复现程序上,而不是读代码或写代码。注意,Microsoft 已经拥有 GitHub、拥有 Copilot、能访问这些账户,还自己构建了一些模型。也许他们能看到抓住这个机会的好处?
另一个希望在别处。几个月后,已经很清楚 Anthropic 并不理解开发者实际是如何工作的(这是否说明他们自己的团队不再由真正的开发者组成,而只有“氛围程序员”?)。也许我们应该把希望寄托在其他厂商身上。我不知道 OpenAI 的模型在这个特定任务上是否同样不可用,而这个任务真正决定了明天互联网的安全会是什么样。
在工作中,我一直在本地 GPU 上用 Qwen3.8-Flash-Next 搭配 Strata,结果非常令人满意,速度也可接受。最近,Mistral 发布了其新的 Large 4 模型,明确聚焦于网络安全效能。希望它能力更强,并且更好地面向用户真正需要的东西,而不是厂商对开发者应该做什么的偏见性信念。初步测试显示,在这一点上它至少与 GLM 持平,但主观上,介于 GLM 和 Opus 5.5 之间。
与此同时,只要 Opus 5.5 愿意配合,我就会继续用它,直到我的订阅下个月到期,至少用来验证 HAProxy 代码库中的敏感改动,以及在不中途拒绝时编写回归测试。并行地,我在工作中熟悉 GLM 5.3,想弄清楚是否有可能帮它找到更复杂的缺陷(我无法表达我对 Anthropic 这一提示的感激之情)。
显然,没有什么能说服我续订目前这种限制下的个人 Claude 订阅;用它处理为安全而设计的代码极其令人沮丧(但在安全不是考虑因素的地方它非常出色)。我肯定会怀念它处理某些任务的能力,因为它极其强大,但在尝试做它显然能做、却干脆拒绝做的正经工作时,它太固执了。当然,如果 Anthropic 愿意花时间倾听用户真正需要什么,而不带任何不受欢迎的意识形态偏见,这对所有相关方来说都会容易得多。
然后是 CLA
文章标题:On The Use of AI-Based Tools to Find Bugs in Open Source Software
正文: 就在写完这篇文章的草稿之后,我立刻收到通知:Anthropic 开设了一个新的 OSS 扫描器项目。我心想:“太好了,终于有进展了”。当然,它远非完美,Curl 项目的经历也印证了这一点;它仍然不允许开发者控制模型、让模型深入挖掘特定区域,或针对某个给定 bug 探索不同思路,但这可以看作朝正确方向迈出的一步。直到我读了他们要求每位开发者在参与该项目前必须签署的 CLA。简而言之,一切都集中在第 2 条(“Grant of Copyright License”)、第 3 条(“Grant of Patent License”)和第 4 条(“Legal Entitlement”)中。第 2 条写道:
You hereby grant to the Company and to recipients of software distributed by the Company a jperpetual, worldwide, non-exclusive, no-charge, royalty-free, irrevocable copyright license to reproduce, prepare derivative works of, publicly display, publicly perform, sublicense, and distribute Your Contributions and such derivative works.
第 3 条对专利做了同样的规定,第 4 条则写道:“You represent that you are legally entitled to grant the above license”。
版权这一条怎么可能不吓跑任何开源开发者?这基本上等于说,他们可以对提交给扫描器的软件为所欲为。这很可能是因为他们打算用这些软件来训练自己的模型,但无论如何,允许他们将其改造成任何东西都可能是一个严重的问题。开源许可证有多种不同类型、各具特性,这是有原因的:开发者对于自己的作品将如何被使用,并不都抱有相同的期望。
第 3 点会吓退企业;这很可能是故意的,以确保它们要么放弃自己的专利,要么改用付费模式。而第 4 点则在开源领域引发了一个问题:签署 CLA 的人是否拥有合法权利,将其他贡献者的权利让渡给他们,这一点远非确定,因为这类似于由单个人单方面做出的许可证变更。尽管如此,看起来仍有数百名开发者同意签署了那份东西。
他们在这么做之前咨询过法律意见吗?
Where this leaves us - better code, slower features
目前,我要回去继续审查 Opus 和 GLM 生成的那份 AI 安全报告列表。我们大约有 300-400 份待处理,其中乍看之下有 2-3 份似乎很严重(这个比例并不罕见;重要的是把这些逐一解决所需的总工作量)。而且,由于我们关心的是修复任何可能影响长期稳定性的 bug,而不仅仅是那些能充实研究者履历的引人注目的漏洞,也不只是用来宣传某个成立三周的网络安全初创公司,我们必须投入时间、精力和心理准备去审查所有这些。Anthropic 的数据似乎也显示了同样的情况:在 7,300 个漏洞中,只有 0.5% 真正被全球开源维护者优先处理并修复。
我们将看看这一切会如何演变。积极的一点是,我们现在的 HAProxy 中的 bug 甚至比旧版本还要少,这对我们的用户来说仍然是净收益;然而,这些工作肯定会影响我们推进新功能的速度,所以如果这种情况能有所改变,那就太好了。