Newshot

Gemini 4 Carbon 为何耗时如此之久?

Translation(model translation, not the source's own text)

为什么 Gemini 4 Carbon 花了这么长时间?

2026 年 11 月

在我们的一项私有评测中对 Gemini 4 Carbon 进行基准测试时,我们发现了令人惊讶的事情:它花了将近一个小时才完成 Opus 和 Astra 通常只需几分钟就能完成的任务:

每次试验的时间和成本

左侧表示更快;下方表示更便宜。

事实证明,注意到这一点的并非只有我们。

我真的不知道该如何恰当地强调这一点。Gemini 4 Carbon 在真实使用场景中慢得令人无法接受。

Gemini 4 Carbon 低档:22m21sOpus 5.5 高档:9m33s

我真的很喜欢 gemini 4 carbon,但它太慢了。光是保持专注、学点简单的东西,我就在等待中快被逼疯了

哥们,carbon 为什么他妈的这么慢

carbon 因为太慢几乎没法用,但人们大多都忽略了它

为了弄清原因,我们追踪了 Carbon 运行的每一个步骤,并量化了导致缓慢的因素。

任务

在每个任务中,agent 会拿到一个漏洞被修复前一刻的代码库,以及一份只描述漏洞症状的报告。它的任务是诊断这个漏洞并修复它,同时不做任何无关的改动。

这个任务的难度很大程度上来自工程判断,而非纯粹的智能:把用户的症状追踪到正确的代码路径、排除其他可能的解释、把修复放在正确的位置,以及知道何时该停下来。

推理慢,还是工作量更多?

首先要分离出来(也是最容易的)因素是推理速度:在提供商处的排队、网络延迟、提示处理和生成速度。这些因素共同决定了每一步需要多长时间:

每步秒数

更慢的推理只解释了差距的一部分:与 Astra 相比,占 Carbon 额外时间的 16–30%;与 Opus 相比,占 45–49%。其余部分来自更长的轨迹。Carbon 在每项任务上就是做了更多的工作,正如下面的步数、工具调用和 token 所示:

工作量

GPT-6 Astra 对比 Gemini 4 Carbon,每个漏洞的平均值。

Carbon 的步数约为 Astra 的七倍,读取文件或运行命令等动作约为其十一倍。它写出的内容也达到七倍,而且由于每一步都会重新发送越来越长的对话,它处理的输入量超过十六倍。

排除显而易见的解释

在深入查看运行过程之前,我们检查了两个更简单的解释。

  • 框架。我们还在另外两个编码 agent(opencode 和 mini-SWE-agent)中运行了 Carbon,没有看到有意义的差异。
  • 推理档位不匹配。各提供商的 effort 设置并不统一,因此 Carbon 的“高”档可能更接近于其他模型的最高设置,更公平的比较或许应该是低档的 Carbon。但在低档下,Carbon 常常根本无法产出修复:它原地打转,反复重读已经读过的代码,而不是进行修复。

阅读轨迹

我们按照用途对 Astra 和 Carbon 运行的每一步打了标签,然后统计了每种工作各占多少步:

语义轨迹分析

每个模型的步骤,按用途分组。

Carbon 有一半的步骤花在了工单从未要求的工作上:

  • 审计漏洞之外的代码。一旦找到原因,Carbon 就不断扩大搜索范围,检查系统中每一条相关路径,并审计修复根本不需要触碰的代码。
  • 填补工单已经排除的漏洞。Carbon 针对工单事实已经排除的情况进行防御,加固代码以应对没人报告过的问题。

示例试验:找到原因的时间 vs. 首次编辑的时间

从每次运行开始算起的分钟数。GPT-6 Astra 为最高 effort,Gemini 4 Carbon 为高档。

在这个示例试验中,两个模型都很早就确定了原因,Astra 在一分钟内,Carbon 在约六分钟内。Astra 在三分钟后写出了修复;Carbon 在接下来的 25 分钟里没有写任何代码。

文章标题:为什么 Gemini 4 Carbon 耗时这么久?

正文: Carbon 可能并不确定自己已经找到了原因(知识缺口),也可能它已经知道了却仍然继续(一种普遍习惯,源于训练更奖励正确答案、而非惩罚多余步骤)。为了区分这两种情况,我们在一个改进的 harness 中重新运行了其中一次试验,每五轮自动注入同样的追问:"你已经掌握足够信息来做出修复了吗?"

带追问的样本试验:找到原因的时间 vs. 首次编辑的时间

与上文相同的 bug 和规模。Gemini 4 Carbon 高配版,每五轮注入一次追问(圆圈)。

加入追问后,Carbon 在 28 分钟内完成,而不是 37 分钟;从说出原因到开始编辑之间的等待时间从 25 分钟缩短到约 10 分钟。这意味着缓慢似乎源于 Carbon 的行为方式,而非它知道什么。

Carbon 的必要工作也更慢

即使在修复所需的步骤之内,我们也发现了一些额外的低垂果实:Carbon 每一步完成的事情更少,而且它反复重读已经看过的代码。

Astra 每步进行超过两次工具调用,常常一次读取多个文件——而 Carbon 则大约只有一次,通常读取单个文件。Carbon 的重读也多得多:它读取的代码行中有 39% 是已经见过的,而 Astra 为 7%。我们估计,这两项"机械性"低效大约占 Carbon 超额运行时间的 25%。

结论

在困难的 bug 修复任务上,Carbon 花费接近一小时,而 Opus 和 Astra 只需几分钟。我们将这一差距追溯到三个来源:

  • 推理更慢。每一步耗时更长,这解释了与 Astra 差距的 16–30%,与 Opus 差距的约一半。
  • 不必要的工作。Carbon 约一半的步骤花在了工单从未要求的工作上:审查修复不需要的代码,以及封堵工单早已排除的漏洞。
  • 机械性低效。每步工具调用更少以及频繁重读拖慢了 Carbon;我们估计,仅修复这些问题就能将其运行时间缩短约四分之一。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by Hacker News
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗