Newshot

Gemini 4 Neon 看起来是 Opus 5.5 的竞争对手

Translation(model translation, not the source's own text)

Gemini 4 Neon 看起来像是 Opus 5.5 的竞争对手

TLDR:我们根据更快的 Gemini 4 Carbon 可能得到的分数,推算了 Gemini 4 Neon 的表现,并发现它与 Opus 5.5 相当。

如果排除早期投票,Gemini 4 Carbon 是 Agent Duel 排行榜上最好的模型。Carbon 的主要问题是它太慢太慢太慢了。

今天,Gemini 4 Neon 发布了,看起来是在基准测试上的一次小幅提升,同时速度有非常大的提升。今天早些时候,它通过 OpenRouter 提供的服务速度极快:每秒 127 个 token。这比每秒 46 个 token 的 Carbon 快得多。

这让我不禁想知道,Neon 会不会不仅是一个好模型,而是最好的模型?

对我们的排行榜建模

为了研究这一点,我对我们排行榜中的胜率进行了建模。最好的模型由三个部分组成:模型身份、速度,以及用户是否早期投票。我最初的建模效果很差,所以我加入了速度与早期投票之间的交互项。最终效果很好。

胜率与预测胜率
胜率与预测胜率

而且令人惊讶的是,速度的重要性似乎几乎与模型身份相当(另一篇博客很快就会讨论这一点)。

特征重要性
特征重要性

推算 Gemini 4 Neon 的表现

如果你假设其表现与 Gemini 4 Carbon 相同(考虑到基准测试分数甚至更好,这是合理的),并且速度为 127 tps,我们会推算它在 Agent Duel 排行榜上的 Elo 为 1,066,略低于我们较晚分析快照中 Opus 5.5 的 1,078。

合成 Neon Elo 推算
合成 Neon Elo 推算

Gemini 4 Neon 与 Opus 5.5 之间预测 Elo 差异的 90% 区间为 -94 到 +68,其中 Neon 预计在与 Opus 的对决中有 48.3% 的胜率(平局按半胜计算)。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by Hacker News
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗