Newshot

Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后

Summary

Jev 拿下的 75 亿美元估值曾被质疑是一场泡沫。现在 Google 用一款多模态决策模型告诉市场:这不是泡沫,是赛道。 作者丨郑佳美 编辑丨岑 峰 谷歌正式入场了。 刚刚,谷歌发布 Gemini Decision 1,正式向 两个月前引爆决策模型品类的 TypeSafe Jev发起挑战。 和 Jev 一样,这款模型不生成任何文本,只计算供程序直接驱动 Agent 执行的候选项概率和置信度,不需要逐 Token 生成答案,连输出 Token 费用也省了。 更大的突破出现在并行计算上。Gemini Decision 1 可以在同一份上下文中处理至多 1000 项独立判断,而且支持文本、图像、音频、视频和 PDF 混合输入。对于需要反复检查文档、选择工具、评估任务状态的 Agent,大量原本分散在不同模型调用中的判断,现在可以集中在一轮请求中完成。 在数据上,7 项双方均有报告的共享基准中,Gemini Decision 1 赢下 5 项,Jev 在 When2Call 工具调用和 Mind2Web 多模态上仍保持优势(82.0% vs 79.9%,86.8% vs 86.2%)。 不过,Gemini 每 100 万输入 Token 收费 0.10 美元,是 Jev 的约 2.38 倍。性能上去了,价格也更贵了,谷歌显然想用更强的多模态能力和批量决策能力打开市场。 Jev 在 9 月发布后数周内拿下 75 亿美元估值,a16z 领投 8.7 亿美元,约三分之一财富 500 强被列为客户。但质疑从未消散:厂商自报的“快 193 倍、便宜 445 倍”缺乏第三方复现,原创性争议尚未定论,独立评测指向同一个结论:快和便宜是真的,质量是另一回事。雷峰网 Google 此时入场,至少证明了一件事:决策模型不是一场闹剧,而是一个值得巨头押注的品类。 01 模型怎样跳过文本生成完成决策 普通 LLM 处理“从四个工具里选一个”这类任务时,仍然走自回归解码:逐 Token 生成工具名或 JSON,程序再解析执行。模型承担的是开放式文本生成,业务需要的却是有限候选项中的概率判断。 Gemini Decision 1 把输出目标改成了候选项评分。开发者提前定义问题、候选集合和判断标准,模型读取输入后,直接返回各候选项的概率分布。整个过程通过单次前向计算完成,不需要逐 Token 生成答案…

Original text(via 雷锋网)
Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后
Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后

刚刚,谷歌发布 Gemini Decision 1,正式向 两个月前引爆决策模型品类的 TypeSafe Jev发起挑战。

和 Jev 一样,这款模型不生成任何文本,只计算供程序直接驱动 Agent 执行的候选项概率和置信度,不需要逐 Token 生成答案,连输出 Token 费用也省了。

Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后
Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后

更大的突破出现在并行计算上。Gemini Decision 1 可以在同一份上下文中处理至多 1000 项独立判断,而且支持文本、图像、音频、视频和 PDF 混合输入。对于需要反复检查文档、选择工具、评估任务状态的 Agent,大量原本分散在不同模型调用中的判断,现在可以集中在一轮请求中完成。

在数据上,7 项双方均有报告的共享基准中,Gemini Decision 1 赢下 5 项,Jev 在 When2Call 工具调用和 Mind2Web 多模态上仍保持优势(82.0% vs 79.9%,86.8% vs 86.2%)。

Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后
Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后

不过,Gemini 每 100 万输入 Token 收费 0.10 美元,是 Jev 的约 2.38 倍。性能上去了,价格也更贵了,谷歌显然想用更强的多模态能力和批量决策能力打开市场。

Jev 在 9 月发布后数周内拿下 75 亿美元估值,a16z 领投 8.7 亿美元,约三分之一财富 500 强被列为客户。但质疑从未消散:厂商自报的“快 193 倍、便宜 445 倍”缺乏第三方复现,原创性争议尚未定论,独立评测指向同一个结论:快和便宜是真的,质量是另一回事。雷峰网

Google 此时入场,至少证明了一件事:决策模型不是一场闹剧,而是一个值得巨头押注的品类。

Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后
Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后

模型怎样跳过文本生成完成决策

普通 LLM 处理“从四个工具里选一个”这类任务时,仍然走自回归解码:逐 Token 生成工具名或 JSON,程序再解析执行。模型承担的是开放式文本生成,业务需要的却是有限候选项中的概率判断。

Gemini Decision 1 把输出目标改成了候选项评分。开发者提前定义问题、候选集合和判断标准,模型读取输入后,直接返回各候选项的概率分布。整个过程通过单次前向计算完成,不需要逐 Token 生成答案,也没有输出 Token 费用。

Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后
Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后

这和普通的 Structured Output 有明显区别。Structured Output 仍然让模型生成文本,只是通过 Schema 限定 JSON 的字段和格式,Gemini Decision 1 则直接围绕有限候选空间完成评分,返回结果本身就是程序可以读取的数据。

这里有一个容易被忽略的细节:不同判断类型返回的概率含义并不相同。Noul 处理二元判断,返回某个条件成立的概率,范围为 0.01—0.99。如果问题本身存在歧义,开发者还可以分别定义什么情况算 Yes、什么情况算 No,减少判断标准不清晰带来的偏差。

Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后
Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后

Choice 处理多分类问题,支持 2—255 个候选项,返回胜出选项以及各候选项的归一化概率,所有候选项概率之和为 1。它适合工具路由、模型选择和任务分类。

不过,这种概率分配始终发生在给定的候选集合内,即使所有选项都不符合输入,模型仍会选出一个相对匹配的结果。因此,开发者需要提供 Other 选项,或者额外设置范围检查。

Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后
Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后

Score 的设计更有意思。它并不简单返回一个等级,而是先给有序评分标准中的每个等级分配概率,再计算加权评分。例如,将问题分为 0 级、1 级和 2 级,模型可能给出 0.1、0.7 和 0.2 的概率,最终评分可以落在 1 和 2 之间。

这实际上把离散分类扩展成了连续评分,方便程序进行排序和阈值筛选。不过,加权结果会压缩概率分布中的信息:两个输入即使得到相同分数,背后的等级概率也可能完全不同。因此,对于需要区分风险等级的任务,程序还应该读取各等级的概率,不能只使用最终评分。

这三种类型构成了 Gemini Decision 1 的输出体系。模型不再负责生成一段可以供人阅读的答案,开发者需要设计清晰的问题和候选标准,程序则负责把概率结果转化成具体执行条件。雷峰网(公众号:雷峰网)

Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后
Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后
Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后
Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后

1000 项问题如何完成独立计算

Gemini Decision 1 的请求结构是一份 Shared Input 对应一组 Questions 。前者承载文本、图像、音频、视频和 PDF,后者定义需要完成的判断任务。每个问题可以使用不同的判断类型和评分标准,单次请求支持至多 1000 项问题。

Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后
Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后

以设备巡检为例,系统收到一段运行视频、一份维修记录和一段现场语音,需要判断设备是否异常、异常类别、严重程度以及是否需要人工检查。

开发者可以把三种材料放进同一份输入,再分别定义这些问题。异常检测使用 Noul,类别判断使用 Choice,严重程度使用 Score。模型读取相同材料,分别完成各项评分。

Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后
Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后

这套设计有两个技术细节。首先,每项问题具有独立的评估路径。Google 文档明确说明,各问题只能读取共享输入,不能读取其他问题的答案。

增加或删除某项问题,也不会改变其他问题的答案。这意味着并行评分没有依赖前序问题的推理链,模型可以在同一轮前向计算中完成多个独立判断。

其次,共享输入只计费一次。每项问题额外产生的费用来自自身的 instructions 和 criteria Token,而不需要重复计算整份材料。对于长文档批量审核、音视频检查和多维度内容评估,这种计费结构会影响整体调用成本。

Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后
Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后

但 1000 项问题并不意味着可以把任意复杂的工作流塞进一个请求。如果问题 B 必须根据问题 A 的具体结果生成新的候选项,两项任务就存在前后依赖。开发者需要先读取 A 的结果,再提交 B。

若 B 的候选项已经确定,只是需要在 A 不满足条件时忽略 B 的答案,则可以将两项判断同时提交,由程序决定是否采用结果。

输入长度同样需要考虑。Gemini Decision 1 的上下文上限为 256K Token,这个预算需要由共享材料和全部问题共同使用,并非每项问题各自拥有 256K。问题数量增加时,instructions 和 criteria 也会占用上下文空间。

Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后
Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后

谷歌公布的延迟数据中,在上下文不超过 16K Token 的测试条件下,从 1 项增加到 100 项问题,模型计算延迟基本保持平稳,中位计算延迟为 50—100 ms,端到端延迟为 150—250 ms。需要区分的是,API 支持 1000 项问题,公开的近乎平稳延迟测试范围则为 1—100 项。

多模态输入还涉及一项工程取舍。图像和视频可以设置 low、medium、high、ultra_high 等分辨率等级,视觉细节越丰富,输入成本也会随之变化。

Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后
Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后

音频和 PDF 则直接进入相应的内容处理路径,无需开发者另外组织独立的识别服务。谷歌也明确将 OCR 和音频转写相关开销纳入模型输入计费体系,不另收输出 Token 费用。

这里并没有公开足够的信息来还原模型内部的并行计算图。能够确认的是,各问题共享同一份输入,在单次前向计算中独立评分。至于内部是否使用独立输出头、如何分配各问题的计算资源,谷歌目前没有给出完整技术说明。

Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后
Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后

PK Jev:“五项领先”的背后

Gemini Decision 1 为每项答案提供 confidence,取值为 0—1。它表示模型对当前结果正确性的估计。对于 Noul,confidence 取 Yes 和 No 两种结果中概率较高的一方,对于 Choice,它对应胜出选项的概率,对于 Score,则对应概率较高的等级。这项设计让程序能够根据判断可靠程度设置不同的执行门槛。

Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后
Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后

这里涉及概率校准。ECE(Expected Calibration Error,期望校准误差)衡量模型给出的概率与实际正确比例之间的偏差。谷歌公布的 Gemini Decision 1 ECE 为 0.0250,Jev 1.14 为 0.0494。

Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后
Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后

从产品落地来看,谷歌已经在 Gemini Notebook 中使用 Decisions API 进行模型路由,根据请求复杂程度选择模型档位和推理等级,日常请求延迟据称降低了 40%。

Google Search 将其用于 MCP 工具的安全检查,Stitch 则使用它加快交互设计过程中的操作选择。与 TypeSafe Jev 相比,两款模型的技术方向相近,但公开信息呈现出不同侧重。

TypeSafe 已经披露 Jev 使用专门的模型架构、Parallel Sampler,以及 RLCD(Reinforcement Learning for Calibrated Decisions)训练方法。Jev 1.14 增加了图像输入、Box 判断类型和长上下文能力,不过相关功能在发布时仍被放在实验性配置中。

Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后
Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后

Gemini Decision 1 则依托 Gemini 原生多模态架构,将音频、视频、PDF 纳入输入范围,并提供 256K 上下文和 1000 项问题请求能力。谷歌尚未披露与 TypeSafe 类似的训练方案,因此两者的内部训练路线暂时无法进行直接比较。

性能上,谷歌公布的 7 项共享基准中,Gemini Decision 1 有 5 项超过 Jev 1.14,Jev 在 When2Call 工具调用和 Mind2Web 多模态上保持领先。When2Call 是 Agent 工具选择的核心场景,Jev 在这个指标上的反超说明 Google 的优势并非无差别覆盖。

另外,第三方独立评测机构 Artificial Analysis 的 Decision Index v2.1 榜单中, Gemini Decision 1 的综合分 65.98,略低于 Jev 的 66.23,远低于榜首 Drex Max v1.1 的 72.62。单任务延迟 211 ms,高于 Jev 的 92 ms;价格方面,Gemini 每 100 万输入 Token 收费 0.10 美元,Jev 为 0.042 美元。

换句话说,Google 用多模态能力和批量处理换溢价,但“更强”在第三方统一任务套件上尚未兑现为“更优”。校准误差的领先是真实的,但校准领先不等于综合决策质量领先。

Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后
Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后

Agent 的决策层,正在变成独立战场

Gemini Decision 1 把原本散落在 Agent 工作流中的一类任务,正式变成了独立的模型调用能力。它涉及的不只是评分速度,还包括候选空间定义、共享输入复用、问题隔离、概率校准和程序控制之间的配合。

通用 LLM 仍然负责复杂推理、规划和内容生成,Decision Model 则承担能够提前定义标准的判断任务。开发者需要根据任务依赖关系安排调用顺序,再根据概率表现决定自动执行范围。

Jev 在 9 月点燃了这个品类,Google 在 11 月用多模态和批量能力加注。这条路线能否形成长期优势,还要看模型在复杂输入、任务分布变化和真实业务环境中的稳定表现。谷歌入场后,专用决策模型开始进入更大规模的产品竞争,Agent 的工程设计也将从单纯依赖生成模型,转向更加细致的模型分工。

参考链接:https://blog.google/innovation-and-ai/technology/developers-tools/gemini-decisions-api/

Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后
Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后

雷峰网原创文章,未经授权禁止转载。详情见转载须知。

Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后
Google 杀入 Jev 核心赛道:Gemini Decision 1 五项基准领先两项落后
  • 阿里财报:国际站GMV持续双位数增长,Accio付费企业 ...
  • 阿里云外部收入增长64%,增速创近六年新高
  • 聚焦AI产业底座建设,临港AIGC数字内容创享季正在开 ...
  • AI 带来的新生意|稀土掘金 X-Lab 年度大会招募开启 ...

The text above was extracted automatically from the source page and may miss images, tables or code blocks. The original is authoritative.

Published by 雷锋网
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗