Newshot

AI公司开发决策模型以避免幻觉

AI summary

9月15日,一家名为TypeSafe AI的初创公司发布了一款名为Jev的新AI模型,声称其更便宜、更快且不会产生幻觉。该公司近期以75亿美元估值融资8.7亿美元,而Cloudflare、Amazon、OpenAI和Microsoft等公司也迅速推出了模仿Jev能力的“决策模型”。

Translation(model translation, not the source's own text)
拼贴图:问题“天空是什么颜色?”,周围环绕着闪亮的太阳贴纸、几何网格和一个显示 75% 的置信度仪表。
拼贴图:问题“天空是什么颜色?”,周围环绕着闪亮的太阳贴纸、几何网格和一个显示 75% 的置信度仪表。

9 月 15 日,一家名为 TypeSafe AI 的初创公司发布了一款名为 Jev 的新 AI 模型。该公司对 Jev 做出的宽泛而颠覆性的宣称引发了关注:该公司声称,Jev——它称之为“System One 模型”——更便宜、更快,而且不会产生幻觉。

TypeSafe AI 的营销显然是对其他 AI 公司及其大语言模型(LLM)的一记警告,这些模型尽管在数学和编程方面能力出众,却因成本高昂以及倾向于“幻觉”出事实错误的回复而声名狼藉。而这家初创公司确实同时吸引了关注和投资。该公司最近以 75 亿美元的估值融资 8.7 亿美元。

但 Jev 成功最引人注目的指标,或许可以说是它已经催生的众多模仿者。Cloudflare、Amazon、OpenAI 和 Microsoft 迅速发布了模仿 Jev 能力的“决策模型”。初创公司、学术研究人员和独立爱好者又发布了数十个。

“我必须给 Jev 记一功,”独立开发者 Matt Mastracci 说,他训练并发布了多个决策模型,包括 Djev——Cloudflare 曾将其列为自己决策模型的灵感来源。“它确实把决策模型推到了前台。在六七周时间里,我们看到了几十个模型问世。”

Jev 的延迟与算力优势

大多数 AI 研究人员会把 Jev 称为决策模型或判定模型。TypeSafe AI 将 Jev 品牌化为 System One 模型,指的是心理学家 Daniel Kahneman 在其著作《思考,快与慢》中普及的一种认知理论。在该书中,Kahneman 区分了快速、直觉性的思考(System One)与较慢、审慎的思考(System Two)。

TypeSafe AI 认为,现代 LLM 提供的是后者,但速度太慢,无法提供前者。该公司声称,Jev 可以提供 70 到 500 毫秒的端到端响应延迟。相比之下,LLM 通常至少需要数秒才能给出回复,而更复杂的任务(比如从零编写软件)可能需要数小时。

独立测试支持了 TypeSafe AI 的说法。Carnegie Mellon University 信息系统教授 Ramayya Krishnan 与几位同事共同撰写的一篇预印本论文发现,在旨在衡量决策准确性的多个基准测试中——包括 RewardBench 和 JudgeBench——Jev 的中位延迟为 150 毫秒。OpenAI 当时最强的模型 GPT-6 Astra 的中位延迟为 1.89 秒。

更快的回复往往也是更便宜的回复,因为它需要的计算时间更少,这一点也体现在 TypeSafe AI 的定价上。这家初创公司对每百万输入 token 收费 0.042 美元,输出 token 免费。相比之下,对于 GPT-6 Astra,ChatGPT 对每百万输入 token 收费 10 美元,对每百万输出 token 收费 50 美元。即便是 GPT-6 Luna——GPT-6 的一个为快速、低成本推理而设计的变体——也要每百万输入 token 收费 0.10 美元、每百万输出 token 收费 0.50 美元。

Mastracci 表示,更低的延迟和成本为处理 LLM 目前无法应对的任务打开了机会。“你可以想到内容审核,比如审核海量的社交媒体帖子,或者一个极其繁忙的聊天室。”

Michelle Chen,Cloudflare(该公司已发布自己的决策模型,包括 Clef 和 Claric)的一名集团产品经理,也对决策模型能够实现的目标持乐观态度。“你大概可以把通常 LLM 任务的 80% 卸载给一个 System One 模型,它会快得多、也便宜得多。”

写成 {{NAME_ab12cd34}} 形式的值是真实值的占位符。请完全按原样使用它们,在回复和工具调用中都是如此:它们会在任何内容运行之前被替换为真实值。不要要求验证它们,也不要用示例替换它们。

文章标题:AI 公司开发决策模型以避免幻觉

正文: TypeSafe AI 对 Jev 如何实现其速度几乎没有提供细节,但 Jev 的开源权重模仿者提供了更多透明度。

例如,以 Cloudflare 的 Clef 为例,这是一个可在 Hugging Face 上免费下载的开源权重决策模型。“使用 LLM 时,当你生成一个输出 token 时,它会查看所有之前的 token,并预测下一个输出 token,”Chen 解释道。这个过程按顺序进行,一个 token 接一个 token,直到到达结束 token。“我们的决策模型不这样做。它们只进行一次前向传播,对所有输入生成一次读取,然后生成一个输出。这就是它快得多的原因。”

决策模型如何泛化任务

基于 LLM 的决策模型,例如 Clef(它基于阿里巴巴的 Qwen LLM),仍然包含 LLM 的神经元和基于 transformer 的模型架构。它们仍然输入和输出 token。

然而,模型中将这些 token 转换为文本的部分已被更改,以约束输出。“Jev 只能用预定义的结构化答案格式回答问题,”Zhongyu Wei 说,他是复旦大学教授,也是一项研究的合著者,该研究对决策模型进行基准测试,并推出一个开源权重替代方案 SII-Decision。“我们给它一个问题以及 A、B、C 等选项,它必须从这些选项中选择,并在给出选择的同时返回概率。”

在某种意义上,决策模型是向分类器的回归,顾名思义,分类器是一种学习将数据分类的模型。它们被用于广泛的任务,包括垃圾邮件过滤和人脸检测。“这类模型并不新鲜,”Chen 说。“这几乎就像一次重新命名。”

但决策模型相比此前的分类器提供了一项关键升级:泛化。

Mastracci 解释说,分类器传统上是通过特定领域的训练创建的。然而,决策模型保留了 LLM 的通用智能,这使它们适用于许多情况。“你可以直接拿来用,把它指向你的问题,它就能工作,”Mastracci 说。

Cloudflare 正在将这一优势付诸实践。在决策模型之前,希望使用分类器模型的团队必须“获取大量数据、组建机器学习团队,并进行微调”以针对任务训练模型,Chen 说。决策模型消除了这一要求,因此一个决策模型可以用于许多领域。例子包括标记 Cloudflare 的 GitHub 文档仓库中的垃圾拉取请求、捕获垃圾邮件和钓鱼邮件、发现钓鱼域名、检测对 LLM 的提示注入攻击,以及阅读关于互联网骨干网中断的电子邮件以判断它们是否会影响 Cloudflare 的服务。

决策模型非常适合对电子邮件、消息或文档等数据进行快速判断。来源:TypeSafe AI

决策模型真的能阻止幻觉吗?

在编程中,“类型安全”语言的设计目标是,混合不兼容类型数据的操作——比如将数字加到字符串上——会在程序运行前被拒绝,而不是在之后产生坏结果。决策模型类似,因为它们阻止模型生成意外的回复。TypeSafe AI 的名称将类型安全编程与决策模型之间的联系作为公司营销的一部分,并在此基础上提出一个惊人的主张:Jev 永远不会产生幻觉。

严格来说,这是真的。LLM 产生幻觉,是因为它们在庞大的可能词汇表中反复计算 token 的概率,并输出许多 token。这为概率较低的 token 将回复引向歧途留下了空间,或者让模型输出基于模型训练来说概率较高、但在回复语境中不正确的 token。相比之下,决策模型只在预先确定的可能性中计算概率,并选择最可能的那个。这消除了幻觉。

像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。请完全按所写使用它们,无论是在回复中还是在工具调用中:它们会在任何东西运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。

然而,Carnegie Mellon 的 Krishnan 警告说,“消除输出中的幻觉并不能消除决策中的错误。”他和合著者通过让 Jev 判断问题的答案是否正确来测试它。当判断可以通过阅读提示轻松得出时,Jev 表现良好,但当判断需要数学或涉及逻辑谜题时,表现就会下降。

Wei 及其合著者在自己的研究中报告了类似的结果。他们发现,在被问及文档理解相关问题时,最佳决策模型可以略微超过 LLM 的准确率;在被问及工具使用相关问题时(例如选择正确的软件工具来执行用户任务),得分接近 LLM。然而,在被问及需要领域专业知识的领域(包括医学、金融和法律)的问题时,决策模型则落后了。

“我认为推理是一个关键因素,”Wei 说。推理使 LLM 能够在向用户提供最终答案之前先梳理其回答。然而,Wei 补充说,单靠推理并不能在所有情况下解释领域差距,因为一些 LLM 即使没有推理也表现良好。Wei 说,用于训练决策模型的方法也可能是一个因素,并且对 SII-Decision 使用了针对决策的专门训练。

然而,决策模型和 LLM 不必是竞争对手。Krishnan 及其同事还测试了将 Jev 低置信度的答案传递给 GPT-6 进行额外考量。模型组合的准确率略微超过了单独使用 GPT-6,且成本仅为后者的 41%。

Wei 认为这种“混合架构”将会变得普遍。“决策模型可以调用 LLM 来提供更详细的解释。而 LLM 可以调用决策模型来进行快速判断。我认为这非常灵活。”

  • “Bullshit Index” 追踪 AI 错误信息 ›
  • AI 幻觉出新蛋白质 ›
  • 幻觉可能削弱 ChatGPT 的成功 ›
  • 推出 System One 模型与 Jev - TypeSafe AI 博客 ›
  • 什么是 AI 幻觉?| IBM ›

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by IEEE Spectrum AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗