Newshot

黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型

Summary

Decider v1.3:63 项分类任务准确率达 91.6%,对标 Jev 成本直降 61%。 作者丨 郑佳美 编辑丨岑 峰 刚刚,黄仁勋每天都在用的「AI 导师」 Perplexity 有了新动作:正式推出 Decider v1.3,直接把 AI 系统里的判断能力单独做成了一套模型。 Perplexity 这次直接改了模型处理判断任务的方式: 同一份上下文可以同时交给多个问题使用,模型只需进行一次前向传播,就能输出各个问题的答案概率。 过去需要反复调用 LLM、生成文本、解析结果的流程,现在可以收敛到一次模型计算中。 为了让多个问题共享计算时不互相干扰,Perplexity 还重新设计了 Attention 机制,让共享状态读取全部问题,同时限制问题之间直接交换信息。v1.3 进一步加入 Locate 能力,可以根据字段描述直接定位原文跨度,将判断与文本抽取整合进同一套架构。 这套模型已经进入 Perplexity 的生产系统。在一次内部安全审查中,它单日处理了 7000 个 Agent 会话,累计读取 10 亿 token,并推动 14 项规则修复。 从技术架构来看,Decider 有三个紧密关联的设计层次:输入端如何把共享上下文与独立问题组织在一起,注意力层如何控制不同问题的信息交互,训练与输出层又如何让同一套模型兼顾分类判断和文本定位。 其中,隔离式问题注意力改变了多任务共享计算的底层方式,也是理解整个 Decider 架构的关键切口。 01 一份上下文,承载多个判断任务 Decider 的输入其实是由共享状态(State)和若干问题块(Question)组成。State 保存网页、文档或 Agent 执行记录,Question 描述具体判断目标,并列出候选答案。每个候选项映射到预定义标签 Token,例如 A、B、C,特殊的 <|marker|> Token 则标记答案读取位置。 模型处理时,会提取 Marker 对应位置的隐藏状态,交给决策头计算各候选项的分数,再转换为概率分布。 这里的决策头由基础模型原有的语言模型输出层改造而来:Perplexity 保留 A、B、C 等候选标签对应的权重行,移除其余词表输出权重,再针对决策任务进行训练。原本用于计算下一个 Token 概率的输出层,由此转为专门处理选项判断。 这个设计让任务定义与输出计算分离。调用方…

Original text(via 雷锋网)
黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型
黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型

Perplexity 这次直接改了模型处理判断任务的方式:同一份上下文可以同时交给多个问题使用,模型只需进行一次前向传播,就能输出各个问题的答案概率。 过去需要反复调用 LLM、生成文本、解析结果的流程,现在可以收敛到一次模型计算中。

黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型
黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型

为了让多个问题共享计算时不互相干扰,Perplexity 还重新设计了 Attention 机制,让共享状态读取全部问题,同时限制问题之间直接交换信息。v1.3 进一步加入 Locate 能力,可以根据字段描述直接定位原文跨度,将判断与文本抽取整合进同一套架构。

这套模型已经进入 Perplexity 的生产系统。在一次内部安全审查中,它单日处理了 7000 个 Agent 会话,累计读取 10 亿 token,并推动 14 项规则修复。

从技术架构来看,Decider 有三个紧密关联的设计层次:输入端如何把共享上下文与独立问题组织在一起,注意力层如何控制不同问题的信息交互,训练与输出层又如何让同一套模型兼顾分类判断和文本定位。

其中,隔离式问题注意力改变了多任务共享计算的底层方式,也是理解整个 Decider 架构的关键切口。

黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型
黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型

一份上下文,承载多个判断任务

Decider 的输入其实是由共享状态(State)和若干问题块(Question)组成。State 保存网页、文档或 Agent 执行记录,Question 描述具体判断目标,并列出候选答案。每个候选项映射到预定义标签 Token,例如 A、B、C,特殊的 <|marker|> Token 则标记答案读取位置。

模型处理时,会提取 Marker 对应位置的隐藏状态,交给决策头计算各候选项的分数,再转换为概率分布。

黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型
黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型

这里的决策头由基础模型原有的语言模型输出层改造而来:Perplexity 保留 A、B、C 等候选标签对应的权重行,移除其余词表输出权重,再针对决策任务进行训练。原本用于计算下一个 Token 概率的输出层,由此转为专门处理选项判断。

黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型
黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型

这个设计让任务定义与输出计算分离。调用方可以通过自然语言描述问题,通过选项限定答案空间,模型则负责根据上下文计算各选项的概率。

情感分析、自然语言推理、意图检测、实体匹配、内容审核、事实核查和评分,可以采用同一套输入协议,不需要为每种任务单独建立一套模型结构。

黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型
黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型

Perplexity 将数百个公开数据集转换为 State、Question、选项和目标组成的统一训练格式。训练目标既可以是正确标签,也可以是完整的答案概率分布。对于同一段长文本需要执行多项判断的情况,多个 Question 可以放进同一次前向传播,模型只需处理一份共享上下文。

黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型
黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型

不过计算收益需要准确理解:增加问题仍然会增加 Question Token 和注意力计算,Decider 节省的主要是长文本被重复编码的开销,以及生成式模型逐 Token 解码和外部解析的成本。问题数量越多、共享文本越长,复用价值越明显。

输出概率还保留了业务策略的调整空间。模型负责给出候选项的概率分布,应用根据误报、漏报的业务代价设置阈值。网页过滤和 Agent 执行审查可以使用不同门槛,无需为每种业务重新训练决策模型。

黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型
黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型
黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型
黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型

多任务如何共享信息,互不干扰

输入协议确定后,新的问题落在模型内部:多个 Question 同时进入 Transformer,它们之间应该建立怎样的信息连接?

Decider 以生成式 LLM 为骨干,原有因果注意力按照文本顺序组织信息,当前位置只能读取自身及前面的 Token。这种结构适合逐步生成文本,却不利于需要理解完整上下文的判断任务。

Perplexity 因此改用双向注意力,让 Token 可以读取完整输入。消融实验显示,这项调整改善了模型的决策表现。

双向注意力开放了完整上下文,但也让多个问题之间出现信息交互。v1.2 使用完全互见模式,State 和全部 Question 可以相互读取。这样一来,某个问题的表示可能受到其他问题的影响,调用方调整问题组合时,原有判断也可能随之变化。

黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型
黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型

v1.3 引入的 Isolated Question Attention 改变了这套连接关系:State 可以读取全部 Question,而每个 Question 只能读取 State 和自身 Token,不能直接读取其他问题。

这里有一个关键细节:State 不再只是保存原始文本的容器,它还承担了跨任务的信息汇聚作用。它可以读取整组问题,在多层注意力计算中形成包含任务条件的上下文表示,每个 Question 则通过 State 获取相关信息,并保留自身的任务描述。

这种结构切断了 Question 之间直接传递局部表示的路径,但没有消除全部间接影响。由于 State 已经读取其他问题的信息,经过多层 Transformer 的传播,问题 A 的信息仍可能先进入 State 的后续表示,再被问题 B 读取。

黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型
黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型

Perplexity 控制的是直接注意力连接,而非让各项任务在数学意义上完全独立。这个区别也解释了为什么 v1.3 没有选择完全可缓存模式。团队测试过另一种结构:State 只读取自身内容,Question 再读取 State 和自身 Token。雷峰网(公众号:雷峰网)

这样同一段文本可以在不同请求之间复用缓存,因为 State 表示不依赖具体问题集合。但代价是 State 编码时看不到任务要求,无法根据当前问题调整上下文表示。Perplexity 最终选择隔离式问题注意力,保留问题对上下文的条件作用。

团队还通过标签扰动测试检验输出稳定性。在 372 道多项选择题上,改变选项顺序、标签映射和标签名称后,Decider v1.3 只有 0.27% 的问题发生语义答案变化,Jev 1.14 的变化比例为 2.69% 至 4.84%。相同输入重复执行时,Decider v1.3 的输出保持一致。

黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型
黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型

隔离式注意力由此成为 Decider 的核心架构设计:它决定了共享上下文怎样参与多项判断,也决定了不同问题之间可以通过哪些路径交换信息。

黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型
黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型

从选项判断,到文本跨度抽取

普通决策头的输出范围由预设选项限定。当任务要求模型从原文中找出一段未知长度的文本时,仅靠 A、B、C 这样的标签已经无法满足需求。Decider v1.3 因此增加 Locate,将输出扩展到文本跨度定位。

Locate 新增了 <|locate|> Token、跨度头(Span Head)和 LoRA 适配器。每个待抽取字段拥有独立的 Locate Token,其嵌入由此前训练得到的 Marker 表示初始化。跨度头结合 Locate Token 与 State 中各 Token 的隐藏表示,对候选文本片段的起点、终点及两端配对关系进行评分,同时为字段生成专属阈值。

黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型
黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型

起点与终点评分负责寻找文本边界,配对评分则判断两个位置能否组成有效片段。单独找到两个高分位置,并不意味着它们一定属于同一段合理文本,因此配对关系也需要独立学习。模型返回原文字符区间,下游程序可以直接读取对应内容。leifengwan

训练采用改进版 InfoNCE 目标,让正确跨度的分数高于阈值,同时让阈值高于其他候选跨度。当原文没有对应字段时,模型需要将阈值抬高,使候选片段无法通过筛选,进而返回空列表。

Perplexity 使用命名实体识别、PII 检测和抽取式问答数据训练 Locate,字段描述既有简短标签,也有自然语言指令。这样的数据组织让模型需要理解字段含义与文本内容之间的关系,而非只记忆固定字段名称。

黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型
黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型

Locate 也带来了参数干扰问题。原有决策头学习候选选项之间的概率分布,跨度头学习文本边界和片段配对,两种任务对模型内部表示的要求存在差异。

Perplexity 发现,将 Locate 适配器合并进主干后,普通决策请求会出现退化,因此保留独立 LoRA 适配器,只在文本定位任务中启用。

主模型采用分阶段训练。较大版本以 Qwen3.8-27B 为基础,先进行大规模通用全量微调,并排除公开评测基准的训练划分,随后通过 LoRA 加入领域任务,再进行视觉适配。团队对三个不同随机种子的文本训练权重取平均,以改善模型整体表现。

黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型
黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型

Flash 版本以 Qwen3.5-4B 为基础,通过较大 Decider 蒸馏获得能力。学生模型拟合教师给出的完整概率分布,通过 KL 散度学习教师对不同候选项的相对判断。雷峰网

相比只学习正确标签,分布蒸馏还保留了其他候选项的相对置信程度。Perplexity 表示,在相同训练数据下,KL 蒸馏在留出任务上的泛化表现优于标准交叉熵目标。

评测中,Decider v1.3 在 63 项分类任务上的平均准确率为 91.6%,比 Perplexity 原有生产分类器高 6.54 个百分点,在 72 项检索任务中,逐点重排的平均 nDCG@10 达到 83.99,比 Qwen3-Reranker-8B 高 1.81 分。

黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型
黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型

八种语言任务的平均准确率为 88.16%,Jev 1.14 为 85.41%。Locate 在 17 项域外任务上的平均得分为 69.0,Flash 为 63.6。生产评估覆盖 API 上线后前 18 天的一百万条请求,去重后包含 2,318,887 个问题。由于生产请求缺少人工标注,团队使用前沿 LLM 评判模型生成参考答案。

Decider v1.3 与参考答案的一致性为 93.98%,略高于 v1.2 的 93.68% 和 Jev 1.14 的 93.35%。这项数据反映模型与评判模型的吻合程度,但不能直接等同于人工标注下的真实准确率。

黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型
黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型
黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型
黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型

判断,开始拥有独立计算架构

Decider 的技术路线围绕一个明确问题展开:如何让模型在保留上下文理解能力的同时,高效处理大量结构化判断。它通过输入协议、隔离式注意力和 Locate 扩展,建立了从选项判断到文本定位的完整能力体系。

但这套架构仍有边界。目前公开的评测结果展示了它在分类、检索重排和文本抽取上的表现,生产案例也说明 Perplexity 已经将其用于内部工作流程。

不过,模型的实际收益仍然取决于任务类型、上下文长度、并行问题数量和部署成本。现有数据还不足以说明这种架构适合所有 AI 应用,尤其是开放式推理和复杂规划,通用 LLM 仍然有自己的优势。

对于 Agent 系统,Decider 确实是提供了一种值得继续验证的分工思路:让通用 LLM 处理复杂理解与生成,将边界清楚的分类、筛选和评估交给专门模型。但两者能否形成更合适的协作方式,还需要结合真实工作负载中的延迟、资源消耗和任务表现进一步检验。

参考链接:https://www.perplexity.ai/en-GB/hub/blog/perplexity-decider

黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型
黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型

雷峰网原创文章,未经授权禁止转载。详情见转载须知。

黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型
黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型
  • 阿里财报:国际站GMV持续双位数增长,Accio付费企业 ...
  • 阿里云外部收入增长64%,增速创近六年新高
  • 聚焦AI产业底座建设,临港AIGC数字内容创享季正在开 ...
  • AI 带来的新生意|稀土掘金 X-Lab 年度大会招募开启 ...

The text above was extracted automatically from the source page and may miss images, tables or code blocks. The original is authoritative.

Published by 雷锋网
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗