Newshot

8万条群聊消息做成考卷:腾讯元宝×KCL发布首个基于群聊构建的Agent记忆基准

Original text(via 量子位)

8万条群聊消息做成考卷:腾讯元宝×KCL发布首个基于群聊构建的Agent记忆基准

腾讯元宝×伦敦国王学院NLP团队 投稿 量子位 | 公众号QbitAI

一个九人出行群,最初商定5月1日出发,后来又改为4月30日。等到有人请AI助手发布购票提醒,它很可能还按旧日期通知。

虽然“记住”了历史,却没有真正服务好这个群。

在群聊的实际场景中,往往还有更隐蔽的要求:谁想坐靠窗位置,谁对预算有要求,哪些安排只是提议,哪些已经成为共同决定。

一个AI助手要服务一群人,关键不只是找回记忆,更是判断此刻应该使用谁的哪条记忆。

针对这一问题,腾讯元宝与伦敦国王学院NLP团队联合推出GroupAssistBench。研究基于50个真实群聊、80,299条历史消息,构建2,395道评测题,检查Agent记忆能否真正从“记得住”走向“用得好”。

研究团队比较了完整上下文、检索增强和外部记忆等14组配置。其中一个有代表性的反差是:EverMemOS在L1记忆召回评测中得分为0.621,高于使用相同任务模型的完整上下文0.570;但在L2开放式服务评测中,它的得分为0.247,低于完整上下文的0.431。

更会回忆,并不必然更会服务。

论文已在arXiv公开,代码和数据集也已开放。

△14组配置的主实验结果:左侧为L1记忆召回,右侧为L2开放式服务。比较应在各自指标内部进行。

从一段群聊到两种考验:记忆找得到,也要用得对

已有Agent Memory评测常通过事实问答检验历史回忆,近期也有工作开始关注下游记忆使用。但真实群聊提出了更复杂的问题:同一条信息可能由不同成员补充,安排会随讨论更新,一项回复还可能同时受到多个人的约束。

GroupAssistBench从真实部署群助手的互动中构建数据,保留自然发生的话题切换、状态变化和多人信息交织,并将评测分成两个相互关联的任务层级。

L1与L2:从回答事实,到完成服务

L1记忆召回有明确的参考事实,例如“最初约定哪天出发”。L2记忆使用则要求完成服务,例如“帮大家发出行与购票提醒”,答案没有固定措辞,却必须遵守有效的历史决定和成员要求。两类题目分别有1,374道和1,021道。

研究又根据所依赖的记忆结构划分为M1单条记忆、M2多记忆整合、M3更新与冲突处理。M3尤其需要识别:旧决定何时被新决定取代,哪些成员的约束仍然适用。这些类别描述的是信息依赖形式,而非简单按难度排序。

△评测框架总览:基于同一群聊历史构建L1事实回忆与L2开放式服务题,并按单记忆、多记忆和更新冲突划分依赖类型。

每个问题,必须真正依赖历史

为避免系统仅凭常识就能猜对,团队先比较“提供历史”和“不提供历史”的回答,筛选确实需要群聊记忆的请求;再为必需事实建立记忆锚点(Memory Anchors),定位到来源消息及证据片段,并设置各自的历史截止点,防止模型读到提问之后的信息。

数据经过匿名化和隐私审查,公开版本不包含原始群聊身份信息。构建过程结合程序规则、语义审查和人工核验;抽样核验中,95.8%的题目经多数投票判定有效。

△数据构建流程:筛选确实依赖历史的请求,定位记忆锚点,构建评测问题,再通过规则与人工核验把关。

服务没有标准答案,如何给分?

群助手帮大家安排活动、提醒购票或协调分歧时,往往可以有多种合适回复。简单字符串匹配无法判断服务是否真的满足历史约束。因此,团队为每道L2题构建与对应历史证据绑定的定制评分准则(Rubric)。

这套Rubric包括三个部分:Grounding检查回答是否明确体现必要的历史事实;Service检查任务是否完成;Penalty则惩罚违反现有决定、忽视成员限制或使用过时信息等错误。比如购票提醒既要采用新日期,也要兼顾相关人数、交通安排及个人座位偏好;把已作废的日期当成最终安排则应受到惩罚。

Penalty的设计还借鉴了真实用户对群助手的纠正反馈。研究用60道L2题、180份回答中的1,152项准则判断进行人工核验,自动评判与人工多数票的一致率为89.3%。

497条配对记忆:为什么找到事实,还是没用上?

为了不把不同题型的差距误当成记忆能力差异,研究追踪了497条配对记忆:同一段历史既被L1直接询问,也被某项L2服务真实依赖。这样就能观察“已经回忆得出”的记忆,到了服务环节究竟发生了什么。

在所分析的外部记忆系统中,对于L1已召回但L2未被判定有效使用的记忆,约36%没有进入L2模型输入,其余约64%虽进入输入,却未在回答中被判定有效应用。这些百分比只描述该类配对记忆的去向,并非全部L2任务的失败率。

前一种情况与请求缺少明确检索线索有关:用户说“帮大家安排一下”,并不会逐一指出需要检索哪些历史偏好。后一种则表明,证据已经给到模型,并不自动意味着模型知道它应该怎样约束当前回复。

△497条配对记忆的去向:比较L1召回成功的记忆,在L2中是否被应用、虽进入输入却未被判定应用,或未进入输入。

两种干预:把零散证据串起来,把历史要求变成约束

根据上述现象,团队探索了两个轻量干预方向。RER(Relational Evidence Refinement)在检索后梳理人物、事件、时间及决定之间的关系,并在需要时补充相关候选证据;ACB(Assistance Constraint Binding)则把已获得的事实整理为具有主体、范围和当前有效状态的回复约束。

实验中,RER让LightMem的L2平均分提高6.28个百分点;ACB让xMemory与EverMemOS分别提高3.94和3.16个百分点。两者组合后,LightMem、xMemory和EverMemOS的L2分数相对各自基线分别提高7.03、4.64和4.43个百分点。

这些结果显示,通过证据整理和约束显式化,有望改善记忆驱动的服务表现。两种机制各自的独立贡献仍需要进一步细分,不能简单把所有提升都归因于“多找回了几条记忆”。

△RER与ACB干预效果:对比关系证据整理、服务约束绑定及二者组合在不同记忆系统上的表现提升。

从记住历史,到在正确的时候使用历史

真实群聊是Personal Agent和多用户助手的一块试验场。随着智能体开始承担更多长期服务,记忆系统的价值不只是“存了多少、搜得多快”,还取决于它能否理解何时使用、对谁适用、哪些信息已失效。GroupAssistBench试图让这种差异可被观察、分析和比较。

论文链接:https://arxiv.org/abs/2611.04867 Hugging Face论文:https://huggingface.co/papers/2611.04867 代码:https://github.com/Tencent/GroupAssistBench 数据集:https://huggingface.co/datasets/tencent/GroupAssistBench 项目主页:https://zhanghao-groupassisbench.github.io

  • AI给乐队现场搓MV,这是黑客松还是音乐节啊2026-11-21
  • 中国计算,走出新的登峰之路2026-11-21
  • 全网疯传!Grok一姐教你如何月提交3000个PR2026-11-21
  • 反超Gemini之后,Karpo新作再开源,浏览器Agent速效双赢2026-11-21

The text above was extracted automatically from the source page and may miss images, tables or code blocks. The original is authoritative.

Published by 量子位
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗