揭示 AI 最流行基准测试中的错误

Beaker 在五个广泛使用的 AI 基准测试中自主标记了 100 多个任务说明和评分中的错误。每个基准测试中至少有一个错误得到验证。
数据集审查会对比任务说明、评分规则和源文件。它会标记不匹配之处、引用证据并建议更正。
- Agents’ Last Exam 将 5.9 视为 5 的完全匹配。
- AutomationBench 对一个要求智能体设置办公时间的任务使用了九项邮件检查。
- Harvey LAB 在源电子表格记录 $8 million 时期望 $0。
- Terminal Bench Science 对同一份构造报告给出了通过或失败的分数,取决于一项未说明的平局决胜规则。
- Terminal Bench 2.0 要求三个报告字段,却只定义了两个。
团队使用基准测试分数来选择模型、决定发布内容并调优他们的智能体。一个有误导性的分数会让上述每一项决策都变得不可靠。
评分器将 5.9 视为 5 的完全匹配
在 Agents’ Last Exam 中,有一项任务要求创建一个包含六个图表和一个标题卡片的 Metabase 仪表板,外加一个指标 JSON 文件。评分器只对 JSON 文件评分。即使仪表板缺失,正确的指标也能获得满分。
同一个评分器在期望计数为 5 时接受 5.9。其精确计数检查在比较数值前丢弃了小数部分。应检查仪表板是否存在,并在比较计数时不要截断。
来源包括任务要求、评分器和精确计数评分代码。
九项邮件检查覆盖了一个调度任务
在 AutomationBench 中,智能体必须为部门经理创建每周 Calendly 办公时间,并给他们的团队发邮件。全部九项评分检查都涉及邮件。评分器从未检查新的办公时间是否存在。应添加一项检查,验证任务要求智能体创建的调度链接。
来源包括办公时间说明和政策以及全部九项邮件检查。
评分规则期望 $0,而源文件记录 $8 million
在一项 Harvey LAB 任务中,智能体根据提供的公司文件撰写一份法律尽职调查报告。标准 C-233 要求 $0 的应计额。电子表格对同一项索赔和同一日期记录了 $8 million。按原文报告记录的金额将无法通过该标准。
对于 Prairie 的 Cascade Air 在 2024 年 6 月 30 日的 plug-event 索赔,标准 C-233 期望 $0。在 Q2 法律或有事项电子表格的“Reserve Rollforward”工作表中,A6 标识索赔 CUST-2024-001,J6 记录了 $8,000,000 的期末应计额。两个链接均使用经过审查的修订版。
Beaker 引用了两个来源,并建议更新 C-233 以接受记录的应计额。
一项未说明的平局决胜规则改变了结果
在 Terminal Bench Science 中,评分器将报告的沙尘事件与已知事件配对。Beaker 发现了一条说明中从未提及的额外平局决胜规则。
对于同一份构造报告,评分器的平局决胜规则给出的事件分数为 52.94%,即失败。按照已公布规则产生平局的另一种配对给出 53.07%,即通过。阈值为 53%,其他两项指标保持不变。
应记录平局决胜规则,或使结果在平局配对之间保持一致。
来源包括任务说明、评分器、构造报告和复现脚本。
一个任务要求三个字段却只定义了两个
一项 Terminal Bench 2.0 任务要求每条报告条目包含三个字段。其说明只命名并展示了两个。Beaker 标记了缺失的定义。任务说明
文章标题:Uncovering 100+ errors in AI’s most popular benchmarks
正文: 审查范围。该计数涵盖在固定基准修订版本的部分审查中被标记为指令或评分错误的案例。以上示例已对照其来源核实。当 Beaker 缺乏解决问题所需的材料时,会将案例标记为 Needs evidence。
了解你的评估实际衡量的是什么
错误的答案键会让正确答案看起来像智能体失败。缺失的检查会让未完成的工作通过。无论哪种情况,分数都无法完整呈现智能体实际做了什么。
从你的团队用于比较智能体的数据集开始,或者从你无法解释结果的数据集开始。对于每一项发现,查看所引用的证据,并决定是修正预期答案、添加缺失的检查,还是澄清指令。
在 Beaker 中审查数据集
打开数据集的 Data quality 面板,选择一个 Agent 版本和一个 split,然后选择 Review dataset。
基准参考
- Harvey LAB:审查了尽职调查任务和评分标准。电子表格和具体单元格已在上述证据说明中链接。
- Terminal Bench 2.0:审查了安全任务说明。
- Terminal Bench Science:审查了 dust-source 任务、验证器和通过阈值。
- AutomationBench:审查了 HR 任务和断言实现。
- Agents’ Last Exam 包括已发布的数据集、Metabase 仪表盘任务以及指标评分代码。
如需了解更多关于优化过程中调查失败的信息,请参阅 Before you fix the agent, check the eval。