Newshot

小型 LLM 智能体的安慰剂对照记忆测试:在 ALFWorld 上提升 24 分

Translation(model translation, not the source's own text)

文章标题:针对小型 LLM agent 的安慰剂对照记忆测试:在 ALFWorld 上 +24 分

正文: 状态:已完成

实验室项目 ALFWORLD-LADDER-R4-V4

问题(所有者):向 4B agent 展示两段按目标相似度检索到的专家 ALFWorld 演示(阶梯第 4 级),能否使留出的训练游戏(其家族与题库不相交)上的解决率高于 token 匹配的安慰剂组,并高于无记忆组?

领域:command-run 周期数:1;角色调用次数:9;单元数:300。

结果(周期 1,n = 300 个单元,3 个组)

组解决率
none0.47
placebo0.45
retrieved_task0.69
比较差值95% 区间增益 / 损失状态
retrieved_task − placebo(主要)+0.240[+0.177, +0.303]91 / 19practical
placebo-none-0.023[-0.071, +0.024]23 / 30equivalent
retrieved_task-none+0.217[+0.155, +0.278]84 / 19practical

发现(包括阴性结果)

组假设周期状态结论级别差值区间id
retrieved_taskH1(预测为正)1practical支持developmental+0.240[+0.177, +0.303]finding:00fa0192dfd13db2
retrieved_taskH2(预测为零)1practical被驳倒developmental+0.240[+0.177, +0.303]finding:102266bf120db7a3
retrieved_taskH3(预测为正)1practical支持developmental+0.240[+0.177, +0.303]finding:e7402eac3345ea88

注意事项

  • 第一个分块后的早期检查标记:retrieved_task:每步 invalid_no_action_tag,组 − placebo +0.038 [+0.012, +0.065]
  • 测量被一次基础设施故障中断(一个被杀死的 worker 遗留的批次阻塞了输出文件);已保存的记录保留下来,只重新运行了缺失的任务。
  • 测量问题:process:每步 invalid_no_action_tag,组 − placebo +0.034 [+0.014, +0.053] > 0.03(预注册标准)——内容效应与格式/过程效应未被分离

测量检查(每步,按组)

组empty_retriesinvalid_actionsinvalid_no_action_tagmin_tokens
none0.0000.1760.0900.221
placebo0.0000.1950.0990.217
retrieved_task0.0000.2910.1330.307

代码审计结论:有效(完整性、重算、泄漏、原始数据完整性)。

决策

  • decision:83dcca42c4a4e619(周期 1):暂停
  • decision:e72b3101363cdf00(周期 1):基础设施故障后恢复测量
  • decision:0131f1264acf30d0(周期 1):对结果应用规则
  • decision:ead369c0349576ad(周期 1):项目结束
  • decision:2c2134600713c5d7(周期 1):re-export_after_false_hold

各方向状态

  • retrieved_task:measurement_problem —— 测量问题,因此既未确立也未关闭

结论的适用范围

结论仅适用于任务总体 command-run:alfworld-ladder-r4-v4-train、各组 ['retrieved_task'] 对安慰剂 placebo、包络的测量条件以及 1 次运行中 300 个单元的规模。不要推广到其他任务、模型、提示或规模。

未改变协议的审阅者和审计者备注:24 条(在 knowledge.jsonl 中,kind 为 discussion)。

按任务记录(每个任务 × 组 × 种子一行:solved、steps、empty 和 untagged 答案、memory tokens):per_unit.csv。原始 episode 日志保持私有。

所有数字均由实验室代码从原始数据计算得出;模型角色仅提出和批评。溯源:knowledge.jsonl + PROVENANCE.json;用 python verify_provenance.py knowledge.jsonl 检查。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗