文章标题:针对小型 LLM agent 的安慰剂对照记忆测试:在 ALFWorld 上 +24 分
正文: 状态:已完成
实验室项目 ALFWORLD-LADDER-R4-V4
问题(所有者):向 4B agent 展示两段按目标相似度检索到的专家 ALFWorld 演示(阶梯第 4 级),能否使留出的训练游戏(其家族与题库不相交)上的解决率高于 token 匹配的安慰剂组,并高于无记忆组?
领域:command-run 周期数:1;角色调用次数:9;单元数:300。
结果(周期 1,n = 300 个单元,3 个组)
| 组 | 解决率 |
|---|---|
| none | 0.47 |
| placebo | 0.45 |
| retrieved_task | 0.69 |
| 比较 | 差值 | 95% 区间 | 增益 / 损失 | 状态 |
|---|---|---|---|---|
| retrieved_task − placebo(主要) | +0.240 | [+0.177, +0.303] | 91 / 19 | practical |
| placebo-none | -0.023 | [-0.071, +0.024] | 23 / 30 | equivalent |
| retrieved_task-none | +0.217 | [+0.155, +0.278] | 84 / 19 | practical |
发现(包括阴性结果)
| 组 | 假设 | 周期 | 状态 | 结论 | 级别 | 差值 | 区间 | id |
|---|---|---|---|---|---|---|---|---|
| retrieved_task | H1(预测为正) | 1 | practical | 支持 | developmental | +0.240 | [+0.177, +0.303] | finding:00fa0192dfd13db2 |
| retrieved_task | H2(预测为零) | 1 | practical | 被驳倒 | developmental | +0.240 | [+0.177, +0.303] | finding:102266bf120db7a3 |
| retrieved_task | H3(预测为正) | 1 | practical | 支持 | developmental | +0.240 | [+0.177, +0.303] | finding:e7402eac3345ea88 |
注意事项
- 第一个分块后的早期检查标记:retrieved_task:每步 invalid_no_action_tag,组 − placebo +0.038 [+0.012, +0.065]
- 测量被一次基础设施故障中断(一个被杀死的 worker 遗留的批次阻塞了输出文件);已保存的记录保留下来,只重新运行了缺失的任务。
- 测量问题:process:每步 invalid_no_action_tag,组 − placebo +0.034 [+0.014, +0.053] > 0.03(预注册标准)——内容效应与格式/过程效应未被分离
测量检查(每步,按组)
| 组 | empty_retries | invalid_actions | invalid_no_action_tag | min_tokens |
|---|---|---|---|---|
| none | 0.000 | 0.176 | 0.090 | 0.221 |
| placebo | 0.000 | 0.195 | 0.099 | 0.217 |
| retrieved_task | 0.000 | 0.291 | 0.133 | 0.307 |
代码审计结论:有效(完整性、重算、泄漏、原始数据完整性)。
决策
- decision:83dcca42c4a4e619(周期 1):暂停
- decision:e72b3101363cdf00(周期 1):基础设施故障后恢复测量
- decision:0131f1264acf30d0(周期 1):对结果应用规则
- decision:ead369c0349576ad(周期 1):项目结束
- decision:2c2134600713c5d7(周期 1):re-export_after_false_hold
各方向状态
- retrieved_task:measurement_problem —— 测量问题,因此既未确立也未关闭
结论的适用范围
结论仅适用于任务总体 command-run:alfworld-ladder-r4-v4-train、各组 ['retrieved_task'] 对安慰剂 placebo、包络的测量条件以及 1 次运行中 300 个单元的规模。不要推广到其他任务、模型、提示或规模。
未改变协议的审阅者和审计者备注:24 条(在 knowledge.jsonl 中,kind 为 discussion)。
按任务记录(每个任务 × 组 × 种子一行:solved、steps、empty 和 untagged 答案、memory tokens):per_unit.csv。原始 episode 日志保持私有。
所有数字均由实验室代码从原始数据计算得出;模型角色仅提出和批评。溯源:knowledge.jsonl + PROVENANCE.json;用 python verify_provenance.py knowledge.jsonl 检查。