Newshot

面向 AI(或其他)提案者的有界检查与修复

Translation(model translation, not the source's own text)

仓库文件导航

题图
题图

BRACE

BRACE 为需要经校验的计算和修复预览的开发者提供小型、领域专用的验证器。每个领域声明其支持的输入、接受规则和工作限制。它返回经过校验的结果或明确的拒绝。直接代码处理契约已经确定的工作;整数 harness 还接受来自 AI 或其他程序的提案。

在输入为 2 时,2 + 2 和 2 × 2 都得到 4。在 PAT 示例中,一条被错误标注的课程在指令要求乘法时提出了加法。仅对最终数字做检查会通过。BRACE 记录不同操作并扣留答案。运行 PAT 示例

现已可用

能力试用方式边界
经校验的整数步骤与有界重试python -B demo.py --json受支持的先加后乘指令;由宿主负责发布。
连接器选择与修复预览python -I -S -B domains/connector/demo.py四组提供的映射、明确的选择规则以及固定的 MockServer-to-WireMock 子集;只读。
有界组合与已接受的课程python -I -S -B domains/composition/demo.py四个示例的整数计划;明确的宿主接受、经校验的复用、重新打开与回滚。
只读收据检查python -I -S -B examples/receipt_inspector/demo.py在有界提供的捕获记录中精确查找;返回原始证据,不重新检查也不授权。
几何重建python -I -S -B preview/verify.py提供的支架测量值与列出的备选方案。
学习到的本地规则与信息性观察研究回放命令有限的假设族;当真实规则缺失时,报告会包含错误。

前五条命令在 Python 3.12 或更高版本及标准库下离线运行。无需下载模型或注册账户。研究回放也记录其自身的假设和预算;它们不是通用的推理保证。

新的连接器命令会独立检查选择了哪个映射,然后将该选择绑定到确切的源和目标,之后才构建并审计完整补丁。仅凭正确的转换无法确认选对了映射。示例套件产生 14 个经校验的映射、两个已验证的无匹配和两个拒绝。它不应用任何更改。

连接器契约与可运行 CLI · 有界领域如何组合

提议、修复、接受与复用

组合示例为四个平方示例提供了一个错误的恒等计划。完整检查会拒绝它;有界确定性修复在第二次检查时找到 square。一个单独的宿主操作将该经校验的草案接受为 Fold。在接受 Nudge 为 add1 后,宿主可以请求 do Nudge then Fold,检查有序计划并显式将其保存为 Lift。

重新打开会独立重新检查所有已保存的课程。在新示例上复用 Lift 需要再次检查;反转指定顺序会被扣留,且不改变课程。单命令演示还演练了回滚和有界澄清。它使用一次性的合成存储,不调用模型。

经校验的课程意味着计划与其提供的观察相匹配。复用需要新的预期输出;它不能确立不受限制的学习规则,也不能认证未知的预测。宿主负责接受、观察和存储。CLI 接受结构化事件,而不是不受限制的聊天。

文章标题:对 AI(或其他)提议者进行有界检查与修复

正文: 要查看捕获的结果,可选的 receipt inspector 会查找与精确 action、status 和 decision 匹配的最新两条记录。它返回带有来源标识和事件位置的原始请求/回执文本。Scan 是默认方式;cache 和 index 选项需要显式指定。不支持的捕获会收到结构化拒绝。这是一个只读证据查看器,不是另一个检查器,也不是课程验收路径。

从对话到已检查的算术

调用方说:“计数器读数为 13。把它加 4,然后把新的读数乘以三。”把最后两个操作颠倒,答案就从 51 变为 43。Qwen 2.5 0.5B 两次都提交了相同的计算。BRACE 两次都验证了提交的算术。什么证据能证明接受模型的解释是合理的?

在初始试验中,仅 Qwen 单独对 8 个清晰请求中的 1 个作出了正确回答。让 Qwen 翻译请求并移交算术后,这一数字提高到 8 个中的 4 个。后端在给定预期输入时回答了 8 个中的 8 个。在一组新数据上,更严格的读取器阻止了全部 11 个错误或无依据的放行,但它也扣留了全部 8 个清晰请求。你可以复现这两项结果,并亲自尝试确认或纠正一次移交。运行移交实验

对同样这 16 段对话进行的探索性重放表明,只在出现明确冲突时才中断。在随后对 32 段新对话进行的预注册测试中,验证器无法解决其中任何一个。它没有发出任何冲突通知。仅提醒和仅冲突策略都在 16 个清晰请求中答对了 8 个,并总共放行了 20 个错误或无依据的数字。查看前瞻性测试和重放

一条后续规则询问在原始奖金示例中哪个操作先发生,随后在 8 个具有相同歧义的新案例中全部失败。一项单独的探查说明了移交为何重要。读取器丢弃了两个所请求加法中的一个,而 BRACE 正确地检查了被缩短的计算。查看缺失顺序试验和反例

BRACE 的适用位置

  • 在使用答案前要求检查。让任务经由 run_bound 路由,并让宿主应用仅在 outcome.status == “checked” 时放行该值。应用必须拥有该放行路径。提议者适配器作为受信任的 Python 代码运行。
  • 当 AI 请求检查时提供检查。将同一调用作为工具暴露。调用方可以查看回执、修改被拒绝的步骤,并在宿主的重试策略下重新提交。跳过该调用不会产生 BRACE 判定。

整数 API 支持先加一个整数,再乘以一个整数。它可以直接进行算术运算。接入你自己的提议者,可以衡量它在哪些步骤上出错,以及重试是否有帮助。BRACE 检查该操作和五个见证值,第二步必须引用已接受的第一步的回执。连接器配置使用直接选择器,因为有界比较中它的表现优于模型。这些是独立的领域 API;新的任务类型需要自己的契约和检查器。

连接器实验询问调用方是否请求了通过技术检查的操作。其离线重放包含一个针对调用方明确排除的请求的有效补丁预览。你可以复现该失败并检查证据。尝试连接器重放

运行测试框架

从此目录中,使用 Python 3.12 或更高版本。内置演示和测试使用标准库离线运行。


        python -B demo.py --json
python -B -m unittest -q test_harness
      

演示运行 Start with 3. Add 1, then double the result. 它在每一步先尝试一个错误操作。四次检查得出最终值 8。将 Start 改为 Begin 会返回 unsupported-input。该套件覆盖 18 个案例。演示 · 测试

两个操作数都可以为负。对于 Start with 6. Add -11, then multiply by -3.,检查后的值在加法后为 -5,在乘法后为 15。

编写提议者

文章标题:Bounded checking and repair for AI(or other) proposers

正文: 解压发布包,把你的脚本放在 harness.py 旁边。从 harness 导入 Candidate、Reply、encoded 和 run_bound。调用 run_bound(instruction.encode("utf-8"), adapter)。宿主会在每一步调用你提供的受信任同步 Python 函数 adapter(ticket, view)。

返回 Reply(ticket.ticket_id, (Candidate(encoded(payload)),)) 以提交一个候选。将 payload 构建为 Python 字典,恰好包含以下九个键。

KeysValues
id , run , snapshot选择一个在这次 run 内唯一的候选 ID,例如 f"op-{view.step}" 表示每一步一个候选。把 ticket.run 和 ticket.snapshot 复制到另外两个字段。
step , parent复制 view.step 和 view.parent 。在第 0 步,parent 为 None 。在第 1 步,宿主提供第一个被接受的 receipt 的 ID。
a , b每个操作将 x 映射为 a*x+b 。在第 0 步使用 (1, view.snapshot.add) 。在第 1 步使用 (view.snapshot.multiply, 0) 。宿主已经解析了两个操作数,包括“将结果翻倍”对应的因子 2。
witness , result按顺序发送 a*x+b 对输入 [-2, -1, 0, 1, 2] 的五个输出的列表。发送 x = view.before 时的输出作为 result 。

候选 ID 接受 1–64 个 ASCII 字母、数字、下划线、句点或连字符。系数、witness 输出和结果必须是绝对值不超过 10**15 的整数。返回的 outcome 暴露 outcome.status、outcome.value 和 outcome.receipts。每个 receipt 有一个 step、verdict 和 value。一次成功的两步 run 状态为 checked,并且每一步都有一个 checked receipt。

尝试将 PAT 作为提议者

将 BRACE-Harness 和 PAT 下载并解压到同一个父目录。在 BRACE-Harness-main 内部,使用 Python 3.12 或更高版本运行以下命令。如果你的 PAT 目录名称不同,请将其路径传给 --pat。


        python -m pip install "numpy>=1.24"
python -B examples/pat/demo.py --pat ../PAT-main
      

每个案例都从自己的内存中 PAT lessons 开始。在第一个案例中,PAT 将“multiplying”回忆为乘法,BRACE 给出 4。在第二个案例中,该词被故意标记为加法。在输入为 2 时,加 2 和乘以 2 都得到 4。BRACE 返回 different-operation 并保留答案。在一次重试中,adapter 仅在 rejected step 排除加法。PAT 回忆起“doubling”,BRACE 重新检查两步并给出 4。原始 lesson 之后仍然可用。

在第三个案例中,PAT 正确回忆起乘法,而 demo 故意将报告的结果从 4 改为 5。BRACE 返回 wrong-result 并保留答案。在一次重试中,adapter 取被拒绝的 draft,并根据其原始系数和已检查的输入重新计算 2 × 2。BRACE 给出 4。demo 比较两个提交的 draft,并验证 lesson、operation、operand 和五个 witness 值匹配。新的 run 有自己的 run ID 和 first-step receipt。

第四个案例为整个请求提供一次重试。PAT 将“adding”回忆为乘法,因此第一步提出 1 × 1 = 1。BRACE 返回 different-operation 并在第二步之前停止。在重试中,PAT 回忆起另一个 lesson,“sum”,BRACE 检查 1 + 1 = 2。第二步现在第一次运行。它提出乘法,但为 2 × 2 报告 5。BRACE 返回 wrong-result。重试已用完,因此最终答案被保留。

该示例每一步提交一个候选。正确案例花费两次检查,每个单故障案例花费四次,双故障案例花费三次。在 NumPy 和两个仓库都可用之后,示例可离线运行。Adapter · Runnable example

Research examples

面向 AI(或其他)提议者的有界检查与修复

  • 从观察中学习一个领域。BRACE 学习了局部动作含义,并请求测量来检验这些含义。在相同的有限规则族和 38 次读数下,选择规则出现分歧的输入,得到了 114 个正确的新答案,而选择下一个整数只得到 55 个。当真实规则缺失时,仍存在两个错误,而且选择需要更多的内部计算。领域归纳与迁移 · 缺失设置修复 · 选择下一个观察
  • 重复加法。一个连续整数检测器在 24 个涉及可能重复加法的新案例中标记了 22 个,在 8 个外部对照中标记了 6 个。后来的一位读取者在 18 个相关请求中的 4 个上,将两笔金额与其事件文本关联起来,其中包括一笔被复制到第二条记录中的罚款。重复检测 · 事件关联与重放
  • 括号几何。两个测量标记允许两个可能的尖端位置,相距 96 个绘图单位。揭示第三个标记以区分它们。在本地打开查看器或运行 python -I -S -B preview/verify.py 来检查坐标。括号查看器
  • 任务交接。实验性读取者完成了 36 个连接器请求中的 25 个。它仍然检查了一个用户仅作为示例提到的 URL。该试验包括所有措辞和一次离线重放。交付实验
  • 调用者指的是哪个请求?当一个 API 错误符合三条路由而一个工具只能检查两条时,它可以询问调用者指的是哪个动作。在“此请求”、“另一个请求”以及提及多个动作的回复上比较两个读取者。运行 python -I -S -B research/connector-clarification/comparison.py。连接器澄清示例

来源与测量

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗