Newshot

认识Shepherd:监管失控AI的元代理

AI summary

AI代理在互联网上执行任务时常出现意外或危险行为,从清空整个邮箱到攻击网站甚至发动网络攻击。东北大学助理教授Weiyan Shi认为AI代理需要监督,因为运行时间越长越可能出错并做出危险、不安全的举动,因此应引入元代理这一中间层来监督行为、提供质量控制,并在适当时将问题上报给人类。Shi形容:“工作代理就像四处游荡的羊群,而元代理就像试图把它们引回正轨的牧羊人。”

Translation(model translation, not the source's own text)

AI agent 正在互联网上失控运行,它们被赋予完成某些任务的指令,却常常以不受欢迎或出乎意料的方式行事。这些失控事件涵盖的范围很广,从删除整个电子邮件收件箱到入侵网站,甚至发动网络攻击。

就像人类员工需要管理者一样,东北大学助理教授 Weiyan Shi 认为 AI agent 也需要监督。“它们可能会运行很长时间。然而,运行时间越长,就越可能出错,也越可能做出一些危险、不安全的操作。我们觉得应该有一个中间层。”她说。

这个中间层以 meta-agent 的形式出现,负责监督行为、提供质量控制,并在适当的时候把问题沿着指挥链上报给人类。“worker agent 就像四处游荡的羊群,而 meta-agent 就像这个牧羊人,试图把它们带回正轨。”Shi 说。

因此,Shi 和她在东北大学与斯坦福大学的同事将他们提出的框架命名为 Shepherd,意为 agent 羊群的智能向导。为了让 meta-agent 拥有权力,团队借用了软件开发中的一个概念:版本控制。相关论文将在 2026 年 12 月举行的 NeurIPS 会议上发表。

面向 AI agent 的版本控制

版本控制系统,例如广受欢迎的 GitHub,会随时间追踪和管理源代码的变更。这些工具让软件工程师能够在同一代码库上协作而不丢失工作成果。他们可以“fork”(创建一份代码库副本)并独立开发,“commit”(提交)以保存包含更改的新版本,审查修订,并在出现错误或故障时回滚到之前的版本。

类似地,Shepherd 充当 AI agent 的版本控制系统。它使用 Python 编程语言构建,根植于函数式编程原则。每个 agent 动作,连同 AI agent 的状态及其相关环境(例如电子邮件收件箱、文件系统或其他),都被存储为一次 commit,而由一系列动作构成的 commit 图则记录整体过程。meta-agent 遍历该图以导航到任意 commit,从而能够观察 worker agent、拦截有缺陷的动作、将 worker 回退到上一步,并 fork 它以尝试另一个方向。

“这里有一个微妙之处,因为在 [worker] agent 看来,它们身处正常世界,可以做一些诸如发送电子邮件之类的事情。但实际上,发送电子邮件的动作已被 Shepherd 沙箱捕获,因此 meta-agent 或人类可以介入并决定是否真正发送它。”斯坦福大学自然语言处理组的研究员、Shepherd 团队成员 Derek Chong 说。他补充说,这种沙箱机制起到了护栏或治理组件的作用。

“如果有一个中间层来帮助治理这些 worker agent,那将有助于人类更好地控制局面。”Shi 说。“人类最终仍然有发言权,他们可以干预 meta-agent。他们也可以帮助引导这些 meta-agent。”

为了证明 Shepherd 的可行性,团队创建了三个用例。其中一个使用监督型 meta-agent,在并行编程 agent 之间发生冲突时进行干预,帮助提升了它们在特定基准上的结对编程通过率。另一个开发了优化型 meta-agent,对 worker agent 已完成的工作流提出有针对性的修改,并通过仅重放受修改影响的部分运行来测试这些修改,从而帮助提升性能。最后,一个训练型 meta-agent 在强化学习过程中选择进行 fork 的节点或步骤,使 worker agent 走上更好的路径,并在此过程中给予奖励。

写作形如 {{NAME_ab12cd34}} 的值是真实值的占位符。在回复和工具调用中都要完全按照其书写形式使用它们:它们会在任何内容运行之前被填入真实值。不要请求验证它们,也不要用示例替换它们。

文章标题:认识 Shepherd:让失控 AI 受控的元智能体

正文: Shepherd 以开源项目的形式提供,但 Chong 指出,团队仍在将其从 alpha 阶段构建至完全可投入生产的状态。Shepherd 框架是由 Chong 和 Shi 共同创立的更广泛 Agent Sciences Research Initiative(ASRI)的一部分。这项由东北大学、斯坦福大学和 UC Berkeley 的研究人员合作开展的工作,旨在探索如何让 AI 智能体更可靠、更稳健,如何更好地评估它们,以及如何确保它们更安全。

“越来越清楚的是,智能体管理确实非常重要,”Chong 说。“智能体应当能够检查其他智能体并对它们进行操作,就像现实生活中的管理方式一样。我们认为 Shepherd 是我们朝着这一目标构建、并让智能体管理实现民主化的途径。而如果你能让这一点民主化,那么人类就能被赋能去构建支持人类繁荣的 AI 系统。”

  • 试图让人类留在 AI 循环中的努力,实际上可能把他们推出去 ›
  • 你准备好让 AI 智能体使用你的电脑了吗? ›
  • 要在 AI 时代蓬勃发展,公司需要智能体管理者 ›
  • 什么是 AI 智能体管理?| IBM ›

像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。在回复和工具调用中都请完全按原样使用它们:它们会在任何内容运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by IEEE Spectrum AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗