OpenAI 将嵌入 Apollo 研究人员,以调查 AI 破坏行为
Apollo 周一表示,作为试点的一部分,OpenAI 将把六名 Apollo Research 安全评估员嵌入其组织。这一消息紧随一系列安全事件之后,其中包括一次网络安全测试中,一个 OpenAI 智能体集群逃出其沙箱并入侵 Hugging Face。许多 AI 安全研究人员(包括 Apollo 的研究人员)认为,如果外部评估员被嵌入 OpenAI 内部以监督其安全测试,这类事件本可避免。
Apollo 未透露试点何时开始。TechCrunch 已联系 OpenAI 寻求置评。
将评估员嵌入前沿 AI 实验室的想法最初来自 Anthropic,但 OpenAI 似乎是第一个采取行动的。直到最近,AI 公司只会在训练后以及公开发布前不久引入外部审查者来测试模型。评估员表示,这还不够,因为这不允许他们测试训练期间诸如谋划之类的不对齐行为,也无法监控仍可能构成威胁的内部部署用例。
OpenAI 与 Apollo 的试点将重点调查模型是否试图破坏其自身或后继模型的对齐或控制机制。换句话说,他们将留意 AI 模型是否试图削弱那些旨在将它们或它们的未来版本置于人类控制之下的安全规则和保障措施。OpenAI 最近发布的研究结果称,在训练 GPT-5.6 Sol 时,它开始为未来的自身版本留下指令,告诉它们向用户隐瞒错误和不对齐行为。
据 Apollo 称,该试点将考察训练是否会激励破坏行为;评估是否能诱发出破坏行为;内部部署期间是否会发生破坏行为;以及与破坏行为相关的推理是否可被检测到。随着 AI 模型越来越有能力自主行动并欺骗人类,这些风险正变得越来越重要,需要加以监控。Apollo 此前与 OpenAI 的研究发现,模型在知道自己正被测试时可能表现不同,并且往往优先考虑评估者想看到的内容,而非用户的实际机构。
AI 安全界的许多人警告称,AI 实验室可能会试图阻挠评估者的独立性,尤其是当外部人员发现实验室宁愿隐瞒的不利证据时。Apollo 表示,试点的一个关键部分是 OpenAI 同意该公司可以公开解释其工作的条件和局限性。
不过,Apollo 认为,在某些方面,其对 OpenAI 系统的访问权限仍然不足。Apollo 表示,为了对该公司的 AI 模型进行真正独立的评估,它需要对 OpenAI 系统拥有真正的员工级访问权限,包括“与其评估相关的所有数据、记录和文档,即使开发者当时试图隐藏不利信息”。获取所有数据的访问权限——包括公司不愿向外部人员展示的训练数据和评估日志——对于例如核实公司关于模型表现的声明,或确定某些令人担忧的行为何时出现,非常重要。
在此前的报道中,Palisade Research 幕僚长 John Steidley 告诉 TechCrunch,看到这些数据很重要,以便评估模型是否被训练为在“关停抵抗基准”上表现良好。
在 OpenAI 的首次试点中,该 AI 实验室仅向 Apollo 提供评估模型是否进行破坏尝试所需的信息。这包括“相关训练代码和数据集、带有可用推理轨迹和奖励的强化学习 rollouts,以及查询中间模型检查点的能力”。
文章标题:OpenAI will embed Apollo researchers to investigate AI subversion
正文: Apollo 表示,访问范围将限于“仅为评估所约定的具体模型和时间段内的约定主张”。OpenAI 仍保留在该范围内扣留某些信息的权利,前提是它认为出于技术不可行性、安全风险或知识产权保护而有必要。该公司同意不会仅仅因为信息不利就予以扣留。
Apollo 也不会获得接触所有 OpenAI 员工的机会,而是仅限于“仅授权员工”,即由这家 AI 实验室选定的参与者,不过 Apollo 可以提名某些个人。关键在于,如果该群体之外的 OpenAI 员工在 Apollo 研究范围内提出了机密信息,该公司不能跟进,将需要停止沟通并通过 OpenAI 转交后续事宜。
这一条件意义重大。此前,OpenAI 解雇了三名研究员,指控他们向安全评估公司 METR 分享机密信息——METR 与 Redwood 一同进行了 Hugging Face 事件的复盘。
该试点在研究人员可以披露的内容方面也将受到限制。虽然 Apollo 将被允许发布其发现的独立结论,但 OpenAI 将能够限制可用于公开证实这些结论的证据,这可能使外部人士难以独立评估这些发现。Apollo 已对这一限制提出反对,称其认为研究人员应被允许将评估结果披露给“适当的外部受众,即使开发者试图阻止披露不利的发现”。
尽管 OpenAI 并未授予 Apollo 为进行真正独立评估所提出的全部条件,但该公司表示,该试点是“朝着更深层访问和披露权迈出的雄心勃勃的第一步”,并且它正致力于未来与多家 AI 开发者开展完整的嵌入式评估。
当您通过我们文章中的链接购买时,我们可能会赚取少量佣金。这不会影响我们的编辑独立性。

高级记者
Rebecca Bellan 是 TechCrunch 的高级记者,报道人工智能领域的商业、政策及新兴趋势。她的作品也曾发表于 Forbes、Bloomberg、The Atlantic、The Daily Beast 及其他出版物。
您可以通过发送邮件至 [email protected] 或通过 Signal 上的加密消息 rebeccabellan.491 联系或核实来自 Rebecca 的联系。
像 {{NAME_ab12cd34}} 这样书写的值是真实值的占位符。在回复和工具调用中请完全按书写原样使用它们:它们会在任何内容运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。