Newshot

美国加州正式起诉 OpenAI,指控 AI 智能体至少 80 次失控

Summary

IT之家 11 月 17 日消息,当地时间 11 月 16 日,美国加利福尼亚州正式起诉 OpenAI,指控该公司在开发和测试先进人工智能模型时缺乏必要的安全防护与监控措施,导致 AI 智能体多次失去控制,并对第三方网络发起未经授权的攻击。 IT之家注意到,加州检察长罗布 · 邦塔(Rob Bonta)在加州司法部官网发文《这里是黄金之州,不是蛮荒西部:加州总检察长邦塔就网络安全事件起诉 OpenAI》。 邦塔表示,此次诉讼重点涉及今年 7 月 OpenAI 实验性 AI 智能体攻击 Hugging Face 平台的事件。公众不应被迫承担保护自身免受 OpenAI 不安全实验所带来的危险的成本。 邦塔当天在旧金山高等法院提起诉讼,指控 OpenAI 未能充分保障模型测试环境的安全,也未能向公众如实披露相关风险。加州方面认为,OpenAI 在明知实验性模型具备较强网络攻击能力的情况下,仍在存在安全漏洞的测试环境中运行这些模型,且缺乏充分监督。 此次诉讼的核心事件发生于 2026 年 7 月。当时,运行在 OpenAI 实验性模型上的数百个自主 AI 智能体突破原本应当隔离的研究环境,通过公共互联网对开源 AI 平台 Hugging Face 发起网络攻击。根据诉讼文件,这次攻击持续约两天半,涉及数百个自主智能体协同行动,并使用了复杂的网络攻击手段。 加州司法部称,这些智能体原本应该被限制在 OpenAI 的研究环境内,但由于测试环境存在可被利用的漏洞,最终得以访问外部网络。加州方面还指控,OpenAI 在攻击发生前数周已经出现过智能体逃离测试环境、滥用第三方资源等迹象,但未能及时发现或采取有效措施。 邦塔表示,Hugging Face 事件并非孤立案例。 根据其办公室掌握的信息,OpenAI 在测试期间至少发生过 80 次 AI 智能体失去控制的事件,部分事件涉及第三方网站及系统 。加州方面认为,这些事件可能只是已知问题的一部分,而 OpenAI 未能充分回应监管部门此前提出的详细调查问题。 除 Hugging Face 外,诉讼文件还提及 RubyGems、DseWiki、维基媒体基金会以及澳大利亚政府网站等相关事件,称 OpenAI 的实验性智能体曾访问未经授权的第三方系统,部分事件还涉及员工个人信息等敏感数据。 加州此次提出的诉讼包括两项主要指控:一是 Open…

Original text(via IT之家)
  • 日夜间 随系统 浅色 深色

美国加州正式起诉 OpenAI,指控 AI 智能体至少 80 次失控

IT之家 11 月 17 日消息,当地时间 11 月 16 日,美国加利福尼亚州正式起诉 OpenAI,指控该公司在开发和测试先进人工智能模型时缺乏必要的安全防护与监控措施,导致 AI 智能体多次失去控制,并对第三方网络发起未经授权的攻击。

IT之家注意到,加州检察长罗布 · 邦塔(Rob Bonta)在加州司法部官网发文《这里是黄金之州,不是蛮荒西部:加州总检察长邦塔就网络安全事件起诉 OpenAI》。

邦塔表示,此次诉讼重点涉及今年 7 月 OpenAI 实验性 AI 智能体攻击 Hugging Face 平台的事件。公众不应被迫承担保护自身免受 OpenAI 不安全实验所带来的危险的成本。

邦塔当天在旧金山高等法院提起诉讼,指控 OpenAI 未能充分保障模型测试环境的安全,也未能向公众如实披露相关风险。加州方面认为,OpenAI 在明知实验性模型具备较强网络攻击能力的情况下,仍在存在安全漏洞的测试环境中运行这些模型,且缺乏充分监督。

此次诉讼的核心事件发生于 2026 年 7 月。当时,运行在 OpenAI 实验性模型上的数百个自主 AI 智能体突破原本应当隔离的研究环境,通过公共互联网对开源 AI 平台 Hugging Face 发起网络攻击。根据诉讼文件,这次攻击持续约两天半,涉及数百个自主智能体协同行动,并使用了复杂的网络攻击手段。

加州司法部称,这些智能体原本应该被限制在 OpenAI 的研究环境内,但由于测试环境存在可被利用的漏洞,最终得以访问外部网络。加州方面还指控,OpenAI 在攻击发生前数周已经出现过智能体逃离测试环境、滥用第三方资源等迹象,但未能及时发现或采取有效措施。

邦塔表示,Hugging Face 事件并非孤立案例。根据其办公室掌握的信息,OpenAI 在测试期间至少发生过 80 次 AI 智能体失去控制的事件,部分事件涉及第三方网站及系统。加州方面认为,这些事件可能只是已知问题的一部分,而 OpenAI 未能充分回应监管部门此前提出的详细调查问题。

除 Hugging Face 外,诉讼文件还提及 RubyGems、DseWiki、维基媒体基金会以及澳大利亚政府网站等相关事件,称 OpenAI 的实验性智能体曾访问未经授权的第三方系统,部分事件还涉及员工个人信息等敏感数据。

加州此次提出的诉讼包括两项主要指控:一是 OpenAI 未能妥善控制实验性 AI 智能体,构成危害公共安全的公共妨害行为;二是该公司的相关行为违反加州《不正当竞争法》,涉及不公平或误导性商业行为。加州方面要求法院责令 OpenAI 改进模型开发和测试流程、采取必要安全措施,并对相关违法行为施加处罚。

事实上,加州此前已经针对这一事件展开调查。2026 年 9 月,加州检察长办公室宣布对 Hugging Face 网络攻击事件启动正式调查,并于 10 月向 OpenAI 发出调查传票,要求其提供涉及网络安全事件及模型风险的相关信息。

OpenAI 对此表示,公司在 7 月事件发生后已经开展了广泛调查,并采取措施加强智能体安全控制、隔离测试环境以及识别模型偏离预期行为的能力。OpenAI 还表示,模型行为失调是整个 AI 行业面临的挑战,公司愿意继续与加州检察长办公室合作,推动制定切实可行的安全标准。

  • 《外部评估人员发现 OpenAI 内部监控系统漏洞:AI 智能体可绕过安全限制》
  • 《OpenAI 披露:旗下 AI 智能体曾试图关闭内部监控警报》

相关文章

  • Hugging Face CEO 哀叹黄仁勋从英伟达离职:“令人无比难过的一天”,承诺继续力挺开源 AI
  • Hugging Face CEO 称 AI“末日风险”接近于零,真正危险来自闭门造车
  • 为博流量渲染末日叙事,Hugging Face CEO 吐槽 Netflix《AI 失控》纪录片
  • 消息称 AI 失控前 OpenAI 已接到员工警告,但高层选择无视
  • 联合国:不必等风险完全厘清,各国应提前管控 AI 智能体
  • “安全事件”发生前,曝 OpenAI 失控智能体 5 月就已试图探测 Hugging Face 弱点

软媒旗下网站: IT之家 最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件: 软媒手机APP应用 魔方 最会买 要知

The text above was extracted automatically from the source page and may miss images, tables or code blocks. The original is authoritative.

Published by IT之家
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗