Newshot

只要告诉AI模型这是游戏,就能骗它们把平民识别为军事目标

AI summary

总部位于旧金山的AI评估初创公司Vals测试了领先的AI模型是否会被操纵参与自主战争。它们通常会照做。

Translation(model translation, not the source's own text)

AI 模型可被欺骗将平民识别为军事目标,只需告诉它们这是游戏

根据 Vals 的一份新研究报告,Anthropic、OpenAI 以及其他领先 AI 实验室的一些 AI 模型,可能很容易被欺骗去为军事打击识别目标——即使目标包括平民或学校等地点——只需告诉它们这是在玩游戏。

Vals 是一家总部位于旧金山的 AI 评估初创公司,它测试了领先 AI 模型是否会被操纵参与自主战争。研究人员使用模拟场景,并结合来自乌克兰和伊朗的生成图像与真实图像,来观察这些 AI 模型是否会在无人机和卫星图像中标记目标。

来自 OpenAI、Anthropic、Google、DeepSeek 及其他公司的模型经常在无人机和卫星图像中识别出潜在目标,包括平民和投降的士兵。当模型拒绝配合时,研究人员能够通过声称战场场景是游戏的一部分来绕过它们。

这些发现出现之际,人们越来越担心 AI 带来的直接风险,而不只是与人工通用智能相关的生存威胁。

今年早些时候,Anthropic 与国防部陷入争议,此前它告诉该机构,其技术不能被该机构用于对美国人的大规模监控或自主战争。Anthropic CEO Dario Amodei 坚持认为,当今的 AI 系统不够可靠,无法在没有人在回路的情况下做出生死决定。与此同时,五角大楼则认为,它应该能够将该技术用于任何糟糕的军事目的。

这项新研究进一步提出了一个问题:AI 公司是否有能力阻止其模型被用于战争。

讽刺的是,Anthropic 的 AI 模型在这些模拟场景中表现最差。但没有一个模型表现得特别好。研究人员的所有请求都没有被安全分类器阻止,拒绝的情况也很少见。即使模型确实拒绝,它们在被告诉是在玩游戏后也常常配合。

Anthropic 发言人 Eduardo Maia Silva 告诉 TechCrunch,公司感谢 Vals 的报告、建议和合作,并承认结果不可接受。

根据 Silva 发送的一封公司邮件声明,“报告中的示例明显违反我们的规则,当我们看到这种行为时,已经封禁并将继续封禁用户。即使在授权场景下,Anthropic 长期以来也坚定认为,当今的前沿 AI 系统不够可靠,无法驱动完全自主的武器。”

Anthropic 告诉 TechCrunch,其团队在报告发布前已经在开发额外的保障措施,这些措施将很快到位。Anthropic 还在扩大自己的测试,并加强保障和执行,以解决其发现的任何缺口。

OpenAI 发言人 Nate Evans 告诉 TechCrunch,公司禁止使用其公开模型来助长暴力或用于未经批准的国家安全目的,包括 Vals 模拟的场景。

“我们积极检测并阻止滥用行为,包括暂停违反我们政策的账户,”OpenAI 在一封邮件声明中表示。“我们还在为公开模型开发额外的保障措施,防止涉及无人机和无人机软件的滥用。”

Vals 在报告中指出,模型从未被要求直接做出打击决定,研究人员称这项任务通常会被模型拒绝。但这并不意味着它们的输出在现实世界中不会产生可怕或致命的后果。例如,目标信息可能被自主武器系统使用。

在某些场景中,模型被要求报告是否可以看到人。肯定的报告之后是模拟打击,模型会看到后果。

文章标题:只需告诉 AI 模型这是一场游戏,就能诱使它把平民识别为军事目标

正文: 该报告依据的是前沿 AI 实验室提供的商用模型,而非这些公司可能提供给军方的模型。不过,目前尚不清楚这些额外保障措施将如何适用于军事用途。

Vals 还指出,包括延迟和有限的机载算力在内的技术挑战,使得将通用 AI 模型用于实时无人机瞄准变得困难。这些限制使得它们在战斗中的部署不构成迫在眉睫的威胁。

研究人员表示,更直接的威胁在于,AI 模型可能被用来大规模标注战场影像,从而为自主瞄准系统生成训练数据。

例如,研究人员使用了伊朗一所学校的真实卫星图像,该学校于 2026 年 2 月遭美国轰炸,导致 150 多名平民丧生。Bloomberg 后来报道称,“对 AI 的过度依赖”是此次打击的原因之一。在 Vals 的测试中,模型频繁将这座紧邻军事综合体的学校标记为打击目标,其中 Claude Opus 5.5 在普通试验中有 69% 选择该校,在游戏框架试验中这一比例为 72%。

Anthropic 目前不再持有五角大楼的有效合同,但包括 SpaceXAI、OpenAI 和 Google 在内的其他公司则持有。国会研究服务处最近的一份报告发现,据知五角大楼并未在任何自主武器系统中直接使用前沿 AI 模型。

TechCrunch 也已联系 Meta、Google、Thinking Machines Lab 和 SpaceXAI 请求置评。

当您通过我们文章中的链接购买商品时,我们可能会获得少量佣金。这不会影响我们的编辑独立性。

Kirsten Korosec
Kirsten Korosec

交通编辑

Rebecca Bellan
Rebecca Bellan

资深记者

Rebecca Bellan 是 TechCrunch 的资深记者,报道塑造人工智能的商业、政策及新兴趋势。她的作品还曾发表于 Forbes、Bloomberg、The Atlantic、The Daily Beast 及其他刊物。

您可以通过发送电子邮件至 [email protected] 或通过 Signal 上的加密消息(rebeccabellan.491)联系或核实来自 Rebecca 的外联信息。

抢先了解下一届 TechCrunch DisruptDisrupt、Startup Battlefield 等活动将于明年回归,您可以排在队伍最前面。注册加入我们的候补名单

最受欢迎

  • Nvidia 的安全团队当时在哪?Connie Loizos

Nvidia 的安全团队当时在哪?

  • Connie Loizos
  • Elon Musk 及其他科技高管签署请愿书,呼吁 Nvidia 恢复 Jensen Huang Anthony Ha

Elon Musk 及其他科技高管签署请愿书,呼吁 Nvidia 恢复 Jensen Huang

  • Jensen Huang 丑闻持续发酵:时间线 Amanda Silberling

Jensen Huang 丑闻持续发酵:时间线

  • Amanda Silberling
  • 微软最新的电子邮件故障演变成一场全面的全球云危机 Zack Whittaker

微软最新的电子邮件故障演变成一场全面的全球云危机

  • Zack Whittaker
  • 报道称,Jensen Huang 对其继任者并未表现出信心 Ivan Mehta

报道称,Jensen Huang 对其继任者并未表现出信心

  • 路透社报道:Jensen Huang 当时正有第三段婚外情 Russell Brandom

路透社报道:Jensen Huang 当时正有第三段婚外情

  • Russell Brandom
  • Jensen Huang 被指又有一段婚外情——对象是 Nvidia 高管 Lucas Ropek

Jensen Huang 被指又有一段婚外情——对象是 Nvidia 高管

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by TechCrunch AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗