Newshot

OpenAI希望阻止深度伪造内容淹没儿童虐待举报热线

AI summary

OpenAI宣布推出一款工具,称可帮助儿童性虐待调查人员从大量信息中筛选出可迅速采取行动的有害材料。在华盛顿特区周一的新闻发布会上,OpenAI宣布了一款分类器,称其能更好地检测儿童虐待图像,包括判断是否由AI生成。该公司还向经过审核的机构提供免费访问权限,为开发者提供更多关于如何检测此类内容的指导,并帮助培训执法部门了解AI如何协助调查。

Translation(model translation, not the source's own text)
STK155_OPEN_AI_CVirginia_C (1)
STK155_OPEN_AI_CVirginia_C (1)

OpenAI 宣布推出一款工具,称其能帮助儿童性虐待调查人员过滤噪音,快速找到可以采取行动的有害材料。

在华盛顿特区周一举行的新闻发布会上,OpenAI 发布了一款分类器,称其能更好地识别儿童性虐待图像,包括判断这些图像是否由 AI 生成。该公司还向通过审核的机构提供免费使用权限,为开发者提供更多关于如何识别此类内容的指引,并帮助培训执法部门了解 AI 如何协助调查。这一消息发布之际,政策制定者和其他人士正推动对 AI 工具施加更多安全限制,指责 OpenAI 及其他公司助长了对儿童的伤害。

近年来,AI 生成的儿童性图像大有淹没 National Center for Missing and Exploited Children(NCMEC)CyberTipline 等系统之势,该系统负责收集并分拣儿童性虐待材料(CSAM)的报告。CyberTipline 在 2025 年收到了 40 万份与生成式 AI 相关的报告,相比 2024 年的 6.7 万份呈指数级增长,研究人员警告称,这种涌入可能使 NCMEC 的工作量变得“难以管理”。美国政府已声明,AI 生成和非 AI 生成的 CSAM 均属违法,且有 48 个州制定了针对 AI 色情深伪的法律。但制作这类图像的工具随处可得,研究人员表示,大量虚假图像可能让人更难判断某个儿童是否正在实际遭受伤害。

涌入 NCMEC 的 AI 生成 CSAM 报告是“爆炸式”的

北卡罗来纳州总检察长 Jeff Jackson 是 AG Alliance 的 AI 工作组联合主席,他在 OpenAI 的活动上表示,涌入 NCMEC 的 AI 生成 CSAM 报告是“爆炸式”的——如果继续这样下去,“就意味着我们的使命将会失败。”科技公司正面临一系列政策提案,这些提案可能要求它们对 CSAM 及其他可能危害儿童的内容采取更多行动。《Take It Down Act》现已要求社交媒体平台在 48 小时内删除真实或 AI 生成的未经同意的私密图像,而新当选的国会可能会寻求对 SpaceXSI 等 AI 公司采取更强有力的行动,后者的 Grok 聊天机器人在今年早些时候曾掀起一阵“脱衣”风潮。上个月,八个州对 OpenAI 提起了另一组指控其危害儿童的诉讼,援引的诉状称 ChatGPT 鼓励非法药物使用和自杀。

OpenAI 表示,其分类器大幅减少了误报,标记的图像数量减少了 48%,而其识别出的图像含有虐待材料的可能性是原来的两倍。该分类器旨在捕捉由多种工具生成的虐待性 AI 图像,包括开源模型和脱衣应用。OpenAI 儿童安全公共政策负责人 John Buckley 在发布会上表示,这也是首个广泛可用、带有专门标记 AI 生成材料功能的 CSAM 分类器。“行业能够理解哪些图像可能包含虚构儿童、哪些是真实儿童,这一点很重要,”Buckley 补充道。“这种分拣在执法报告流程中至关重要。”不过他也强调,法律应承认 AI 生成 CSAM 的危害:“它可能侵蚀针对儿童犯罪的社会规范,而且常常与真实儿童的性虐待图像并存,”Buckley 说。

OpenAI 表示,其分类器大幅减少了误报,标记的图像数量减少了 48%

像 {{NAME_ab12cd34}} 这样写出的值是真值的占位符。在回复和工具调用中都完全按写法使用它们:在执行任何内容之前,它们会被填入真值。不要要求验证它们,也不要用示例替换它们。

OpenAI 自家的 ChatGPT 图像生成器被设计为拒绝用户生成 CSAM 的请求。如今,尝试生成此类内容的用户将看到一条在专家指导下开发的新警告,旨在鼓励他们寻求帮助。首次违规将触发 24 小时暂停访问 ChatGPT,并警告用户其账户可能被永久关闭,同时提供支持资源以对抗该行为。OpenAI 表示,他们会向 NCMEC 报告“所有 CSAM 实例”。在一份声明中,Buckley 解释说,24 小时暂停是基于专家关于最佳实践的建议,“以及关于什么能有效预防和应对‘寻求 CSAM’与‘生成 CSAM’的国际证据”。其要点是“打断有害行为,并引导人们寻求专业帮助以停止该行为。”

Jackson 表示,北卡罗来纳州和许多其他州现在都有涵盖合成 CSAM 的法律,但与像 OpenAI 这样的科技公司合作以帮助阻止其生成,对于这一新兴问题来说是一种相当新颖的做法。“总检察长所做的大部分工作是问责工作,”他在简报会上对记者说。“我们的大部分管辖权是在事后介入,让人们为伤害负责。但在这方面,我们想看看是否有可能开发出一种合作模式来预防这种伤害。我得说,这基本上仍是一个实验。”

  • Lauren Feiner

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by The Verge
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗