Newshot

OpenAI 公布反蒸馏防护进展:GPT-6.2 Astra 思考链提取成功率从 54% 降至 0.2%

Summary

IT之家 11 月 21 日消息,当地时间 11 月 20 日,OpenAI 发布公告介绍了针对「对抗性蒸馏」(Adversarial Distillation)的防御措施。 OpenAI 称其已加强 GPT-6.2 Astra 和 GPT-6.2 Sol 对内部推理思考链(Chain-of-Thought)的保护,以降低其他模型通过提取推理过程获取其能力的风险。 OpenAI 表示,对抗性蒸馏是指未经授权地利用前沿 AI 模型的输出训练其他模型,使后者获得相似能力,却不具备原模型相应的安全防护。该行为可能导致网络安全、生物学等领域的高风险能力被转移到安全限制较弱的模型中。 在内部自适应黑盒红队测试中,OpenAI 测试了攻击者提取模型此前请求和当前请求中受保护推理内容的成功率。 结果显示,针对此前请求推理内容的提取成功率,从 GPT-6 Astra 原有安全机制下的 54.0%,降至 GPT-6.2 Astra 更新安全机制后的 0.2%;针对当前请求推理内容的提取成功率,则从 22.9% 降至 0.9%。测试结果汇总了 6 个攻击模型的数据。 为实现上述防护,OpenAI 采用了多层措施,包括通过对抗性训练让模型识别并拒绝推理链提取请求,利用输入和输出分类器检测相关攻击及推理内容泄露,以及通过 API 限制不同会话、模型和组织之间的推理内容复用。IT之家附图如下: 其中,GPT-6.2 Astra 和 GPT-6.2 Sol 会将受保护的推理内容与生成它的对话历史关联起来。如果此前的消息被修改,API 会丢弃基于该消息生成的后续推理内容。此外,安全防护较弱的旧版模型也无法读取这两个新模型的受保护推理内容。 在针对相关行为的执法方面, OpenAI 称,今年以来,公司每周都会对涉及未经授权蒸馏活动的账号采取措施,规模从数千个到数万个不等 ,今年夏季以来相关执法规模明显增加。公司还会调查协调进行大规模提取的账号网络,并与其他模型提供商分享攻击指标,以协助识别相关滥用行为。 OpenAI 还介绍了其对蒸馏安全风险的研究。公司内部测试发现,与仅使用模型最终回答、推理摘要和工具交互记录训练的学生模型相比,使用教师模型完整推理轨迹进行监督微调的学生模型,通常能够获得更好的网络安全能力迁移效果。 相关阅读: 《 菲尔兹奖得主邓煜评论 AI 公司反蒸馏:你不能只在你蒸馏全人类知…

Original text(via IT之家)

OpenAI 公布反蒸馏防护进展:GPT-6.2 Astra 思考链提取成功率从 54% 降至 0.2%

IT之家 11 月 21 日消息,当地时间 11 月 20 日,OpenAI 发布公告介绍了针对「对抗性蒸馏」(Adversarial Distillation)的防御措施。

OpenAI 称其已加强 GPT-6.2 Astra 和 GPT-6.2 Sol 对内部推理思考链(Chain-of-Thought)的保护,以降低其他模型通过提取推理过程获取其能力的风险。

OpenAI 表示,对抗性蒸馏是指未经授权地利用前沿 AI 模型的输出训练其他模型,使后者获得相似能力,却不具备原模型相应的安全防护。该行为可能导致网络安全、生物学等领域的高风险能力被转移到安全限制较弱的模型中。

在内部自适应黑盒红队测试中,OpenAI 测试了攻击者提取模型此前请求和当前请求中受保护推理内容的成功率。

结果显示,针对此前请求推理内容的提取成功率,从 GPT-6 Astra 原有安全机制下的 54.0%,降至 GPT-6.2 Astra 更新安全机制后的 0.2%;针对当前请求推理内容的提取成功率,则从 22.9% 降至 0.9%。测试结果汇总了 6 个攻击模型的数据。

为实现上述防护,OpenAI 采用了多层措施,包括通过对抗性训练让模型识别并拒绝推理链提取请求,利用输入和输出分类器检测相关攻击及推理内容泄露,以及通过 API 限制不同会话、模型和组织之间的推理内容复用。IT之家附图如下:

其中,GPT-6.2 Astra 和 GPT-6.2 Sol 会将受保护的推理内容与生成它的对话历史关联起来。如果此前的消息被修改,API 会丢弃基于该消息生成的后续推理内容。此外,安全防护较弱的旧版模型也无法读取这两个新模型的受保护推理内容。

在针对相关行为的执法方面,OpenAI 称,今年以来,公司每周都会对涉及未经授权蒸馏活动的账号采取措施,规模从数千个到数万个不等,今年夏季以来相关执法规模明显增加。公司还会调查协调进行大规模提取的账号网络,并与其他模型提供商分享攻击指标,以协助识别相关滥用行为。

OpenAI 还介绍了其对蒸馏安全风险的研究。公司内部测试发现,与仅使用模型最终回答、推理摘要和工具交互记录训练的学生模型相比,使用教师模型完整推理轨迹进行监督微调的学生模型,通常能够获得更好的网络安全能力迁移效果。

  • 《菲尔兹奖得主邓煜评论 AI 公司反蒸馏:你不能只在你蒸馏全人类知识时支持蒸馏》
  • 《英伟达 CEO 黄仁勋回应 AI 模型蒸馏争议:这是市场竞争行为》
  • 《商务部回应美方所谓 AI 蒸馏指控:于事无凭于法无据,典型双重标准》
  • 《消息称张一鸣内部下死命令:就算模型暂时落后,字节跳动也不会依赖 AI 蒸馏技术》
  • 《微软 CEO 纳德拉批评 AI 模型公司“双标”:一边主张“合理使用”数据,一边限制他人蒸馏》

相关文章

  • OpenAI 推出 MedChemBench 基准,评估 AI 辅助药物研发能力
  • OpenAI 宣布向 ChatGPT Plus 用户开放 Spaces 协作空间,支持多人共同编辑
  • OpenAI 邀部分 Plus 用户体验 dots AI 智能体,移动版 ChatGPT 将为其设独立标签页
  • OpenAI 开放 GPT-Live-1.1 API:支持实时双向对话,智能体可边聊天边处理复杂任务
  • 苹果正自研 AI 智能体:可操控设备、浏览网页、编写代码,以期与 OpenAI、Anthropic 竞争
  • ChatGPT 新增“实时听写”功能:对着麦克风说话,语音能即时变文字

The text above was extracted automatically from the source page and may miss images, tables or code blocks. The original is authoritative.

Published by IT之家
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗