Newshot

奥尔特曼称 OpenAI 没法让所有人满意,必须平衡 AI 安全与发展

Summary

IT之家 11 月 19 日消息,美国当地时间 11 月 18 日周三召开的 DealBook 峰会上, OpenAI 首席执行官萨姆 · 奥尔特曼(Sam Altman)表示,其公司正在“安全”与“发展”寻找 AI 平衡点。 奥尔特曼和 OpenAI 总裁格雷格 · 布罗克曼(Greg Brockman)共同参与本次活动,他们表示在推进 AI 发展的进程中不可避免地会遇到风险,因此公司必须在优先保障安全和持续创新之间做出取舍。 奥尔特曼在访谈中坦言,OpenAI 不可能“让所有人都满意”。他称,如果公司只顾“踩满油门”追求技术突破,公众会担心人工智能失控;但若过度强调安全,也可能延缓产品和技术进步。 奥尔特曼强调 OpenAI 采取“迭代部署”策略,即分阶段推出技术、在真实环境中观察风险并不断改进。在他看来,理解 AI 风险的重要方式之一,不能完全脱离实际进行封闭开发,更重要的是让技术接受现实检验。 奥尔特曼也承认,随着模型能力迅速增强,安全、对齐和监控的难度正在显著提高。OpenAI 总裁、联合创始人格雷格 · 布罗克曼表示,随着模型能力显著增强,安全性、保障性和“对齐”(即 AI 行为符合人类意图)已成为必须认真对待的问题。他称,这不只是 OpenAI 一家公司的转变,更是整个 AI 行业正在经历的文化转变。 OpenAI 已与其他 AI 公司签署自愿协议,承诺开展风险评估,并与第三方评估机构合作。该公司本周表示,正在引入 METR、Apollo Research 等机构的独立安全研究人员,对模型进行安全评估。 奥尔特曼还警告,当前 AI 公司之间的激烈竞争不利于安全。他表示,各家公司只能了解自身的安全标准,难以充分掌握竞争对手的开发情况;这种“迷雾中的竞赛”可能使安全投入不足。他呼吁行业建立共同的安全标准,并推动更大程度的透明度。 针对硅谷部分关于 AI 逐步接管决策权、甚至可能形成“超级智能”的讨论,奥尔特曼明确表示反对。他说,人类必须继续掌控未来,不应将决策权逐步交给 AI;布罗克曼也认为,AI 能力越强,保障其与人类目标一致、安全可控的责任就越大。 在商业层面,奥尔特曼透露 OpenAI 仍计划在某个时点上市。此前,OpenAI 已将 IPO 计划推迟至明年,以优先处理安全问题;本月早些时候,公司完成 110 亿美元 (IT之家注:现汇率约合 734.…

Original text(via IT之家)
  • 日夜间 随系统 浅色 深色

奥尔特曼称 OpenAI 没法让所有人满意,必须平衡 AI 安全与发展

IT之家 11 月 19 日消息,美国当地时间 11 月 18 日周三召开的 DealBook 峰会上,OpenAI 首席执行官萨姆 · 奥尔特曼(Sam Altman)表示,其公司正在“安全”与“发展”寻找 AI 平衡点。

奥尔特曼和 OpenAI 总裁格雷格 · 布罗克曼(Greg Brockman)共同参与本次活动,他们表示在推进 AI 发展的进程中不可避免地会遇到风险,因此公司必须在优先保障安全和持续创新之间做出取舍。

奥尔特曼在访谈中坦言,OpenAI 不可能“让所有人都满意”。他称,如果公司只顾“踩满油门”追求技术突破,公众会担心人工智能失控;但若过度强调安全,也可能延缓产品和技术进步。

奥尔特曼强调 OpenAI 采取“迭代部署”策略,即分阶段推出技术、在真实环境中观察风险并不断改进。在他看来,理解 AI 风险的重要方式之一,不能完全脱离实际进行封闭开发,更重要的是让技术接受现实检验。

奥尔特曼也承认,随着模型能力迅速增强,安全、对齐和监控的难度正在显著提高。OpenAI 总裁、联合创始人格雷格 · 布罗克曼表示,随着模型能力显著增强,安全性、保障性和“对齐”(即 AI 行为符合人类意图)已成为必须认真对待的问题。他称,这不只是 OpenAI 一家公司的转变,更是整个 AI 行业正在经历的文化转变。

OpenAI 已与其他 AI 公司签署自愿协议,承诺开展风险评估,并与第三方评估机构合作。该公司本周表示,正在引入 METR、Apollo Research 等机构的独立安全研究人员,对模型进行安全评估。

奥尔特曼还警告,当前 AI 公司之间的激烈竞争不利于安全。他表示,各家公司只能了解自身的安全标准,难以充分掌握竞争对手的开发情况;这种“迷雾中的竞赛”可能使安全投入不足。他呼吁行业建立共同的安全标准,并推动更大程度的透明度。

针对硅谷部分关于 AI 逐步接管决策权、甚至可能形成“超级智能”的讨论,奥尔特曼明确表示反对。他说,人类必须继续掌控未来,不应将决策权逐步交给 AI;布罗克曼也认为,AI 能力越强,保障其与人类目标一致、安全可控的责任就越大。

在商业层面,奥尔特曼透露 OpenAI 仍计划在某个时点上市。此前,OpenAI 已将 IPO 计划推迟至明年,以优先处理安全问题;本月早些时候,公司完成 110 亿美元(IT之家注:现汇率约合 734.89 亿元人民币)融资,估值达 1.25 万亿美元(现汇率约合 8.35 万亿元人民币)。

相关文章

  • OpenAI CEO 奥尔特曼警示:未来人类可能无法从 AI 手中夺回控制权
  • OpenAI 奥尔特曼谈内存短缺:全球 DRAM 应优先供给数据中心,闲置在玩家 PC 里是浪费
  • 奥尔特曼回应 AI 冲击:理解数学家的处境,但 OpenAI 不会停止研究
  • OpenAI 奥尔特曼:面对 AI,数学家们起初会觉得“我们完蛋了”,最终却还是接受现实
  • OpenAI CEO 奥尔特曼被妹妹指控性虐待,案件遭法官驳回
  • 英伟达黄仁勋公开反驳 OpenAI 奥尔特曼观点:对 AI 网络安全必须“零容忍”

软媒旗下网站: IT之家 最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件: 软媒手机APP应用 魔方 最会买 要知

The text above was extracted automatically from the source page and may miss images, tables or code blocks. The original is authoritative.

Published by IT之家
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗