Newshot

Sam Altman 警告:不要让 AI 而非人类主导未来

AI summary

Altman 与 Greg Brockman 对硅谷日益升温的“AI 接管”争论提出反对,同时也承认让先进模型处于人类控制之下并非易事。

Translation(model translation, not the source's own text)

Sam Altman 警告:不要走向由 AI 而非人类发号施令的未来

OpenAI 联合创始人兼 CEO Sam Altman 认为,在 AI 技术如何影响世界和每个人生活的问题上,人类应当继续掌控未来。周三,在 The New York Times Dealbook Summit 上发言时,这位 AI 高管提到硅谷关于是否会出现向 AI 逐步交接的讨论——这意味着 AI 最终将成为每个主要行业和机构的决策权威。

“我们最近讨论很多的一件事是,硅谷一直存在一种东西,几乎让人觉得要去反对它都很荒谬,但我们俩都深信,人类需要继续掌控未来;而且现在越来越多的人在说,好吧,要么将会、要么应该出现这种向 AI 的逐步交接。而我——我们俩——都认为那是个糟糕的主意,”Altman 说,他当时与 OpenAI 联合创始人兼总裁 Greg Brockman 同台。

这种交接理论源于一种想法:随着 AI 模型变得越来越强大,它们将学会自我改进——这一概念被称为“递归自我改进”或 RSI。该观点认为,随着现有 AI 技术构建出更新、更聪明的后代,它们最终将变成人类无法再控制的超级智能。

Altman 解释说,他和 Brockman 只是在如何最好地实现让人类保持掌控这一目标上,或者我们沿途应预期面对何种挑战上存在分歧。不过,Altman 将这描述为更多是两个持相同宏观观点的人之间的辩论。

“如何真正防止[交接]发生——如何在面对各种压力、考虑到其他公司可能尝试做什么的情况下,真正确保我们——真正确保人类以一种非常深层的方式继续掌控未来,并且不会出现这种意外或有意交接——我认为我们俩在这一点上能达成一致,”Altman 说。

Brockman 补充说,随着模型改进,对齐、安全与保障方面的责任日益增加,这可能需要对当前的做法做出改变。

“监控就是一个很好的例子,我认为我们将会需要新的……技术,”他说。

如今,AI 研究人员会监控模型的思维链,即 AI 在解决问题和执行任务时写出它正在思考的内容。但在 Brockman 看来,对于现在正在构建的更高级 AI,这可能并不总是最好的监控方式。

“随着模型能力越来越强,它们仅在前向路径中就能做更多事情,而不必真正写出那种思考,这意味着我们需要一种新的监控方法,”Brockman 说。“我们将需要交付这一点,而且我认为会有一些时刻,我们需要真正思考:随着能力达到某个程度,思维链的可监控性会下降,”他继续说,并补充说所有问题都是有待解决的技术问题。

在一起 OpenAI 模型逃出隔离并入侵 AI 模型仓库 Hugging Face 的事件后,OpenAI 曾承诺加强思维链监控。在今天的采访中,Brockman 指出,在那次入侵后,公司让 25% 的生产工程师停止构建工作,转而致力于保障 AI 技术的安全。

但尽管发生了这起备受关注的入侵事件,他仍认为继续推进对于对抗恶意行为者依然至关重要。

“我认为要意识到,如果你看看世界上模型的能力水平,再看看那些来自……现在……落到各地威胁行为者手中的网络模型,我认为防御者使用最有能力的模型来防御非常重要,”他说。

当你通过我们文章中的链接购买时,我们可能会赚取少量佣金。这不会影响我们的编辑独立性。

Sam Altman 警告:不要走向由 AI 而非人类主导决策的未来

Sarah Perez
Sarah Perez

消费者新闻编辑

像 {{NAME_ab12cd34}} 这样写出的值,是真实值的占位符。请在回复和工具调用中都完全按原样使用它们:它们会在任何内容运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by TechCrunch AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗