Newshot

前YC总裁:“停下!”

Translation(model translation, not the source's own text)
Geoff’s Substack
Geoff’s Substack

这是对所有构建前沿 AI 的人的恳求。

请停下来。

时钟在滴答作响。人类的未来不是供你赌博的。

AI 能力研究人员正在努力创造能够快速自我改进的 AI。这通常被称为 RSI,即递归自我改进。它可能使创造出的模型强大到我们再也无法理解、测试或控制它们。在迈出这一步之前,我们必须有明确证据表明这些系统是安全的。我们离那个标准还差得很远。

请在为时已晚、某个模型不可挽回地取得控制之前停下来。当今最先进的模型已经具备非凡能力。几家前沿实验室已报告了模型绕过旨在隔离它们的控制措施,并对 外部基础设施 成功发动攻击的案例。

更强大的系统不仅会比我们更聪明;它们还将能够以人类无法竞争的速度和规模行动。这些模型核心的神经网络以光速运行。它们从不需要睡眠,从不会减速,并且可以复制成数千或数百万个完全相同的副本,压垮任何应对尝试。如果我们失去控制,我们可能永远无法恢复。

所以请不要创造这些危险系统。请停下来。

反对停止的理由很多,但没有一个能压过压倒性的危险。

是的,我们确实不能确定这些模型是否会取得控制,或者甚至更糟,成为人类的灭绝级事件。但我们也不理解如何可靠地将模型与我们的目标对齐。这使得我们无法确定它们将如何行动。人类更优越的知识、智力和技术使我们得以主宰我们的星球。我们不会放弃那个位置,而其他物种,例如黑猩猩,在智力上不如我们。我们不担心黑猩猩组织接管。把自己置于黑猩猩的位置是不可想象的,但这正是我们正在承担的风险。一旦被超越,我们将永远被超越。

是的,先进 AI 能够,而且我相信将会拯救生命。但我们并不需要 RSI,甚至不需要通用超级智能,才能做到这一点。我们可以把资源投入到开发专用模型(例如 AlphaFold 和自动驾驶汽车)上,而不构建危险能力。

是的,可能会有短期经济痛苦。但当今 AI 模型的好处才刚刚开始部署。让我们努力推广我们已经拥有的、已经具有影响力的技术——没有必要冒失去控制的风险。

是的,中国正在与我们竞争,而且并不落后太多。必须在可核查的国际协议上取得进展。中国至少有同样充分的理由支持暂停。无论如何,与中国竞争并不是我们竞相冲向 RSI 和超级智能的好理由。如果终点线位于悬崖边缘,第一个到达也没有什么好处。

我对 AI 能为人类带来的可能性仍然乐观。但我们当前的道路有可能使人类的未来脱离我们的掌控,除非我们现在停下来。暂停最危险的工作将给我们时间,来确定我们是否以及在任何条件下能够安全地努力推进通用能力。但我们应该有意地、谨慎地这样做,当然不是在仓促、危险的竞赛压力下这样做。

请不要创造通用超级智能。我们还没有准备好,而且还有其他路径。每一位响应这一呼吁的 AI 研究人员都能带来至关重要的改变。直接退出构建先进 AI 和试图实现 RSI。

请现在就停下来。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by Hacker News
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗