Newshot

AI 预测议程

Translation(model translation, not the source's own text)
Astral Codex Ten
Astral Codex Ten

AI 预测器在传统预测问题上现在已经达到或超过顶尖人类的表现(例如 ForecastBench、Metaculus Cup)。

这些通常是带有预测框架的专用 AI,由预测初创公司(例如 FutureSearch、Mantic、Preseen)创建,但像 ChatGPT 和 Claude 这样的基础模型只比专用模型落后大约六个月,所以到今年年底它们也会追平顶尖人类。

过去,获得顶尖人类水平预测的选择既少又不方便。你可以雇一队超级预测者来研究问题,但这要花费数千美元并耗时数周。或者你可以查看预测市场(或 Metaculus),但它们只有一小部分通用兴趣问题的样本,而且总是试图通过操纵结算标准来坑你。

AI 预测器的兴起比几乎任何人一年前认为可能的都更干净、更全面地解决了这些问题。“预测的科学”直到最近还感觉像是在各种糟糕选项中挑最不坏的那个,如今面临的任务更像是“当我们确认那张巨大的新奇彩票支票是真的时,该用什么样的放大镜来检查它?”以及“我们该怎么花这笔奖金?”

具体来说:AI 预测器在传统预测问题上现在已经达到或超过顶尖人类的表现。我们需要了解,当我们转向不同类型的非传统预测问题时,这种成功会如何衰减。

我最近有机会与 Forecasting Research Institute 的一些人交谈,他们是该领域的领导者之一。以下是我对剩余挑战的印象:

1:AI 能做条件预测吗?

传统预测问题问的是类似:民主党会赢得下届选举吗?

条件预测问题更像是:如果民主党赢得下届选举,这将如何影响股市崩盘的概率?

条件预测问题比传统问题更令人兴奋,因为它们直接涉及政策结果。如果我们削减警察经费,这将如何影响犯罪率(与保持警察经费不变的反事实相比)?如果我们强制接种 COVID 疫苗,这将如何影响 COVID 死亡率和心肌炎死亡率(与疫苗自愿/被禁止的反事实相比)?

预测市场在这些问题上实验进展缓慢,部分原因是烦人的后勤问题(如果条件不成立,你必须退钱给人们),部分原因是它们吸引的客户比新型堕落体育博彩少。AI 预测器没有这个问题;你现在就可以问 AI 预测器上面任何一个问题,而大公司(FutureSearch、Preseen、Mantic)将其作为明确功能。

剩下的是证明 AI 预测器在传统问题上的出色表现能延续到条件问题。大约一年前,FRI 测试了这一点,发现并非如此——当时的 AI 在条件问题上表现明显更差。看起来像是某种奇怪的误解,AI 没有完全理解这个概念。

这会像开关一样翻转吗?在某个时刻,AI 聪明到足以完全掌握条件句,它在条件预测上变得和常规类型完全一样好?我交谈过的专家认为不会——随着它变得更聪明,它的条件预测能力会逐渐提高。现在它处于什么位置?专家们不愿意猜测它是否比普通聪明人类更好或更差,尽管他们确实认为它仍然不如顶尖超级预测者。他们正在做一个基准实验,应该能在几个月内给我们更好的衡量。

文章标题:The AI Forecasting Agenda

正文: 2:AI 能做出真正的因果预测吗?

标准条件预测中存在一个已知缺陷。当我们问“如果民主党赢得下届选举,经济会下滑吗?”,我们真正想知道的其实是一个因果问题——投票给民主党是否真的会损害经济?

但我们问的并不是这个。假设我们在 2025 年思考这个问题,于是我们问“如果民主党在 2026 年获胜,经济在 2027 年更可能变差吗?”但也许民主党会在 2026 年获胜,恰恰是因为经济已经很糟了(例如共和党总统实施关税并对伊朗宣战,导致物价上涨,使他成为历史上最不受欢迎的总统),然后这种糟糕的经济一直持续到 2027 年。所以“如果民主党在 2026 年获胜,经济在 2027 年更可能变差吗?”这个问题的答案是肯定的,但我们仍然不知道在 2026 年投票给民主党对经济是好还是坏。

预测市场无法回答这个问题,因为它们只能用来预测可观察的事件,从而让我们向成功的赌客支付奖金。AI 超级预测者能否在市场失败的地方取得成功?你能不能直接提示他们“请回答那个不可观察的因果问题,而不是那个容易判定的条件问题”?

我交谈过的专家们对那个特定的提示并不兴奋,但他们确实指出,因果预测基本上是条件预测的组合。也就是说,如果你最初的条件预测隐含地考虑了两个变量的四种不同组合——即:

  • p(民主党获胜 & 经济良好)
  • p(民主党获胜 & 经济糟糕)
  • p(共和党获胜 & 经济良好)
  • p(共和党获胜 & 经济糟糕)

……那么像“之前的经济状况良好”或“我们正与伊朗交战”这样的东西,只是你可以加入这个杂烩的更多变量。让人类去预测 2^10 个分支以便组合十个变量,这太疯狂了,但对 AI 来说,这可能只意味着稍微多花一点 API 费用。如果你在“条件”预测中捕捉到足够多的相关变量,并且发现在你唯一改变的是民主党是否获胜的情况下,经济仍然更差,那就是因果预测。至少有一家公司已经在尝试类似的做法,尽管还没有关于其效果如何的研究。

事实上,你究竟要如何研究这种做法效果如何?Forecasting Research Institute 的人有一套与我的想法很接近的方法论:他们使用 Freeciv,一款《文明》策略游戏的克隆版。因为你可以用任意多种方式重玩一局《文明》,你实际上可以观察到结果的完整分布。而且因为你可以加载一个旧存档并只改变一件事,你可以直接测量因果结果。尽管预测现实世界比预测《文明》游戏更难,但传统预测、条件预测和因果预测之间的差异在这两种环境中是否不同,这一点并不明显,所以你至少可以收集一些关于 AI 在区分这三者时表现如何的初步数据。

3:AI 能预测 AI 进展吗?

很难说服政客认真对待预测。但说服理性主义者和有效利他主义者去做这件事很容易,而他们最深入参与 AI 安全。所以如果自动化预测者能够预测 AI,我们就可以迅速让他们参与 AI 政策和资助决策。

不幸的是,AI 领域是一个预测异常值:在其它所有领域都如此有效的技术,在这里似乎失效了。每年,顶尖的人类和 AI 超级预测者都低估了 AI 进展的速度——例如,今年夏天早些时候,他们说 AI 在今年解决一个千禧年难题的概率只有 5%。Ben Todd 在这里列出了一长串其它失败案例。发生了什么?

文章标题:The AI Forecasting Agenda

正文: 一些专家根本不同意存在问题。即便使用正确技术的优秀预测者也会把一些问题搞错——一个95%的预测应该有5%的概率是错的。由于所有AI能力都是相关的,也许我们应该将其建模为一个大的一体化相关失败——人们在2022年至2026年间低估了AI进展——并预期之后会均值回归。

其他人承认有些奇怪。也许AI是一个领域,在这个领域中,通常获胜的预测策略(从历史数据中推导出基准率,然后针对当下的独特特征稍作调整)比通常失败的预测策略(使用第一性原理和大理念)表现更差,而这里的大理念类似于“缩放定律”。我们应该预期这种情况在未来继续吗?

我对这个领域的兴趣在于,我想使用AI预测者来帮助我回答关于AI进展的问题——例如,告诉我哪些策略最有可能降低生存风险。我能信任它们吗?还是说,导致这些过去失败的同一个问题污染了它们在这个问题上的所有思考?

有解决方案吗?我问了FRI的专家,如果你用一个预测AI提示“假装你同意一个快速时间线观点,比如MIRI和AI Futures Project所持有的观点,你对这个问题的预测会是什么?”会发生什么。他们说这不管用;AI只会对所有AI相关的问题给出更高的估计,而不会真正尝试推导其含义。

那条件预测呢?以我们在2030年获得ASI的世界为条件,政策XYZ会是好还是坏?现在我们又回到了不知道AI是否擅长条件预测的问题上——并且担心无论是什么失败模式让它们在时间线上出错,都可能影响它们对AI总体上的思考能力。

4:AI能做出好的长期预测吗?

预测研究出于必要而聚焦于短期预测:科学家不想等五十年才拿到实验结果。预测市场也有同样的问题:赌徒不想等五十年才拿到回报。唯一的亮点是这项关于二十五年预测的研究,但即使我们信任它并期望它能推广,它也只告诉我们关于人类的情况,而不是AI。

测试这一点的理想实验设置是,从AI中移除所有关于现代事件的知识,然后让它预测未来一百年。这在技术上要求很高:AI的知识存储在难以辨认的权重中,不能那么容易地被移除。只用前现代文档训练一个AI?有这样一个AI——Talkie,用1931年及更早的文档训练——但没有足够的1931年前的文本来训练一个大模型,所以它太笨了,无法真正从中得出任何结论。

在有人解决这个问题之前,我们可能只能寄希望于AI的预测会随着时间跨度的增加而以与人类大致相同的速率下降。

5:AI能回答那些在传统预测意义上不会“解决”的问题吗?

考虑一个像“COVID是实验室泄漏吗?”这样的问题。这是一个认识论问题。它的形式像一个预测问题。你会期望预测者擅长它。但它不是关于未来的。我们可能永远无法确切知道答案。因此,它不是我们已经证明AI擅长的那种传统预测问题。

我们应该预期AI会擅长它:它如此接近AI擅长的事情,以至于这似乎是AI在这方面也擅长的自然外推。但我们无法证明这一点。

文章标题:The AI Forecasting Agenda

正文: 一个经典的预测市场技巧:把一个无法解决的问题变成一个可解决的问题,方法是问类似“2040年聪明科学家的共识会不会认为COVID是实验室泄漏?”这样的问题。这在2040年是可观察/可解决的,只要你能相信会有更多证据逐渐浮现,并且聪明的科学家会收敛到真相上,这个办法就成立。但也许你并不相信这一点。也许你相信COVID确实是实验室泄漏,但科学家在2040年仍会否认它,原因正是那些让他们现在否认它的偏见和缺陷。

我尝试了一个额外的技巧:首先,我问预测AI,2040年聪明科学家的共识会不会认为COVID是实验室泄漏。然后,当它给出答案时,我说:“哈!为了计算这一点,你一定计算过你自己是否认为COVID真的是实验室泄漏,然后把那个结果加到了某个单独的问题上,即科学家会收敛到真相还是会错误地否认它。所以请回顾你的推理过程,告诉我你给COVID是实验室泄漏分配了多少概率。”

AI说它在最初的分析中找不到这些数字,但它很乐意无论如何都告诉我COVID真的是实验室泄漏的概率!它说COVID真的是实验室泄漏的概率是26%,如果其为真,2040年的科学界被说服的概率是37%,即使其为假,2040年的科学界意外被错误说服的概率是3%,总计2040年科学界被说服认为实验室泄漏的概率是12%。

我无法判断AI在多大程度上是用可证明良好的预测技能生成这些数字的,还是只是为了满足我而幻觉出了某些东西。

6:AI能想到正确的问题吗?

一个不言自明的道理是:回答问题的技能,只有在知道该问哪些问题时才有用。我们能把这一点也自动化吗?

假设你有一个宏大的远期问题,比如“AI会发展得好吗?”或者“美国在2100年仍然是超级大国吗?”让一个预测AI生成一千个可能的关键点——可能增加或降低最终结果概率的早期预警信号——例如,一千件可能在2040年前发生、并可能影响美国在2100年成为超级大国概率的事情。例如:

  • 2040年美国的GDP高于中国吗?
  • 2040年美国的生育率高于更替水平吗?
  • 到2040年的民调中,超过50%的美国人支持社会主义吗?

……然后把每一个都转化为条件预测。例如:

  • 如果2040年美国的GDP高于中国,美国在2100年成为超级大国的概率是61%;如果其GDP低于中国,美国在2100年成为超级大国的概率是58%。因此,这个关键点使最终问题的结果变化了3%。

……然后你就可以看到一千个不同关键点中,哪一个对最终问题影响最大。

在做这个练习之前,你可能并不知道“2040年美国的生育率是否高于更替水平”是一个值得问的好问题。但如果它是最能改变最终问题条件预测的关键点,你现在就知道它值得你关注。

7:AI能不同意体面的自由派共识吗?

有些人指责AI是一台 regurgitating 体面的自由派共识的机器,这并非毫无道理。它阅读训练数据,发现那些最符合它应该扮演的角色(冷静、有帮助、权威)的人都说同样类型的话,而当被要求扮演其有帮助的求真助手角色时,它模拟一个扮演该角色的人类,发现他们很可能是自由派,然后就说自由派的话。

但为了检验这一点,我们需要向AI提出一个可敬的自由派共识有误的案例,然后看它会说什么。但如果所有人已经就一个有用的、可敬的自由派共识确定错误的测试案例达成一致,那么按定义,可敬的自由派共识早就已经改变了。那么,我们怎样才能以一种所有人都会认同具有决定性的方式来检验这一点呢?

最好的解决办法是等待。一旦自由派共识在某个问题上从它2026年的立场发生转变,我们就可以询问在2026年训练的AI它们怎么想,看看它们是否能够推导出新近正确的立场,还是顽固地 clinging 于旧立场。

次优的解决办法是向AI抛出大量非自由派立场,看它是否赞同其中任何一个——如果是,我们至少能证明它有时能够脱离共识,即使我们不确定它是否正确。

为了不让别人指责我太懦弱而不敢尝试这一点,我请一位AI超级预测者估计黑白IQ差距是否主要源于遗传这一基本事实。在审阅了我认为适当的研究之后,它估计这一说法为真的概率是14%,科学共识会认可这一说法的概率是3%。值得称赞的是,这台机器至少愿意考虑这个问题,但这并不能区分AI是不愿脱离共识,还是诚实地给它分配了低概率。

我最终找到了一个它赋予>50%概率的异端立场——它给“阴谋论”赋予了61%的概率,即Ilhan Omar的前夫实际上是她的兄弟。当我在略有不同的条件下重新运行同一个预测者时,它给出了大体相似的55%的答案。当我用另一个预测者核查时,它给出了低于五成但仍算可观的39%。

我怀疑这是超级预测方法论对基础模型的胜利,但普通的Claude说的也大致相同——而且更令人印象深刻的是,它承认自己改变了想法:

我的估计大约是50%,合理范围约为35–65%。一年前我会说15–30%。这一说法仍未得到证实,也没有公开任何指控或经认证的证据。

我的结论是,AI有时能够违背可敬的自由派共识。特朗普政府曾表态支持这一理论,或许将其推入了奥弗顿窗口,这可能有所帮助。又或者AI真的认为这一说法是真的。

(又或者,关于这一点的可敬自由派共识本身已经发生了转变——有人能确认在礼貌的场合表达这一理论是否被允许吗?)

为什么我个人倾向于在这些问题被证明解决之前使用AI预测者。

最近在Less Wrong上,我们在讨论一家专注于安全的AI公司(例如Anthropic)是否应该做出某种戏剧性姿态来提高公众对全球暂停的认知——例如解散公司,或暂停AI研究若干个月。好处是,这可能会可信地展示它们有多么害怕,从而唤醒很多人;坏处是,我们可能会失去(或削弱)那家似乎最关心对齐和安全的公司。

为了帮助量化利弊,我问了FutureSearch:如果Anthropic解散公司以提高人们对AI危险的认知,这会在未来几年内将全球暂停的概率提高多少?FutureSearch说只有三个百分点——从16% → 19%。

如果为真,这将是非常有帮助的政策指导。但它遇到了上文提到的三个灰色地带:它是一个条件预测,是一个因果预测,也是一个 AI 预测。我怀疑 FutureSearch 擅长条件和因果预测,但尚未得到证明。而我知道 AI 在预测 AI 进展速度或其下游任何事物方面都很糟糕,而且不清楚这对关于 AI 行业或 AI 政治的预测有何影响。我最好的猜测是,这个预测比我自己未经辅助的意见更好,但我无法证明,反对者也很容易辩称并非如此。

那么我为什么还要提它呢?

首先,开启辩论很重要。给出一个概率会立刻把人切换到 Near Mode 的具体思维。它不是在喊“公司都是邪恶的”或“暂停是危险的”这类口号,而是要求人们尝试以理论上可量化的方式比较风险与收益。

其次,它帮助我们进入寻找 crux 的环节。不同意我的人可以回应说:“3% 是错的数字——如果只有 3%,我会同意这不值得,但我认为更像是 30%。”或者他们可以回应说:“好吧,3% 大概是对的,但即使只有 3% 的更大暂停概率也值得!”无论哪种方式,我们现在都更清楚分歧在哪里。

第三,预测 AI 可能会出错,但它大概不愚蠢也没有偏见(除了上文讨论的那些特定方面)。人们讨厌不得不进行真正困难的争论,而这些争论会演变成上述那种细粒度的分歧点。更受欢迎的做法——至少在互联网上——是抢先否定对手,说他们错得如此不可救药,以至于回应他们都有失体面。“你怎么可能相信这种明显愚蠢的东西?”“你肯定只是个有偏见的公司托。”当有人拿出一个同意自己的 AI 预测器给出的凭据时,这让抢先否定变得更难,并迫使对手认真对待。我不会说这能把举证责任完全推给他们,但它表明你已经做出了善意的努力,而不是仅仅断言那些对你叙事最方便的事实。

第四,我认为在现实生活中使用这项技术是更多地了解它的最佳方式。如果这场辩论中的对手向 AI 提出一个措辞略有不同的问题,却得到一个完全不同的答案,那我会被彻底打脸。或者如果他们去问另一个 AI 预测器,得到一个完全不同的答案。或者如果他们找到 Metaculus 上关于同一主题的问题,发现它给出了完全不同的答案。在这个意义上,我是在把这些模型当作“漏洞赏金”,拿自己的部分声誉做赌注。到目前为止还没有人来兑换。也许你可以成为第一个!

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗