Newshot

大语言模型在设计 AI 系统方面表现很糟糕

Translation(model translation, not the source's own text)

LLM 不知道怎么设计使用 LLM 的软件。它们写普通程序很自在,但如果你把一个 AI 形态的问题扔给它们,它们通常会把事情搞砸。为什么会这样?

掉进符号主义的兔子洞

例如,这篇文章描述了一次尝试:用 vibe-code 方式编写一个记忆工具,当一条记忆与另一条记忆矛盾时将其标记出来1。这是一个很好的例子:五年前这项任务几乎不可能完成,但现在由于 LLM,它已经相对简单。你只需要让一个 LLM 扫描矛盾即可,无论是大批量扫描还是成对扫描2。

然而,当被问及“最先进”方法3时,这个案例中的 AI agent 并没有推荐 LLM。它开始构建一个复杂得令人困惑的符号系统,把记忆项转换成结构化逻辑原子,然后用求解器机械地比较它们。当然,这没有奏效,也不可能奏效,因为不存在一种解析式方法来判断任意两个自然语言句子是否表达同一个命题。

LLM 知道这是不可能的!当用户最终失去耐心并说“嘿,为什么这不起作用”时,Claude 立刻解释说,这是一个已知的、有 130 年历史且没有解决方案的问题。然而,它却乐此不疲地绕来绕去,在一个死胡同里迭代了数周。

我自己也遇到过这种情况。我在构建 Autodeck(AI 生成的间隔重复卡片)时,我的 agent 经常试图用 regex 或关键词搜索来给卡片分类,而不是再调用一次 LLM。

为什么 LLM 不能正确使用 LLM?

为什么会发生这种情况?我有两个显而易见的解释和一个更深层的解释。

第一个显而易见的解释是,大多数训练代码都来自前 LLM 时代。假设实验室并没有把当前雪崩般的垃圾仓库直接喂给模型4,模型学习所依据的绝大多数代码都是在 LLM 成为一种选择之前写成的。所以,它们会伸手去用非 LLM 方法,就像它们会选用 jQuery 而不是现代原生 JS,或选用 Backbone.js 而不是 React 一样,这似乎说得通,对吧?其实错了!LLM 并不会选择 jQuery 和 Backbone。训练过程中推动它们在其他领域掌握最新知识的那个部分,并没有成功地把它们推向 LLM,所以这不能解释全部。

第二个显而易见的解释是,RLVR 并不是编写调用 LLM 的代码的好环境。LLM 训练所花费的很大一部分时间都花在强化学习环境中,在那里自动评分器决定它们的表现(例如,运行它们写的一些代码并检查输出)。我并非确知这一点,但如果这些

LLMs 非常不擅长设计 AI 系统

我写了很多关于高效使用 LLMs 所涉及的技能的内容。我仍然坚持我在 2025 年 2 月写下的观点:

用好 LLMs 意味着从它们擅长的事情中提取价值,并避免在它们不擅长的事情上浪费时间。

这一点出乎意料地难,原因就是上面这一点。LLMs 的好坏似乎随机:它们会努力工作数小时,但有时又令人震惊地低投入;它们能调用广得不像人类所能拥有的专业知识,却无法应用最基本的常识;它们能成功重写极其复杂的程序,却常常在设计上犯非常愚蠢的错误。

如果你能提前预测它们会在哪里做得好或做得差,你就能从 LLMs 中获得巨大的价值;如果你不能,你很可能会浪费大量时间和 token,走上毫无希望的方法。

  • 这里还有一个例子:用户“暗示”Opus 5.5 应该使用评判模型,而它却构造了一系列正则表达式检查。↩
  • 在这里,我大概会采用决策模型。↩
  • 事后看来,这可能是关键错误,尽管我不知道你会如何把它变成给非技术型 vibe-coder 的建议。从不向 agent 询问该领域的现状也是一个错误。再给 LLMs 奖励专业知识的腰带加一个刻痕。↩
  • 我认为这是一个合理假设:尽管用低质量合成数据训练显然不会对 LLMs 造成灾难性后果,但它不可能有多好。↩
  • 这会很昂贵、缓慢且有风险。↩
  • 这个理论也解释了为什么 LLMs 很擅长提示其他 LLMs 作为子智能体,或从头训练 LLMs:它们很可能直接在这方面接受 RL 训练和评估,而不像编写调用 LLMs 的代码那样。↩
  • 好吧,我不会——我傲慢到无论如何都会问——但至少会期待一个好理由。↩

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗