文章标题:精通 AI 需要时间和练习
正文: 许多人认为1,变得“擅长 AI”是件微不足道的事。当然,早期的一些模型确实有一些你必须学会的技巧,2但当前的模型不再需要它们了。即便存在一些3在当前模型上有效的技巧,下一代模型也会让它们过时,那又何必费心呢?直接告诉模型你想让它做什么就行了。
这种观点在反 AI 的人群中尤其流行,他们嘲笑4这样一种想法:对 AI 不情愿的人正在被落下,或者建议其他工程师完全避免使用 AI 可能是不负责任的。在他们看来,如果 AI 有朝一日真的变得足够强大、值得使用,他们就能毫无学习曲线地开始使用它。这是对的吗?
不对。和大多数事情一样,擅长使用 AI 不仅仅在于巧妙的技巧。它需要培养长期技能5,而这需要时间和练习。
提供正确的上下文
我在 AI 新手身上见过的一种失败模式,是期望它能读心:例如,要求它“解决我的问题”,却从不说问题是什么,或者向它询问某个与 Slack 相关的问题,却没有真正把你的 agent 连接到 Slack。Agent 很灵活,会竭尽全力去猜测你面临什么问题以及如何解决它,但这些猜测在很大程度上会是错的。熟练的 AI 用户会察觉到 agent 缺少关键上下文,并回退重来。
熟练的 AI 用户还会本能地说明他们为什么想要达成当前目标,好让 agent 有足够的上下文来做决策。这往往并不简单:我们大多数人都知道自己想做什么,但得花一秒钟想一想它背后更宽泛的原因。
了解模型能做什么、不能做什么
AI 的能力很古怪:它们在有些任务上非常出色,在另一些任务上则非常糟糕,而且很难预测哪个任务属于哪一类。例如,我知道我可以让 agent 为如何组织一个服务想出新的架构思路,但我不应该让它想出该服务可以提供哪些新功能。更糟的是,还有第三类6任务,AI 模型本来不擅长,但可以通过提示让它变得擅长:例如,撰写 PR 描述。
当然,这会随着新模型而变化,但变化比你以为的要小。总的来说,新模型在旧模型本来就擅长的任务上会好很多,而在旧模型表现很差的任务上只会好一点点。因此,培养对 AI 能做什么、不能做什么的感知,是一项出人意料地持久的技能。
真正把模型能做什么内化于心,比听起来更棘手。例如,我最初在为 GitHub Copilot 设置 MCP 服务器时颇费了一番功夫,后来才意识到7我可以直接让 Copilot 安装它自己的 MCP 服务器。我现在会本能地让 AI agent 对改动做本地测试——启动服务器、用 curl 反复轰击它们、跑遍各种变体和边缘情况——但我花了一段时间才意识到我可以提出这种要求。我最近才开始安排一个任务,在我所在时区的早上 6 点让 agent 过一遍来自不同时区的消息,并做一些初步调查。还有哪些能力8是我搁置未用的呢?
了解模型会犯哪些错误
审查 AI 生成的代码与审查人类编写的代码是相当不同的一套技能。有些类别的 bug——例如差一错误——是人类编写的代码容易犯的,而 AI 生成的代码不会犯。同样,有些错误在人类编写的代码中很罕见,但在 AI 生成的代码中非常常见。我写过这些错误往往是错位类错误:在某些人类知道并不重要的地方过度设计,或者为了满足臆造出来的需求而牺牲重要需求,等等。
文章标题:精通 AI 需要时间和练习
正文: 习惯了人类编写代码的评审者,常常会被 AI 生成代码那种表面上的流畅所迷惑。这些代码总是被详尽地注释和测试,并且使用了复杂的语言特性。如果这样的代码出自人类程序员之手,你可能会倾向于相信他们的判断,认为这种情况下需要一个 mutex——但面对 AI 程序员,你应当对新增的 mutex 保持高度怀疑,因为它们往往只是为了满足完全无关紧要的边界情况而引入的。
快速略读 AI 垃圾
这项技能说起来有点傻,但它在实践中如此重要,我不得不把它列进来。AI 模型会产生大量有用的输出,但这些输出往往淹没在厚厚的废话丛林之中。一旦你读得足够多,你就能让目光大致扫过那些措辞,直到找到具体的论断和证据。如果你不习惯这样做,你就会浪费大量时间和情绪精力去披荆斩棘。
这些技能也会被淘汰吗?
这些技能也有可能只是暂时的。也许将来 agent 会完美地做到我们想要的事情,让我们无需真正去阅读它的输出。也许模型工具会变得足够好,能自动提供正确的上下文,而模型也会变得足够好,能够做任何事情并且不犯错。也许吧!但那将要求模型变得如此之好,以至于完全不需要人类。
不要做一个末日论者。就像国际象棋一样,软件的半人马时代——即人机配对能够战胜单个人类或机器的时期——可能会持续数十年。为半人马时代培养技能仍然值得,就像当年学习 Angular 或 React 值得一样,尽管那些框架看起来很可能在十年内就会过时9。
结论
我漏掉了很多技能:知道何时放弃或引导一次 agent 会话、如何在多个 agent 之间拆分工作、何时信任 AI 的论断以及何时去验证、如何通过使用更小的模型来最小化成本,等等。除此之外,尽管紧跟当前这一套技巧(以及知道哪个模型最适合哪些任务)并不具有持久价值,但它在短期内仍然非常有用。跟上潮流而不迷失方向,本身就是一项技能。
与 AI 协作涉及实实在在的技能,这不应该令人意外。这就像与一个非常古怪的人共事:一个在某些领域拥有疯狂技能的奇才,在另一些领域却有巨大的空白;一个多产但不专业的沟通者;一个没有长期记忆的工作狂,等等。如果你是管理者,手下有这样一名员工,你很可能会从他身上获得很多价值,但需要花时间10去弄清楚怎么做。
如果你刻意回避使用 AI,你很可能会被那些不回避的人甩在身后。如果你在建议别人完全回避 AI,你并没有在帮他们。我确实认为完全投入 AI 是个错误,因为 LLM 会奖励专业知识,而专业知识最好通过亲手实践获得。然而,如果你从不练习使用 AI,你就永远无法精通它。
- 我到处都能看到这种现象,最近在这里和这里(公平地说:那篇帖子确实认为其中涉及技能,只是不认为那是持久的技能)。↩
- 比如让它一步步思考,或者在提示词开头说“你是一名熟练的软件工程师”。↩
- 比如提供精神支持。↩
- 事实上,他们常常认为 AI 用户真的在损害自己的大脑。正如我已经说过几次的,我认为这种想法是错误的。↩
- 顺便说一句,用“skills”一词来指代“针对特定工作动态加载的提示词”,让这篇文章写起来简直是场噩梦。↩
文章标题:精通 AI 需要时间和练习
正文:
- 甚至对于哪些任务属于哪一类都还没有共识。许多人认为 LLM 擅长为其他 LLM 编写提示词,但我认为它们很糟糕(过于规定性等等)。这一点被一个事实所掩盖:LLM 可以比人类更高效地管理群体,但我认为大多数人都同意,拥有单个子代理不如直接在主线程上做。↩
- 感谢我的兄弟,他告诉我别犯傻,直接让机器人去做就行了。↩
- 事实证明,那些人错了:React 相当不错,而 ZIRP 的结束意味着框架跑步机停了下来,所以 React 技能今天仍然有用。↩
- 这在很大程度上是因为你不能相信他们关于自己能力的说法。↩