文章标题:用 Astra 测试/验证技术的有效性
正文: 当我们在8月考察 agent 对测试/验证技术的使用效果时,我们发现,当被要求使用 TDD、QuickCheck、Lean 4 等技术或库时,GPT-5.6 Sol 基本上只是做出各种技术的“漫画式”模仿;不指定任何特定测试方法(我们称之为 Default)会导致大量毫无价值的单元测试,而这却是表现最好的条件之一,因为要求 agent 以特定方式测试,大多只会让它们表现更差。在那次评测中,我们把 Zstd RFC 交给 agent,要求它们实现 Zstd(并对除 Default 之外的所有条件附上了它们应如何测试的补充说明)。
用 GPT-6 Astra 重新运行同一评测后,我们看到了两个重大差异:
- Astra 的能力提升幅度足够大,以至于我们需要一个更难的评测(在 Zstd 实现评测上,无论采用哪种技术,几乎每个条件在 medium 下几乎每次都能达到 100% 正确率)
- agent 似乎更有效地使用了测试和验证技术
关于 (1),我们此前看到,在使用 5.6 Sol 根据 RFC 实现 Zstd 时,平均而言,agent 在 medium 努力程度下花费 $3.50、在 xhigh 努力程度下花费 $5.50,分别有约 63% 和 77% 的时间达到完整(留出)测试正确率。使用 Astra 时,agent 在 medium 努力程度下花费 $1,就有超过 99% 的时间达到完整测试正确率。
关于 (2),一个例子是,当我们要求 5.6 Sol 做 fuzzing 时,它会生成大量毫无价值的随机输入,这些输入大多命中相同的代码路径,测不到任何有趣的东西。使用 6 Astra 时,我们看到,被要求以结构化方式做 fuzzing 的 agent 确实会覆盖代码路径并发现非平凡的 bug,但我们无法判断这是否提升了正确率,因为 Zstd 实现基准已经饱和。
我们还尝试把 IMAP RFC 交给 5.6 Sol,但这对 5.6 Sol 来说太难了。改用 6 Astra 再次尝试时,我们得到如下结果分布(y 轴是所有测试都通过的运行所占百分比;agent 不会拿到测试,每个条件的点是 80 次运行的结果)。
Default 再次看起来相当不错。有些条件带来的正确率略高一些,但成本也更高。尽管 IMAP RFC 尚未饱和,但能在更难的任务上也看到结果会更好,因为我的大部分时间都花在 agent 大多无法一次性完成的任务上。为了测试这一点,我们将尝试在比较编程语言时看过的 pandoc 评测。我想看到更大规模评测结果的一个原因是,正如我们在考察 caveman mode 时观察到、以及在考察语言时看到的那样,模型在更大的任务上往往表现相当不同。在 caveman mode 中,人们报告的大幅收益变小或消失了;在语言方面,我们从多个方面看到了这一点,例如 C 和 C++ 的 Zstd 实现在内存安全上至少还算可以,而 C 和 C++ 的 Pandoc 实现则饱受内存安全问题困扰。
Pandoc 明显更难,即使运行多个轮次(平均约 14 轮)后,也没有任何条件达到 100% 正确率,所以我们将看通过的测试比例,而不是达到 100% 的运行比例。
为此,由于成本原因,我们每个条件只运行了 25 次。按 MSRP 计算,这花费了约 $90k。
回想一下,在我们过去针对语言和测试/验证技术运行的评测中,失败往往是 agent 运作方式带来的特异结果,例如使用 Clojure 的 agent 默认写出错误的字节转换代码,或使用 Verus 的 agent 写出空洞的证明。这类情况与我所见到的人们声称 agent 应使用某种特定语言或测试/验证技术的理由相当不同;那些理由通常是一些听起来很不错的解释,说明为什么某事物应该更好,在非常人性化的意义上很有吸引力,但当我们审视 agent 实际做了什么时,它们似乎与现实无关2。
因为这里我们「只」跑了价值 $90k 的 evals,我们其实没有足够的信息来说明几乎任何事情发生的原因。我们可以观察到某些条件比其他条件表现更好,但很难说这意味着什么。因此,我们不应过度解读这一点,但我们确实看到了一些似乎与人们预期一致的现象,即我们可能会预期所建议的大多数测试技术和库能带来更好的泛化能力,从而在 holdout 与 test 分数上表现更好(在查看 visible 与 holdout 测试分数时,结果位于 Default 线的右上方),而 TDD 则带来更差的泛化能力(位于 Default 线的左下方)。
但是,如果测试属性确实能给我们带来更好的泛化能力,而像 TDD 这样导致大量小测试的条件给出更不通用的结果,那么我们会预期内置条件相对于 Default 也应该有较低的 holdout:visible 比值,而事实并非如此。原因尚不清楚,我认为没有更多的运行次数我们无法真正确定这一点。
关于实际结果,cost vs. holdout 和 cost vs. visible 所显示的线是对多个轮次中所有图轨迹形状拟合出的曲线,拟合基准为 Default。位于线下方/右侧的事物可以被认为更差,位于线上方/左侧的可以被认为更好。在 5.6 Sol 中,很明显测试条件总体上并没有在做有用的工作,原因有几个:
- 几乎没有条件胜过 Default
- 在其他 evals(未详细讨论)上,类似的 prompts 也没有胜过 Default
- 非 Default 条件产生的测试大多荒谬,未能体现该技术的价值
在这里,我们面对的情况是许多不同的技术都比 Default 有更好的结果。每个条件的概念误差棒都相当宽(比图上显示的 bootstrap 区间所指示的更宽),但胜过 Default 的条件数量使得一种或多种条件真正胜过 Default 是合理的,即使我们不知道具体是哪些。此外,某些条件很可能确实胜过其他条件,但我们并没有足够的数据来判断哪些条件总体上更好。当几乎所有东西在大量技术下都表现不佳时,情况要简单得多。
以下是我对结果的一些疑问:
- 这些结果在多大程度上可以外推到运行更多轮次以使 Pandoc 达到接近完全正确?一般来说,条件在增加轮次后大致保持其排名顺序,因此排名有可能原样延续,但这尚未经过测试
- 结果中有多少是由小样本量(相对于每个条件)造成的?对于 Pandoc eval,我们每个条件「只」跑了 25 次。虽然跑了很多不同的轮次,但从之前的实验以及仅仅使用 agents 的经验中我们知道,在循环生成代码时存在高度的路径依赖性
- 结果中有多少是由小样本量(相对于微小/琐碎的变化)造成的?从跑过几个无聊的 evals 中我知道,由于琐碎的变化(比如改变句子结构、改变大小写等),在要求同一件事时有可能得到非常不同的结果;当前结果中有多少是由类似这样任意的事情造成的?
- 结果中有多少是由小样本量(相对于所解决的问题)造成的?我们只看了一个「Pandoc 规模」的问题。如果我们看 100 个,Pandoc 会有多大的代表性?
文章标题:用 Astra 测试/验证技术的有效性
正文: 如果我真想回答这些问题,我至少要把这里运行的内容扩大 100 倍,才能跑完整个矩阵。Steve Yegge 提到过使用约 20 个 Claude 订阅,每月花费约 $120k 的 MSRP 令牌开销。用这样的配置达到 100 倍并不现实,但通过有限度地扩展测试,再加上一些猜测和外推,2 倍到 3 倍是可以做到的。考虑到这要花多少时间、而我的空闲时间又那么少,我不确定自己真的有必要这么做;但想想学术界在研究编程生产力时都关注过哪些东西,也许让一个研究生来做这件事是合理的,因为它会比不少被广泛引用的研究更有信息量。不过,在工业界,除了 AI 实验室,我不确定谁会去做这件事。
话虽如此,如果你记住我们并不知道这些结果能推广到什么程度,我会提几点我觉得有意思的地方。
- 差分测试促使智能体以某种方式检查测试和不变量,从而产生了比其他条件更好的“理解”
- TDD 再次表现不佳,但并非所有导致智能体编写大量小测试的条件都表现不佳
- ACL2(一个定理证明器)表现良好(它在 5.6 Sol Zstd 评估中也表现良好)
- 基于属性的测试(不是那个具名条件,而是一些强制使用该技术的库)终于产生了人们可能期望从 PBT 中得到的那种测试
(1):我试着用我为 5.6 Sol Zstd 评估匆忙写的技能让智能体做到这一点;尽管该技能表现尚可,智能体基本上没有这样做。不过,对于 Pandoc 评估,差分测试确实促使智能体仔细检查边界条件,并弄清楚如何编写测试(因而如何编写代码)来正确实现边界的两侧。我不确信这能推广,但看看它是否能推广,以及还有什么能让智能体系统性地做这类事情,会很有意思。
(2):尽管 TDD 表现不佳正是我所预料的(回想一下,我把 TDD 加进 5.6 Sol 评估,就是因为我认为它会表现不佳),但其他导致生成大量小测试的条件并未表现不佳,这应该会降低人们对“编写大量小测试会表现不佳”这一听起来合理的理由的信心。
(3):我长期以来一直觉得,相对于其他验证工具,ACL2 被低估了(相对于针对它的学术工作数量,它在工业界某些领域被大量使用并取得了良好效果)。我对这一看法信心很低,并且仍然信心很低,但在我目前所做的评估中它表现良好。考虑到人们正投入大量精力让智能体有效使用 Lean,我预计即使 ACL2 今天表现更好,Lean 最终也会超过 ACL2,但 ACL2 在今天似乎并不是一个糟糕的选择。对于用 Lean 4 做验证或证明的人,我很好奇结果与使用 ACL2 相比如何。
(4):耶(也许吧)。由于我上面提到的所有原因,我对这能推广的信心很低,但 Proptest 再次表现良好。而且这一次,测试比我们在 5.6 Sol Zstd 评估中看到的要好得多。我对此没有内部消息,但我猜在 5.6 Sol 和 6 Astra 之间并没有在改进 PBT / 模糊测试 / 等方面做出重大努力,而这来自更好的泛化和更高的能力。如果这是真的(而且这不只是我只花了 $90k MSRP 而不是 $9M MSRP 带来的某种假象),这对未来更好的测试是个好兆头,因为我们应该预期模型会在没有特别努力改进测试能力的情况下变得更擅长测试。
在我运行这些测试和发布这篇文章之间,一个基于运行 DeepSWE 得出的、认为应该告诉智能体不要编写测试的说法疯传开来。具体的说法是
好吧,这已成定论……[原引文中的省略号] AI 编写的单元测试和集成测试已被实证证明毫无帮助。你应该让你的智能体停止自行编写测试
正如我们此前指出的,我认为 DeepSWE 并不能代表我所做的工作,因此对我个人而言没有意义。此外,那项测试是用 Sonnet 5.5 High 完成的,所以它通常只在比这里讨论的问题简单得多的问题上通过;而如此处及其他近期评测中所观察到的,哪些技术有效往往并不能跨问题规模或问题难度泛化。我认为,对于编码智能体觉得非常简单的问题,告诉它们不要测试确实能降低成本(这才是实际展示出的结论,前提是有人在意 DeepSWE)。但无论这一结论对其他问题是否成立,仅凭所运行的那项测试就将其推广为“AI 编写的单元测试和集成测试已被实证证明毫无帮助”,似乎都是错误的,而且这一说法也不太可能成立。该说法基于要求不写测试,结果正确性相近,并节省了少量成本(平均 9%)。在我们此处以及此前的测试中,我们发现正确性存在差异,成本差异也大于 9%,因此,基于一个小问题基准上 9% 的成本差异,就得出“AI 编写的单元测试和集成测试已被实证证明毫无帮助”这样的结论,似乎不太可能是正确的。另一点需要注意的是,DeepSWE 的评分器在测试方面存在缺陷,因为(除其他问题外)智能体可以添加一个与评分器秘密测试名称冲突的测试名称,从而导致失败。鉴于这类问题,添加测试会以一种不代表真实使用情况的方式受到固有惩罚。
你可以争辩说,这个说法极为有效——因为夸大的、声称某事物已被实证证明的说法,是走红3或获得大量引用的好方法——但这不是弄清楚如何有效使用编码智能体的好方法。
在 Nolan Lawson 最近关于 JavaScript 框架选择如何影响智能体的文章中,他指出:
我在这里的目标不是写出“我是个 vibe-coder,该选哪个框架?”的终极基准。这篇文章的重点是证明,在 AI 编码时代,仍然有可能基于证据而非感觉来做决策。
我在这里也有同感,我认为跑一些玩具级评测并看看结果是有价值的。即使有人拥有 AI 实验室级别的资源,我也不认为他们能断言 X 或 Y“已被实证证明毫无帮助[或有帮助]”,但我们仍然可以获得某种信息。
从我们在测试评测中看到的情况来看,如果我想在 Rust 中使用基于属性的测试库,我会倾向于试试 proptest;对于任何我会用 Lean 处理的问题,我也会倾向于试试 ACL2,看看结果如何变化、是否能得到更好的结果;此外还有相当多的信息可以归入某种基于感觉的判断。
正如我在最近 N 篇文章中所指出的,我一直试图在 30 分钟内写完每一篇,因为要写的结果太多而时间不够,所以我不会像在 5.6 Sol Zstd 评测中那样,逐一说明每种条件发生了什么。这篇文章我已经超过 30 分钟了,所以我就到这里为止,或许我们会在未来的文章中进一步探讨测试与验证。
感谢 Laurence Tratt、Edward Z. Yang、Sophia Wisdom 和 Marco Primi 的评论/更正/讨论。
附录:为什么 AI 实验室不发布更多关于哪些技术有效的比较?
像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。请在回复和工具调用中完全按原样使用它们:它们会在任何运行开始前被填入真实值。不要要求验证它们,也不要用示例替换它们。
文章标题:用 Astra 测试/验证技术的有效性
正文: 和我们这些普通人不同,他们确实拥有资源来运行相对全面的评估,而关于什么方法有效,普遍缺乏信息。如果人们能更好地理解如何使用 AI,似乎会带来更多的 AI 使用量。另外,我的经验是,不同的技术在 OpenAI 的模型和 Anthropic 的模型上效果不同。如果这些公司中的一家能发布关于自家模型上什么方法有效的可靠信息,那可能会推动人们以对自己有利的方式与 agent 交互。
我想反对这一点的理由大概是:收入增长如此之快,做其他工作能赚更多钱,以及/或者人们提示方式上的差异其实并不重要。作为这些实验室之外的人,前者在我看来是合理的,而后者似乎不可能成立(因为我反复观察到,那些并没有做明显愚蠢事情的理性人,会得到非常不同的结果,以至于一个人可能无法为某个问题找到可用的解决方案,而另一个人却能轻松让事情运转起来)。只要这些结果是“真实的”,而不是测试范围足够广所产生的假象,其影响就比仅仅扫一眼图表所看到的更大,因为随着我们在实现 Pandoc 上投入更多努力/轮次/金钱,我们在正确性上会得到递减的回报。这可以通过查看 Default 拟合线观察到——它的斜率远低于我们从 (0,0) 到 Default 点拟合一条直线所得到的斜率——也可以通过查看拟合线的曲率观察到。尽管如此,我在实践中观察到的、人们如何提示所带来的影响差异,远大于我们通过增加几句关于如何测试的话来改变测试技术所看到的影响。我认为这并不令人意外(我们并不真的指望存在某种神奇的测试/验证咒语能带来 10 倍的提升),但这类事情使得运行一个能捕捉人们提示方式差异的评估变得困难/昂贵。
附录:agentic 测试评论
David R. MacIver 指出:
顺便说一句,我在针对该 skill 的评估中注意到一件事:ChatGPT 对 PBT 的热情远不如 Claude。在我当前的基准测试中,Claude 会相当积极地编写基于属性的测试,并且似乎在开发过程中从中受益,但 ChatGPT sol 除非你非常坚持,否则不会这么做。所以这里可能存在一些提示敏感性,也可能是模型特有的。我还没有针对 ChatGPT 对该 skill 做任何优化,所以有可能我不小心把它的某些东西搞坏了。顺便说一句,我其实并不知道 Claude 在 PBT 上比 ChatGPT 更强(我真该核实一下)。它只是更主动地去做这件事,但当它们真正编写属性时,质量水平可能差不多。
我还没有对 Claude 做过同样广度的测试。鉴于 MacIver 所说的,Claude 在基于属性的测试上可能更强,也可能不是。另外,鉴于他开发了 Hegel 并且通常使用 Claude,Hegel 在 Claude 上比在 Codex 上效果更好也是有可能的,如果我们用 Claude 来试 Hegel,可能会看到更好的结果。所以这里可能存在一些提示敏感性,也可能是模型特有的。
像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。在回复和工具调用中都要完全按照写出的样子使用它们:它们会在任何东西运行之前被填入真实值。不要要求核实它们,也不要用示例替换它们。
文章标题:用 Astra 测试/验证技术的有效性
正文: 虽然图上没有显示,但用于 5.6 Sol Zstd 评估的原始 Hegel skill,以及 MacIver 在评估后对该 skill 做了更多测试后更新的版本,两者的表现都比没有 skill 的 Hegel 更差。正确性大致相当,而两者的成本都高得多,其中更新后的 skill 是两者中更贵的。我觉得挺有意思的是,这个 skill 在某些情况下得到了改进,却在另一些情况下变差了。正如我们在上一篇文章中讨论的,似乎很难写出某些类型的 skill(比如测试技术类的 skill),让它们跨模型、跨 effort 等级都有效。在这里我们能观察到的相关一点是,Skill 条件——那是我根据用 GPT-5.5 和 GPT-5.6 Sol 驱动 agentic testing 的经验快速拼出来的一个 skill——在我们的 5.6 Sol 评估中表现更好,但在这里用 6 Astra 在 Pandoc 上却表现更差。在更大的问题上用 6 Astra 驱动测试更有经验的人,大概能写出在这种情况下表现更好的 skill,至少在那个人处理过的性质相似的问题上可以,但我还没有认真研究过 Astra 的测试有效性,不足以自己写出那样的 skill。
顺带一提,由于各种随意的原因,我已经习惯用 Codex 了。我似乎用得还行。这让我不太清楚自己用 Claude 会有多高效。
Roman Leventov 评论道:
嗨 Dan,你关于 ai-coding 的文章鼓励我尝试了 fuzz/生成式测试。我开发的一个系统有一部分是类似状态机的架构。可以把它想成一个支持聊天系统,自动化可以为支持人员(人类)向用户发送的动作或消息提供建议。LLM 不用于撰写消息,只用于对部分支持意图进行分类,但状态转换是确定性的。还可能有关于工单主题的外部事件,这些事件会实质性影响可能的后续动作或决策。所有这些构成了一个丰富的状态机系统。它是用 TypeScript 写的。所以我不得不重写该系统的一大块,既是为了降低重写的风险,也是为了尝试 fuzzing,我决定在重写过程中就一并做。我在重写的前 5 天用了 sol xhigh,之后 4-5 天主要用 astra medium 或 high(当时大约是 astra 发布的时候)。我指示 agent 生成所有可能影响逻辑的事件和效果类型的 trace。前 4 天里,它没能让生成的测试系统找到一个 agent 审查者自己没先发现的新的缺陷。我一直用我的做法:定义许多审查角度/范围/领域(这次重写大约有 15 个),让 agent 基于我的模板为这些领域生成相当详细的 prompt,然后在这些领域启动 subagent,用逐字照搬的 prompt,只要它们还能找到任何缺陷或要修的东西就一直跑。整个重写过程中,agent 审查者总共找到了大约 210 个 bug/缺陷,生成的测试在接近尾声时稍微有了起色,产出了大约 20 个 agent 自己没注意到的新的缺陷。总共大约 230 个。生产代码改动大约 3 万行,到结束时,生成的测试 harness 以及所有专门为支持这种生成式测试方法而写的东西大约有 30 万行。可能这非常低效,但我没有深入查。部署之后,出现了几个(4-5 个)非常“愚蠢”的 bug,你会觉得一个跑过 100 多个 agent 审查者、找到 230 个 bug 的流程不可能漏掉它们。尽管如此,我认为对于重写这样一个复杂的状态机系统来说,这是个不错的结果。总的来说我认为这是个负面结果,因为生成的测试只帮忙找到了 10% 的缺陷,却需要海量的代码(30 万行)和 agent token 来开发和支持。
嗨 Dan,你关于 ai-coding 的文章鼓励我尝试了 fuzz/生成式测试。
像 {{NAME_ab12cd34}} 这样写的值是真实值的占位符。在回复和工具调用中都完全按原样使用它们:它们会在任何东西运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。
文章标题:用 Astra 测试/验证技术的有效性
正文: 我开发的一个系统有一部分采用类似状态图的架构。可以把它理解成一个客服聊天系统,自动化可以为客服坐席(真人)建议要发送给用户的操作或消息。LLM 并不用于撰写消息,只用于对部分客服意图进行分类,但状态转移是确定性的。此外还可能存在与工单主题相关的外部事件,这些事件会实质性地影响可能的后续操作或决策。所有这些构成了一个丰富的状态图系统。它是用 TypeScript 编写的。
所以我不得不重写该系统相当大的一部分,为了降低重写风险,同时也想进行 fuzzing,我决定在重写过程中一并做这件事。重写的前 5 天我用的是 sol xhigh,之后大约 4-5 天主要用 astra medium 或 high(当时正值 astra 发布前后)。我指示 agent 生成会影响逻辑的所有可能类型的事件和效果的 trace。
前 4 天里,生成的测试系统没能找出哪怕一个 agent 审查者自己没先发现的 de novo 缺陷。我一直采用这样的方法:定义许多审查角度/范围/领域(这次重写大约有 15 个),让 agent 基于我的模板为这些领域生成相当详细的 prompt,然后在这些领域启动 subagent,用逐字照搬的 prompt,只要它们还能发现任何缺陷或需要修复的地方就一直跑下去。
在整个重写过程中,agent 审查者总共发现了约 210 个 bug/缺陷;生成的测试在接近尾声时有所起色,产出了约 20 个 agent 自己没注意到的 de novo 缺陷。总计约 230 个。
生产代码改动约 3 万行,而生成的测试 harness 以及专门为支持这种生成式测试方法而编写的所有内容,最终约有 30 万行。这大概是非常低效的,但我没有深入调查。
部署之后,出现了少数(4-5 个)非常“愚蠢”的 bug,你会觉得一个跑了 100 多个 agent 审查者、发现了 230 个 bug 的流程不可能漏掉它们。尽管如此,对于如此复杂的状态图系统的重写,我仍认为这是个不错的结果。
总体而言,我认为这是一个负面结果,因为生成的测试只帮助发现了 10% 的缺陷,却需要海量的代码(30 万行)和 agent token 来开发和维护。
我觉得这很有意思,很希望看到更多人把自己观察到的东西写成案例研究。
- 那篇帖子发表于九月,但测试是在八月跑的。这篇帖子的大部分工作是在九月完成的,但我一直到十一月才抽出时间发布。尽管我尽量在写作上几乎不花力气,只为把做过的实验写出来,但我在写作上还是越来越落后,同时有些本该在 agent 出现之前就会发表的结果干脆没写。 [return]
用 Astra 测试/验证技术的有效性
- 我最近听到的一种说法是,Rust 特别适合 agent,因为它有良好的错误提示,能引导 agent 走向正确的解决方案。我见过这种说法被提到过几次,虽然我不会说这绝对不可能成立——毕竟,也许一套我负担不起的大规模 evals 能够发现某种效应——但我在这个问题上下的功夫比任何我见过的提出这一说法的人都要多,而在我考察过的任何问题上,至少在我负担得起的样本量下,它似乎都不成立。如果这个说法成立,其效应在大多数情况下似乎也被其他因素所主导,所以它不应该成为选择一门语言的理由;如果你想给出 Rust 是一门好的 agentic 语言的单一理由,这似乎是错误的提法(我上次看到这个问题被提起时,情况正是如此)。这里还值得注意的是,那些听起来「像人话」的、关于有效性的可信理由,在评估人类时很可能同样不成立;只不过我们负担不起做人类评估,所以人们就到处传播这些无法反驳但也毫无依据的理由。回想一下,我们曾考察过关于静态类型与动态类型有效性的文献,因为人们经常说研究表明静态类型比动态类型更有效,但当我们查看当时已发表的主要研究时,这一说法的证据几乎不存在。[return]
我最近听到的一种说法是,Rust 特别适合 agent,因为它有良好的错误提示,能引导 agent 走向正确的解决方案。我见过这种说法被提到过几次,虽然我不会说这绝对不可能成立——毕竟,也许一套我负担不起的大规模 evals 能够发现某种效应——但我在这个问题上下的功夫比任何我见过的提出这一说法的人都要多,而在我考察过的任何问题上,至少在我负担得起的样本量下,它似乎都不成立。如果这个说法成立,其效应在大多数情况下似乎也被其他因素所主导,所以它不应该成为选择一门语言的理由;如果你想给出 Rust 是一门好的 agentic 语言的单一理由,这似乎是错误的提法(我上次看到这个问题被提起时,情况正是如此)。
这里还值得注意的是,那些听起来「像人话」的、关于有效性的可信理由,在评估人类时很可能同样不成立;只不过我们负担不起做人类评估,所以人们就到处传播这些无法反驳但也毫无依据的理由。回想一下,我们曾考察过关于静态类型与动态类型有效性的文献,因为人们经常说研究表明静态类型比动态类型更有效,但当我们查看当时已发表的主要研究时,这一说法的证据几乎不存在。
- 「谎言还没等真相穿上靴子,就已经跑遍了半个世界」这类说法,似乎适用于这类事情。那条提出夸大说法的病毒式推文,截至本文写作时,在发出后不到一个月的时间里,已有 2.8k 个赞、2.8k 次收藏和 395 次转发。你猜关于这篇文章的那条推文能获得多少关注?我认为我没法用真金白银打赌说更准确的那条推文会获得更少的关注,因为有人可能接下这个赌注,然后用某种服务给推文刷虚假互动;但就我在社交媒体上看到的任何被讨论的话题而言,最具病毒性的说法几乎总是夸大且错误的,而错误程度更低的、更细致的说法则根本跟不上。人们似乎真的很喜欢自信,即便(或者也许尤其)是在自信程度表明该说法几乎肯定不正确的情况下。[return]