Newshot

设计 nextest 的安装脚本

Translation(model translation, not the source's own text)
cargo-nextest 主页,标题“面向 Rust 的下一代测试运行器”位于“Linux、macOS、WSL”和“Windows (PowerShell)”标签页上方。选中的标签页显示命令“curl -LsSf https://get.nexte.st/install.sh | sh”。
cargo-nextest 主页,标题“面向 Rust 的下一代测试运行器”位于“Linux、macOS、WSL”和“Windows (PowerShell)”标签页上方。选中的标签页显示命令“curl -LsSf https://get.nexte.st/install.sh | sh”。

在我发布 cargo-nextest 第一个版本四年半之后,它现在有了安装脚本!这件事酝酿已久,我终于能为它们提供支持,真的很高兴。

在类 Unix 平台上,包括 WSL、Cygwin 和 Windows 的 Git Bash(MSYS),你现在可以运行 install.sh:


        curl -LsSf https://get.nexte.st/install.sh | sh
      

在 Windows 上,你也可以通过 install.ps1 使用 PowerShell:


        irm https://get.nexte.st/install.ps1 | iex
      

我想写一点关于为什么发布它们花了这么长时间、它们如何工作,以及我如何使用编码代理来达到高质量标准的内容。

背景

自 2022 年 nextest 项目最早的版本起,我们就一直为该项目发布发布二进制文件。在最初设计对发布二进制文件的支持时,我花了一些时间研究如何将它们交付给用户的选项。通常的做法是通过 curl | sh 或 irm | iex 执行的安装脚本,但我认定:

  • 编写安装脚本相当困难。你必须维护独立的 Unix 和 Windows 脚本,每个都有自己的风险,并在无数不同情况下进行测试。我编写基础设施时的一般哲学是,以不必再回头考虑它们的方式构建东西,而我觉得任何安装脚本都会有一长串我不得不追查的问题。我认为自己不具备写出符合我自己标准的脚本所需的技能。
  • 许多用户(完全可以理解地)不喜欢 curl | sh,如果这是安装发布二进制文件的唯一方式,那将是个错误1。

基于这一点,我想出了一种替代方案:生成 tarball(以及面向 Windows 的 zip 文件),并让人们自行解压。例如,在 Linux 上,你会运行:


        curl -LsSf https://get.nexte.st/latest/linux | tar zxf - -C ${CARGO_HOME:-~/.cargo}/bin
      
  • 这些 URL 由重定向服务支撑(最初是 Netlify,现在是 Cloudflare),目的是让它们保持相对简短。
  • 这些二进制文件在 GitHub Actions 中构建,并托管在 GitHub Releases 上,在首次发布后不会改变。(最初,这是一种策略。如今,这通过 GitHub 的不可变 release 功能进行密码学证明。)
  • 管理这一切的代码位于我为 nextest 编写的一个

文章标题:Designing nextest's install scripts

正文: 该 shell 脚本适用于任何 Bourne shell,而 PowerShell 脚本既能在旧版(但 Windows 上默认安装)的 5.1 上运行,也能在新版 PowerShell 7 上运行。它们遵循一系列步骤:

  • 下载指定版本的安装清单,其地址始终为 https://get.nexte.st/<version>/install-manifest.txt。(<version> 也可以是 0.9 这样的系列,或字符串 latest 表示最新发布版;这一点沿用自发布 URL。)
  • 检查本地系统,确定最适合该发布版的候选版本。
  • 下载最佳可用候选版本,校验其校验和,并将二进制文件解压到正确位置。

正如我所预料的,一个可用于生产环境的安装脚本必须应对多得惊人的复杂性。一些例子:

  • 在 Linux 上,如果系统版本的 glibc 太旧或不存在,就会选择静态链接的 musl 构建。(我们默认不安装 musl 构建,最初是因为 musl 上的 nextest 使用 fork/exec 而非效率高得多的 posix_spawn 来生成进程。这个问题后来已修复,但 musl 仍然比 glibc 略慢,可能是由于内存分配器性能较差。)
  • 在当前版本的 macOS 上,默认的 sh 是非常过时的 bash 3.2。该脚本规避了这个版本 bash 中的若干缺陷,例如 if 中一条执行失败的命令会报告退出状态 1 而非 126,这个问题早在 2014 年就在上游 bash 中修复了。
  • 在 Windows 上,用户可能在使用模拟运行于不同架构上的 shell,例如 aarch64 Windows 上的 x86_64 Git Bash。脚本会检测这种情况,并为原生架构安装正确版本的 nextest。

So… let’s talk agentic coding

安装流程,例如清单格式和位于众所周知的 URL 上的位置,很大程度上是我设计的。不过,我在实现和测试方面得到了 Claude Code 和 Codex 的大量帮助。

使用它们的一种方式,我将其称为 vibed 方法,是:

  • 告诉 Claude、GPT 或其他 LLM,“给我写一个安装脚本,不要出错”。
  • 在本地测试并报告一些 bug。让 LLM 尽职地通过添加更多代码来修复这些 bug。
  • 让 LLM 添加更多功能,添加更多代码。
  • 将其发布到世界上,当其他人报告缺陷时,让 LLM 通过添加更多代码来修复它们。

这就是你最终得到包含数百行重复部分的安装脚本的方式。今年早些时候,一个流行项目的安装脚本成为了这种模式有点臭名昭著的例子。

但这种 vibed 方法并不是我开发供他人使用的软件的方式。一方面,nextest 不是我的全职工作,我不想一直追着针对它提交的源源不断的问题跑。更重要的是,我认为用这种方法构建基础设施级软件,无论它可能有什么或没有什么技术优点,都违背我的价值观。我不会为了更快地发布这样的东西而放弃我的价值观。

那么我最终是如何为此使用 LLM 的?非常谨慎地,并且旨在提高严谨性,相比之下手写脚本反而达不到这种程度。

在 LLM 方面,迄今为止投入精力最多的是验证。根据我在工作中处理项目的经验,我知道 LLM 在构建测试框架方面可以非常彻底,而否则这需要数周的持续努力。因此,很早我就决定为安装脚本构建一个自动化测试框架。该测试框架定义了数十个具有预期输入和行为的用例,并在各种 shell 上运行它们。该框架还具有:

  • 一个 HTTP 服务器用于提供构件,并带有 TLS 前端;
  • 一个测试辅助 multicall 二进制文件,用于注入各种故障,并在 Windows 上保持一个正在运行的二进制文件打开,以确保 PowerShell 脚本可以替换它;
  • 一组针对边缘情况的独立测试,包括针对截断脚本和中断下载后清理的测试。

原则上,所有这些都在我的能力范围之内,只是不可能在合理的时间内完成。但一旦定义好想要测试的高层属性——比如下载停滞时的超时——LLM 非常擅长这种填空式的语义补全。

另一大块工作在人这一侧,也就是设计评审。随着时间推移,在积累了对 agentic 工具的经验之后,我形成了一套相当特别——有人可能说是古怪——的使用方式。我会先用两个不同的 LLM 对任何代码跑一遍自动评审3。之后,我会花大量时间人工审阅代码。

我如何确保自己真的在认真审阅代码?对我来说,最有效的办法是禁止 agent 在没有特殊标记的情况下写注释。说实话,我受不了 LLM 撰写的技术文字,这些工具产出的注释一律很糟糕。但同样重要的是,当我被迫去写某段代码为何以这种方式编写时,我总能发现数量惊人得令人吃惊的问题。在这次工作中我发现的一些问题:

  • 测试在验证所有可能的非默认选项方面极其全面,但最基本的、不带任何选项的顺利路径却没有测试。我在评审进行到大约三分之一时意识到了这一点,并据此对测试框架做了大幅重做。
  • 在测试框架中,SHA-256 哈希被表示为 Rust 的 String,测试还做了一种奇怪的大小写不敏感比较。我把它换成了我为 Oxide 写的 byte-wrapper crate,它提供了 HexArray<N> newtype4。
  • 脚本最初允许 HTTPS 到 HTTP 的重定向,测试还验证了这一场景可以正常工作。这当然是完全错误的。此类重定向现在已被禁止。
  • Unix 测试验证了信号会执行清理,但最初在 Windows 上没有 Ctrl-C 测试。现在已有相应测试。

许多缺陷的共同主题是:LLM 常常会挑一座山去爬,然后尽可能彻底地爬上去,却从不先问这座山是不是该爬的那座。HTTPS 到 HTTP 的重定向就是一个相当醒目的例子:在某个时刻,Claude 认定脚本就应该这么做,然后把它写进了测试套件。后续由 Claude 和 GPT 实例执行的自动评审很可能让它们得出结论:“哦,测试验证了这类重定向可以工作——显然这就是预期行为。”这需要人类的判断力才能判定:不,这是错的。

总而言之,人工评审在 4 个周末里花了大约 25 个小时。最终结果是一处约 10,000 行代码的改动,其中大部分是测试——与 LLM 最初完成的工作大不相同,而且我相信这是我能够为之负责的成果。我确信之后还会零散地有一些 bug 修复,也许在某个时候还会有大的功能开发,但总体而言我认为这项工作已经完成。

这项工作以通用方式实现在 mukti 中,也可被其他项目复用。我不完全确定 mukti 现在是否适合公开使用,但已经不远了。鉴于这套东西运转得如此之好,也许终于到了把 mukti 推过终点线的时候了。也许就在假期期间吧!

结论

一件事如果值得做,是不是就值得做好?还是说,应该马马虎虎地做?过去一年,软件行业经历了一场显著的转变。令我沮丧的是,很多本应更明白的人选择了后者。我并不是说后者没有立足之地,但我认为,他人所依赖的基础设施需要一种审慎、细致的做法,而我尽可能努力做到这一点。

实际用起来,每当我使用 LLM,我都忍不住要放慢脚步、小心行事。我发现它们在达成某种严谨程度上不可或缺——这种严谨我以前只能想想;但模型在两次会话之间学不到太多东西,这意味着它们仍然会犯低级错误。我的工作流程让我在当下比那些一次性把软件写完就撒手不管的人慢得多,但从长远看,它让我能真正了结一个组件、相信它确实能用,并帮助我用设计良好的部件构建出可靠的系统。我希望,如果你选择使用 agent,这篇文章能启发你抱有类似的心态。

  • 从系统设计的角度看,发布的可执行文件本身就已经是任意代码,所以从同一来源执行 curl | sh 并不会引入新的信任边界。人们完全可以合理地批评「发布可执行文件」这件事本身。我认为总体而言,以可审计、透明的方式发布它们是最好的做法。 ↩︎
  • Mukti 是一个梵语词,后来也进入印地语,意思是自由或解放。它带有类似 moksha 或 nirvana 的「解脱」这一精神含义,但也有更世俗的用法;例如,FOSS 在印地语中有时被称为 mukt software。 ↩︎
  • 我的首选是 Claude Code 自带的 /simplify skill 和 pr-review-toolkit 插件,不过我还会让 agent 做一次架构/负空间层面的评审。 ↩︎
  • 经过这一流程,我还建立了一份 crate 清单,收录我自己或 Oxide 编写的、以及我另外信任的 crate——现在我会指示 LLM 尽可能使用这份清单里的 crate。它们大多数时候能照做。 ↩︎

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by Lobsters
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗