Newshot

AI 智能体的沙箱

Translation(model translation, not the source's own text)

没有沙箱,你的智能体就是在瞎猜

让智能体创建一个新功能——它会自信地提交可供审查的 PR。但你怎么知道它真的能工作?你得亲自测试。把失败结果发回去,迭代,继续来回往复,直到你拿到可用的东西。

难道没有办法让智能体自己测试并验证自己的代码吗?有没有办法让智能体向你证明它们的改动确实有效?这就是沙箱的用武之地。

什么是沙箱

沙箱是你应用的练习副本。想想飞行模拟器:足够接近真实,让练习有意义;又足够虚假,摔了也不会伤到任何人。

沙箱解剖 · 围墙、访问、技术栈、数据、回执
沙箱解剖 · 围墙、访问、技术栈、数据、回执

沙箱解剖 · 围墙、访问、技术栈、数据、回执

智能体通过仅开发者可用的登录进入,对完整技术栈和自己的数据工作,并在 PR 上留下“回执”——即改动已通过验证的证明。客户数据和真实凭据则留在围墙之外。

运行中的技术栈

你的服务、数据库和队列,加上用于支付和邮件等第三方 API 的模拟实现或供应商沙箱。听起来很简单。实际很少如此。每个服务都会拖进更多服务,一个成熟应用可能要跑上几十个服务,首页才能加载。

隔离

隔离让其他一切变得安全。把客户数据挡在外面。也要把共享数据挡在外面,比如另外三个团队依赖的 staging 数据库。锁定出站流量,绝不要放入真实的第三方凭据。

判断任何配置的便捷方法是看它的爆炸半径:智能体在完全按照你的要求行事时所能触达的最糟糕的东西。有一次我让智能体验证“删除组织”流程的改动。它做到了——通过删除组织。在 staging 或生产环境中,这可能是个问题——但在沙箱里没关系。

七种沙箱设计

真实、安全、快速:三选二

每个沙箱都在真实性(行为与生产一致)、安全性(错误被关在里面)和快速廉价(几秒钟就能启动很多个)之间做取舍。没人能三者兼得。

沙箱取舍 · 3 个目标上的 7 种设计
沙箱取舍 · 3 个目标上的 7 种设计

沙箱取舍 · 3 个目标上的 7 种设计

这些是我在实践中见过的示例设计——名称是我起的。

0. 孤岛

一个服务独立运行,所有依赖都是模拟的:mock、像 LocalStack 这样的模拟器、录制的 HTTP 响应。这是你所能拥有的最快、最便宜的检查,什么都逃不出去。但它的真实性也仅限于你的模拟实现,而且会漏掉服务之间发生的一切——而这恰恰是开头那个智能体栽跟头的地方。把它当作第一道检查。我几乎不把它算作沙箱。

孤岛 · 一个服务,全部模拟
孤岛 · 一个服务,全部模拟

孤岛 · 一个服务,全部模拟

1. 本地开发

大多数人已经拥有的沙箱:技术栈跑在开发者的笔记本电脑上,用原生进程或 Docker Compose,也许还有个 CLI 封装。反馈即时且零成本。

本地开发 · 笔记本上的技术栈
本地开发 · 笔记本上的技术栈

本地开发 · 笔记本上的技术栈

它一次只能跑一个智能体,而且会因机器而异产生漂移。智能体用开发者的凭据运行,所以爆炸半径就是这台笔记本加上那些凭据能触达的一切。

2. Devbox

devbox 是把本地开发搬到云上。一台由预构建镜像构建的持久化机器,要么每位工程师一台,要么留几台给智能体使用。它比笔记本电脑更大,对所有人来说都一样,并且合上盖子后仍继续运行。它闲置时你也要付费,除非重新构建,否则它会漂移,而共享一台机器的智能体也会共享它造成的混乱。

Devbox · 持久化,每位工程师或每个智能体一台
Devbox · 持久化,每位工程师或每个智能体一台

Devbox · 持久化,每位工程师或每个智能体一台

3. 临时环境

每个任务都使用全新的 VM 或容器,从预热好的快照启动,用完后丢弃。生产环境和开放互联网都无法触及。

临时环境 · 每个任务一台机器
临时环境 · 每个任务一台机器

临时环境 · 每个任务一台机器

这正是大规模运行智能体的团队最终采用的方式。Stripe 的 Minions 运行在预热好的 devbox 上,启动约需 10 秒。Ramp 在 Modal 沙箱中运行每个会话,该沙箱从每 30 分钟重建一次的快照启动。GitHub Copilot 的编码智能体在防火墙允许列表之后的 Actions runner 上工作。

快照需要重建,每个任务都有成本,而且你得到的是开发栈,而不是生产环境的真实基础设施。

宠物与牲畜

宠物有名字,生病时你会把它照料恢复。牲畜只有编号,会被替换。Devbox 是宠物。临时沙箱是牲畜。

智能体不应该花一个小时调试自己的环境。如果沙箱进入奇怪状态,就把它扔掉,启动一个新的。

宠物与牲畜 · Devbox 与临时环境
宠物与牲畜 · Devbox 与临时环境

宠物与牲畜 · Devbox 与临时环境

4. 预览环境

生产环境的孪生体。你部署生产环境自己的配置,并加上沙箱设置,每个环境一个隔离副本,智能体从外部访问。它是最贴近现实的选项,而且不需要维护第二套栈定义来保持同步。

预览环境 · 复制生产环境自己的配置
预览环境 · 复制生产环境自己的配置

预览环境 · 复制生产环境自己的配置

它启动也慢、昂贵且复杂,而且有些第三方服务根本无法复制。Lyft 曾为每位工程师运行完整环境,直到这种方式无法扩展,然后转向请求路由。用于集成和基础设施工作的小型预热池通常就足够了。

5. 混合

只运行你正在改动的服务,其余服务从共享环境借用。带标记的请求会到达你的版本;其他请求则命中共享副本。Uber 的 SLATE 和 Lyft 的 staging overrides 都这样工作。它能在几秒内启动,而且依赖是真实的。

混合 · 你的服务接入,其余借用
混合 · 你的服务接入,其余借用

混合 · 你的服务接入,其余借用

AI Agent 的沙箱

Shadow · 镜像流量,比较后丢弃

你能获得真实输入,并捕获没人写测试的回归问题。但客户数据也会流经其中,这与测试账号规则相冲突,而且每一次写入和副作用都必须被拦截或发送到测试存储。这可以当作一种验证检查。

七种设计一览

沙箱为什么难

想法很简单。难点在于构建,团队往往卡在这里。

大到一台机器装不下

当整套服务无法装进一台机器时,你可以开始裁剪。更小的数据种子会有帮助。为最重的服务提供更轻量的替代品同样有用。如果你有定义良好的服务边界,那就更好了。如果没有,你可能得从大处着手。

很少只需要一个服务。一个服务会依赖其他服务,其他服务又依赖其他数据库,如此循环。即便是一个最小可用的沙箱,也可能难以实现。

多个仓库

如果你有一个单一的 monorepo,克隆体积可能很大,但更易管理。但公司的代码库往往横跨多个仓库。你有几种选择:

  • 全部克隆。一个沙箱检出任务分支上的每个仓库,这样 agent 可以修改其中任意一个。它最灵活,但启动最慢。Ona 和 GitHub Codespaces 都支持。
  • 构建一个,拉取其余。用源码构建你正在修改的仓库,其余仓库则使用它们最后一次从 main 发布的镜像运行。快速且便宜,但一次只能有一个仓库发生变更。
  • 按分支链接沙箱。每个仓库的 PR 都有自己的沙箱,一个共享的分支名将它们分组,一个路由键把请求发送到所有沙箱。可选地,考虑来自一个公共仓库的 PR 编号
多仓库沙箱 · 3 种模式
多仓库沙箱 · 3 种模式

多仓库沙箱 · 3 种模式

成本

为每个打开的 PR 都准备一份完整的服务栈副本,一天中大部分时间处于空闲,累积起来相当于第二份生产账单。Agent 让它更糟。它们打开更多 PR,并让它们保持打开更久。

所以在没人使用时关掉沙箱:在静默一段时间后休眠,在下一次 push 时唤醒,在 PR 关闭时拆除。

也要把服务打包在一起。当一台服务器能容纳所有数据库时,你不需要为每个服务配一台数据库服务器。

它需要多新?

你自己的改动始终是最新的。重要的是其他一切落后 main 多远。

让沙箱变得有用

无论你选择哪种设计,同样的三件事决定 agent 能否在其中真正检查自己的工作。

数据

没有数据,你的应用就无法测试。真实的 bug 出现在特定状态中,比如一个巨大的账户、一个过期的试用,或一个缺失的字段,所以每次改动都需要自己的场景。

我会结合两个来源。

来自测试账号的每晚副本。大多数公司已经有用于测试或开发的 QA、demo 和内部组织。从只读副本中导出这些数据,遵循外键,让相关行一并带出。然后发布一个带日期的快照,每个沙箱以 copy-on-write 方式恢复它。

每日数据导出 · 从测试账号到沙箱
每日数据导出 · 从测试账号到沙箱

每日数据导出 · 从测试账号到沙箱

客户数据绝不应该进入快照。

预置场景。用平实的英语描述所需数据,将其转化为可复用的模板,并通过产品自身的 API 创建数据,以保证其有效。

seeding from a prompt · prompt, plan, API calls
seeding from a prompt · prompt, plan, API calls

seeding from a prompt · prompt, plan, API calls

数据处理。有时仅靠数据行还不够。如果你的产品基于事件、流或批处理任务运行,沙箱需要该管道的一个小版本,以便也能处理这些数据。这可能意味着在你播种的数据上运行数据管道,以生成写入输出值。

访问

一个卡在登录界面的代理什么都检查不了。给沙箱一个仅开发用的登录方式,跳过 SSO 和验证码,并让代理以任意已播种的角色登录:管理员、查看者、新用户。

密码在沙箱里不该有多大意义——那是个游乐场。把你对密码服务的调用 mock 掉。

凭证

每个 PR 都应该附带凭证——证明变更有效的证据。代理访问过的页面的截图或录屏、API 调用及其响应、服务器日志、它读写的行。审查者可以在一分钟内浏览这些,或者点击进入预览环境——这比拉取分支并运行要好。

阅读会话本身。代理无法运行某些东西、或绕过它的每一处,都会进入一个按出现频率排序的清单。平台团队从顶部开始处理,每一次修复都会帮助之后的每一次会话。

session review · gaps become a ranked checklist
session review · gaps become a ranked checklist

session review · gaps become a ranked checklist

从哪里开始

人类可能已经有办法测试和验证大多数变更——你只需要找到一种方法,让代理能运行类似的流程并查看结果。

你不必一次性构建全部。选择适合你技术栈的设计;如果它能放在一台机器上,那大概就是 Ephemeral。把它与真实数据和生产服务隔离。加载测试账户数据,并给代理一种登录方式。让 harness 记录代理实际做了什么。

然后阅读会话。最初的几次会确切告诉你代理卡在哪里,而最常见的阻塞点就是你下一项工作。

感谢阅读 Shawn’s Substack!免费订阅以接收新文章并支持我的工作。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗