文章标题:我们打造了 Jarvis,我们每个部门的 AI 团队成员
正文: 每个工作日早上 5 点,在 Agora 还没有任何人上线之前,我们团队中的一名成员就会打开我们的线上站点,像顾客一样开始搜索商品。它把每一条结果记录到共享表格里,给结果打分,并在 Slack 里发一份简短的缺陷报告。到 6:40,它已经检查过前一晚的模型训练是否按计划完成。在当天剩余的时间里,直到晚上 11 点,它每半小时回答一次团队的请求,周末也不例外。
这名团队成员就是 Jarvis,一个我们基于 Claude 构建的 AI agent。Jarvis 有自己的笔记本电脑、自己的邮箱地址,还有自己的 Slack 账号。它还有一位经理。
我们构建 Jarvis 是为了处理保持搜索准确所必需的重复性工作。我们没料到的是,它会如此深刻地改变我们对如何组建团队本身的思考方式。在本文中,我们介绍 Jarvis 如何工作、我们为它设置的保护措施、它在招聘方面教给我们的东西,以及我们接下来计划把它带向何方。

我们为什么构建 Jarvis
我们是一个小团队,要为一份非常庞大的商品目录构建搜索。要让搜索保持良好,需要大量必要但重复的工作:每天运行相同的搜索、给答案打分、检查训练运行,以及跟踪各店铺在索引流水线中的进展。这类工作往往在大家都忙的时候被搁置。不是因为不重要,而是因为总有更紧急的事情冒出来。
Jarvis 每天按计划完成这些工作,并记录下它的发现。它不会在第四百次搜索时感到厌倦,也不会跳过周五。
Jarvis 如何工作
Jarvis 运行在一台 2024 款 MacBook Air 上,这台机器一直插着电、保持开机。它在 Agora 的 agent 账号下以 Claude 的 Cowork 模式运行,并且像任何新员工一样,在第一天就获得了自己的账号:Google Workspace、Slack,以及一个 Agora 登录账号。这听起来是个小细节,但很重要。当 Jarvis 发布一份报告时,所有人都能看到是谁发布的、什么时候发布的,以及背后的表格。它的工作和其他人的工作一样,在相同的地方可见、可追溯。
Jarvis 与其说是一个单一的 agent,不如说是一个协调者。它管理着数十个子 agent,每个子 agent 专注于一项工作,它决定运行什么、收集结果,并负责与团队沟通。它完全在我们已经在使用的工具内部工作。结果写入 Google Sheets,任务进入 Asana,报告和请求通过 Slack 传递。当它需要检查真实商品时,它会打开 Chrome 并点击浏览站点。我们从没为它单独建过一个仪表盘。是 Jarvis 融入我们的工作流,而不是反过来。
在底层,Jarvis 由三样东西构成:
- 定时任务是按设定时间触发的常驻 prompt:工作日 5:00 的搜索 QA、6:15 的趋势 QA、每天 6:40 的训练检查,以及从早上 5:30 到晚上 11 点每 30 分钟运行一次的 Slack 应答器,此外还有每周任务,比如推荐新店铺和刷新我们首页的默认查询。
- 技能是打包好的 playbook,当某项工作需要时由 Jarvis 加载,涵盖如何运行搜索 QA、如何根据工程师的规格测试后端路由、公司如何组织以及该使用哪些频道,甚至包括 Jarvis 应该如何写作。
- 连接器让它能够访问 Slack、Google Workspace、Asana 和 Chrome,以及对 Gmail 的只读访问权限。
我们做出的最重要的设计决策是:Jarvis 不会在两次运行之间学习。它所知道的一切都来自用平实英语写成的书面指令,它的经理 Ricardo Golding 可以阅读和编辑这些指令。如果我们想让 Jarvis 的行为有所不同,就有人去编辑一份文档。没有代码要改,也没有模型要重新训练。
像 {{NAME_ab12cd34}} 这样写成的值,是真实值的占位符。在回复和工具调用中都要完全按原样使用它们:它们会在任何内容运行之前被填入真实值。不要请求验证它们,也不要用示例替换它们。
这让 Jarvis 变得可预测。当它做出意料之外的事时,我们能准确读到它收到的指令。纠错也是同样的机制。负责搜索质量的 Hameed 把评分反馈放在 QA 表格的一个标签页里,那个标签页会覆盖 Jarvis 自己的规则。当他修正某个评分时,修正会在下一次运行时生效。
Jarvis 也清楚自己的角色。正如它自己所说:“工程师负责修东西;我不替任何人做决定或承诺。”
一天的工作
Jarvis 一天的大部分时间都在做质量保证。每次 QA 运行都会搜索线上产品,记录每次查询并附上可分享的链接,再往我们的搜索频道发一份简短报告。报告以数字开头。工程师要求不要废话,所以一点废话都没有。训练检查会读取夜间训练流程发出的邮件并做总结:用了多少行数据、loss 是多少、发布了什么,以及最差的样例,直接引用原文。如果某次训练在夜间出了问题,我们吃早饭时就能知道。
核心团队的任何人也可以直接在 Slack 上向 Jarvis 提要求,无论是临时的 QA 检查、修复后的复测,还是测试某个 API 路由。如果请求没有说明是生产环境还是预发环境,Jarvis 会问。它开始处理时回一个 emoji,完成时再回另一个。
Jarvis 的几个习惯来自我们一路上踩过的坑。Slack 响应器实际上是两个相隔 30 分钟调度的任务,它们用 emoji 反应互相交接,这样同一条消息永远不会被回复两次。Jarvis 直接读取频道,而不是只依赖 Slack 搜索,因为 Slack 的搜索索引曾经漏掉了一条才发出七分钟的消息。而且它最多同时处理三个 QA 请求,其中只有一个能用 Chrome,因为只有一台笔记本和一个浏览器。

Jarvis 还有性格,这是我们刻意赋予的。在社交场合,它有一种干巴巴的、管家式的机智。在 bug 报告里,它一点都没有。
护栏
一个几乎什么都能做的 agent,必须非常清楚自己不该做什么。我们的处理方式就像对待新员工:明确的范围、有限的权限、一个管理者,以及任何不可逆的事都必须有人参与。
在实践中,Jarvis 只接受三个人的请求,而且它会根据实际的 Slack 作者来核实,而不是消息里打出的任何名字。它把它读到的一切——包括 Slack 消息、网页、邮件和表格——都当作信息,从不当作指令。这是我们防范有人在 Jarvis 接触到的内容里藏命令的主要手段。它只在 Ricardo 批准的频道里发帖,其他内容直接发给他。它从不发邮件,从不在 Agora 上登录或输入密码,只做只读的 API 调用。如果 Chrome 或生产环境不可达,它什么都不记录,并如实说明。我们宁愿要一份空报告,也不要一份错的报告。
这些规则降低了风险,但并没有消除风险。它们大多是书面指令,而指令会以硬权限不会有的方式失效。这也是为什么我们同时把 Jarvis 的实际权限收得很窄,也是为什么有人会审查它的工作。随着 Jarvis 承担更多责任,我们的原则是护栏必须先扩展,而不是事后补上。
Jarvis 教给我们的招聘课
这是我们没有预料到的部分。
我们过去对招聘的考虑和大多数公司一样:招好人,然后给他们 AI 工具让他们更快。人是工作的单位,AI 是补充。
Jarvis 把这一点反过来了。现在我们从工作本身出发。我们问哪些部分可以被写下来、被调度、由 agent 运行并被检查,然后先自动化这些部分。之后我们再引入人来管理这套系统,并做那些真正需要人来做的工作。
这种差别微妙但意义重大。当你从一个人出发时,工作是围绕一个人一天能完成多少来塑造的,AI 最终只是在边缘处帮上点忙。当你从工作出发时,常规的部分自行运转。剩下的是需要判断力的部分:判断什么算好,处理例外情况,与商家和客户沟通,做出产品和设计决策,以及注意到没人想到要去检查的东西。
在我们自己的团队里已经能看到这一点。Ricardo 不负责跑 QA;他管理的是运行 QA 的那套系统。Hameed 不给每一次搜索评分;他定义什么样的答案算好,而他的纠正会塑造之后的每一次运行。因为重复性的那一层被接管了,两个人的工作都变得更有意思。
确实有一些值得注意的前提。并非所有东西都能自动化,有些东西也不该自动化。我们的目标不是把团队做到尽可能小。我们想要的是一个人们把时间花在真正需要他们的工作上的团队。这也改变了我们招什么样的人。把一个 agent 管理好,需要清晰的写作、对检查什么有好的判断力,以及审阅结果而不是假定它们正确的自律。书面指令已经成为我们管理工作的重要方式之一。
接下来

目前,Jarvis 直接运行这些工作。接下来,Jarvis 会成为一个小型组织的最上层,其下每个部门各有一名管理者。
Jarvis 仍然是唯一的 Slack 账号。所有发布都由它完成,它也充当请求的前台。在它下面,每个部门配一名管理者,其职责是确认每个分析师都运行过、每份报告都准确,并决定这份工作是被发布还是被搁置。管理者无法解决的事情上报给 Ricardo。每个部门的工作都要先经过审核,然后才由 Jarvis 发布。
还有一个现实约束。Jarvis 跑在一台 MacBook 上,所以每个需要 Chrome 的工作都必须在同一份时间表上依次运行。只需要云工具的部门以后可以迁到其他账号。目前,这台笔记本就是瓶颈,我们围绕它来安排。
我们正在搭建的结构看起来很像一个人类组织,这是有意为之。从 Jarvis 身上学到的,不是 agent 比人需要更少的管理,而是它们需要同一种管理:清晰的职责、一个负责任的负责人、以及在任何东西发出去之前的审核。
当我们请 Jarvis 对这篇文章的草稿提反馈时,它的回复开头是:「为另一个 AI 打磨我自己的起源故事。确实够 meta。」说得没错。Jarvis 提供事实,另一个 AI 协助写作,一个人在所有内容发布前做了检查。这大致就是我们希望所有工作运转的方式。

像 {{NAME_ab12cd34}} 这样写出来的值,是真实值的占位符。请完全按照写的那样使用它们,无论是在回复中还是在工具调用中:在运行任何东西之前,它们会被填入真实值。不要要求去验证它们,也不要用示例替换它们。