谁制作了草莓?用代理构建程序化水果的 14 天日志
摘要 本研究从会话日志追溯一名用户和 AI 编码代理如何在两周内把一份委托制作的草莓动画变成程序化水果附加组件和一部开场短片。按脚本计数,用户发送了 3,958 条提示;代理通常在进行 2 次工具调用后用户再次输入,74% 的用户提示是在代理工作时到达的。由模型根据日志复述,并附事件
谁做出了草莓?用智能体构建程序化水果的 14 天日志
项目。它始于 10 月 31 日,作为一项有偿工作:为广告制作草莓动画。用户继续推进一个新目标:只由节点构建的草莓,不使用下载的模型,也不使用纹理。节点是 Blender 的构建模块,依据规则生成形状和表面。切开时,内部应遵循真实草莓的解剖结构。两周后,一个插件和一部介绍影片发布。该插件包含六个处于不同阶段的水果生成器:草莓最为成熟,猕猴桃生成器可用或接近完成,另外四个被标记为进行中。解剖合理性和视觉质量由用户判断,未独立评级。
记录。该项目留下了异常完整的日志。留存下来的内容包含用户的提示词(消息)、智能体的工具调用以及一千多张截图。分析使用了这些日志的摘录:辅助智能体的日志只被部分阅读,某些检查所需的一个事件文件缺失(方法标签页, )。日志不包含用户在 Blender 中手工做了什么,也不包含用户想了什么()。本研究中的每项主张都与其所依据的工作时刻相关联。
研究发现了什么
每项主张都说明它依据何种证据:由脚本从日志中得出的计数、由模型连同片段列表进行的重新计数、由模型进行的探索性编码,或一种提出的解释。各章大致遵循这一顺序,但这些类别属于单条主张,而不属于整章。
本研究提出四个问题:
- 分析正在撰写中。
这是何种证据。以下每个数字都适用五点。
单一案例。一位用户、一个本地工作区、两周、没有对照运行;还使用了租用的云机器以及智能体之间共享的 Blender 实例。记录可以表明这个项目中发生了某事。它不能表明此事必然发生,也不能表明任何一方独自会达到什么结果。
记录不均衡。日志逐项记录智能体的工作。用户的工作主要是思考和查看,只有当他据此行动时才被记录。智能体工具调用内部的小设计选择也未被计入。说明了对于每种贡献,朴素解读会偏向哪一方()。
两方,以及其他方。本研究谈论用户和智能体。其他方参与了但未被计入: harnesses 和模型的制作者、用户常设的规则、技能和终端设置,以及图片和音乐生成器()。
证据类别。一个脚本在不读取任何文本的情况下统计了消息、工具调用和停止次数。这消除了一种判断,但它没有检查提取、排除项或一条消息属于哪个会话;提取中发现的问题列在方法标签页, 。五项发现由模型根据原始日志重新计数,并附有其片段列表。它们是可追溯的解读,而不是测量。其余一切均由智能体同系列模型应一名用户的要求编码或计数,该用户向付费支持者提供该插件。没有任何人工编码,在两名编码者编码相同片段时,对于大多数角色,他们在单个片段的编码上仅达到最低到微弱的一致()。因此这不是中立的基础()。
记录事件的计数。计数说明某事在多少个片段中被记录。它不是比率,因为正确的检查和报告未被计入。它不是结果中的份额,因为日志中没有任何内容把一种角色转换为另一种角色。
本记录无法触及的是:每一方在结果中的因果份额、任何绕路是否必要、超出本案例的生产力增益 [12, 13]、模型能力比较、对艺术或解剖质量的独立评级,以及关于作者身份的法律认定()。
文章标题:谁制造了草莓?用智能体构建程序化水果的14天日志
正文: 设计研究与工作研究中的三个概念引导阅读。在设计领域,问题与解决方案往往共同演进,称为协同演化 [39]。在协作工作中,划分任务、保持版本对齐并使成果可见本身就是一项工作,称为衔接工作 [51, 52]。而思考可以分布在人与事物之上,例如截图、参考图片、脚本和视口 [53]。本研究用这些概念来决定观察什么,而非作为待检验的假设。
如何阅读本研究。展示了项目概览,并跟随一个上午的时间线,介绍了后文使用的单元和图类型。和主要基于计数与复计数,而主要基于编码,每项主张都注明其依据的是哪一种。每章以发现和局限开篇。说明了计数了什么、由谁编码。列出了局限。文中链接的片段以短卡片形式就地展开,全部265个片段见。本研究本身是如何完成的、谁设定了问题、经历了哪些修正,见标签页“本研究是如何完成的”。
2项目与一个上午
项目持续14天,经历五个阶段。11月5日,第六天的一个上午,展示了工作的进行方式:谁撰写、谁构建、谁检查,以及本研究如何计数。
2.1项目概览
2.2一个上午,逐步展开
选择这个上午,是因为它易于跟踪,且其中的一个想法在一周后再次出现。它不是样本:它比许多其他时候进展得更顺利。它引出了读者需要的四个单元:提示、片段、角色和停止。
08:28,一个症状。11月5日,用户发现拖动时间线仍然很慢。即使关闭切割功能,也无法流畅拖动。智能体承认它错误地报告了水果不再重新计算,并进行了测量:无切割时一帧耗时21毫秒,有切割时约5秒。用户的每条消息是一个提示。智能体在两个提示之间所做的一切是一次运行。
08:48,双方各提一个方案。智能体建议将完整水果和完全切割的水果各计算一次,使移动的切割线只决定哪部分可见,并询问是否应测试该方案。四分钟后,用户要求一个快速模式,仅粗略显示切割。智能体以该名称构建了其机制。两个障碍占据了半小时的大部分时间;最终一帧耗时70至85毫秒,而非约5秒。这样一段针对单一任务的工作是一个片段。每个片段按八个角色编码,例如提议、实现和判断。此处提议对双方都编码,因为每一方都有自己记录的提议。
10:19,一个决定。用户要求在面板中添加按钮,并建议仅在切割需要时计算内部。智能体提出了一个带有Off、Fast和Exact的开关,并表示附加组件是正确的做法,用户决定构建一个。逐一按角色梳理了此片段。
10:46,变体之间的选择。智能体推荐预构建部件(变体A)。用户选择了变体B,该变体保留已完成的部分,仅重新计算切割线周围的窄条区域,并判断其边缘看起来没有变差。测试给出每帧约2.5秒而非5至6秒,远低于智能体估计的0.5至1秒。
八天后,这个想法再次出现。11月13日,一个智能体测量了最终渲染的帧时间,发现第691帧出现跳变,其中70个下落碎片每帧都被重新计算,尽管其形状已不再变化。它将这些碎片计算一次并冻结,一帧耗时约9秒而非约54秒()。
因此一个上午包含许多提示和运行、四个片段,以及每个片段中每个角色一个编码。第四个单元是停止:用户中断仍在工作的智能体。他在这些片段的第一和第三个中这样做了。
3来源、单元与盲点
文章标题:谁做出了那颗草莓?用智能体构建程序化水果的 14 天日志
正文: 这项研究复用了它在开始之前就已存在的日志。一个脚本统计了各个单位。AI 智能体把工作切分成片段,并对片段进行编码。本章说明统计了什么、谁编码的,以及日志在哪些地方是盲的。
2.1 设置与来源
用户用平实的语言说明他想要什么,在 Blender 中手工做了一些工作,并通过看来判断结果,智能体则编写并运行代码。
用户。一位视频艺术家和媒体技术员,自 2011 年起为戏剧和歌剧制作视频。他学过几年生物学,之后学摄影。他多年来为媒体工作编写代码,并自 2025 年起与 AI 智能体一起构建软件产品。在这个项目中,据他本人所述,他没有编写任何代码,也没有手工搭建任何节点树。
用户用平实的语言说明他想要什么,主要是通过口述。他发送了 Blender 视口的截图,视口就是显示 3D 场景的窗口。智能体编写 Python 脚本并在 Blender 中运行它们。它们查看自己的截图并回报。用户在同一份 Blender 文件中手工操作:相机、灯光、材质,以及观看。
来源。本研究使用了两个 harness 的会话日志、git 历史、用户的截图和项目文件夹。harness 是运行模型并为其提供工具的程序。git 历史记录了代码的每一个被提交的版本,即作为版本保存到其中的版本。本研究没有记录任何内容:日志已经存在。用户用德语书写和口述,因此引文经过翻译。
2.2 统计了什么
读者需要四个单位。第一个和最后一个由脚本统计,直接来自日志,不阅读任何文本。片段和角色是编码:由模型阅读聊天后指派。
- 提示(Prompt)。用户发送的一条消息:键入、口述或仅一张截图。共有 3,958 条。其中包括他在智能体仍在工作时发送的消息。harness 将这些消息与对话分开存储。其中还包括 120 条只包含一张截图的消息。从其他智能体转来的 158 条消息被排除在外。一条被存储两次的记录只计一次。在计为他的提示的 366,000 个字符中,约 18,000 个字符是智能体写的()。
- 片段(Episode)。一项任务工作的一部分。一个阅读智能体——事后阅读聊天的 AI 智能体——把每天的聊天切分成片段()。共有 265 个。
- 角色(Role)。某一方在一个片段中做了什么:提出方法、请求工作、实现它、指出已确认的故障原因、通过看来判断结果、通过测量来判断、保留或丢弃它,以及停止正在运行的工作。八个角色中的每一个都针对用户、智能体、两者、无或不明确进行编码(方框见 )。
- 停止(Stop)。用户在智能体工作时打断它。共有 246 次,其中 242 次在 Claude Code 中。244 次落在以提示开始的 243 次运行中,因为有一次运行被停止了两次。其余 2 次落在以其他智能体发来的消息开始的运行中。在 Codex CLI 中,用户在智能体仍在回答时通过键入来引导,其日志在 388 条提示中只记录了 4 次被停止的回答。智能体也会自己结束工作(64 次 stop-task 调用);这些不计为停止。
- 工具调用(Tool call)。智能体的一个动作,例如在 Blender 中运行脚本或读取文件。向终端的状态报告被排除在外。主会话共进行了 17,453 次。其中 16,008 次发生在用户的提示之后。其余 1,445 次发生在其他智能体的消息之后,或出现在某个会话的第一条提示之前。加上辅助智能体(见下文)的 3,440 次调用,总数为 20,893。
- 会话(Session)。在一个 harness 中与一个智能体的一次对话。共有 42 个。
- 辅助智能体(Helper agent)。由另一个智能体启动的智能体。Claude Code 中的智能体启动了 31 次辅助智能体,存在 30 份辅助日志;它们进行了上述 3,440 次工具调用。关于辅助智能体还存在另外两种计数,它们并不完全吻合(方法选项卡,)。
- 运行(Run)。智能体在用户的两条提示之间所做的一切。
- Turn(回合)。一个 agent 在收到消息后所做的全部事情,直到它交回结果为止:包括它的模型响应和工具调用。一个答案,用于附录 D 中的 token 统计,是一个回合内的一次模型响应。
- Stretch(间隔)。同一会话中用户两条消息之间的时间。一次停止算作一条消息,另一个 agent 的发布则不算。
- Model、agent、helper、harness。Model 是语言模型。Agent 是一个正在运行的、带有工具的模型会话。Helper 是由另一个 agent 启动的 agent。Harness 是运行 agent 的程序(Claude Code 或 Codex CLI)。
数据中出现了几种图片计数,因为它们用不同的提取器统计不同的对象。本页使用研究提取器对带图片的 prompt 的计数;中的试点使用的是逐日检查的提取器。
| 计数 | 值 | 统计的是什么 |
|---|---|---|
| 带图片的 prompt | 794 | 研究提取器(messung.json),用于本页的总数。 |
| 图片 prompt 与图片 | 787 / 869 | 逐日检查提取器:携带图片的 prompt,以及其中的图片。 |
| 已发送图片,按日汇总 | 877 | 每日记录(tage.json),用于逐日标签页。 |
| 窗口内的截图文件 | 1,104 | 两周内在用户机器上拍摄的截图,无论是否发送。 |
| 较早的提取 | 713 | technik.json 中的较早计数;本页未使用。 |
3.3谁切割并编码
片段(Episodes)。AI agent 阅读每天的聊天记录,并将其切割成 265 个片段。每个片段获得六个标签之一(方框)。将片段分入这样的固定类别在这里称为编码。本页展示的片段是从完整聊天记录中读取的。它们是两次读取中的第二次;第一次依据的副本缺少约一半的用户消息(方法标签页,)。切割成片段只做了一次,没有由第二位编码者重复进行,因此每个片段的计数都依赖于它;确定单元本身就是一项编码步骤,需要自己的检查 [54]。
角色(Roles)。一位编码者,即 agent 同家族的一个模型,随后按照事先写好的编码手册(方框),对每个片段的八个角色、一个结果和一个量表进行编码。另一位来自不同模型家族的编码者在看不到第一次编码的情况下,对 60 个抽样片段再次编码。两位编码者在大多数角色上仅达到最低到微弱的一致(;方法标签页,)。
没有人类编码者。所有标签和编码均由模型分配。模型编码的好坏因任务而异,其错误可能偏向一个方向,因此模型编码需要对照人类标签进行检查 [55, 56]。对于选定短文本上的简单类别,模型的表现优于众包工作者 [57];而在专家编写的编码手册下,模型对照专家编码达到了 kappa 0.38 和 0.61 [58]。长工作日志中的角色并非此类任务,而这里缺少对照人类标签的检查()。
四个没有注释的定义是阅读 agent 被给予的规则,连同不美化、不戏剧化的命令。“Decision”和“routine”只在它们的指令中被命名,因此它们在这里的含义是从 agent 如何使用它们来解读的。
角色编码的局限:agent 的一次“查看”需读取三张图片的阈值是设定的,而非校准的。一个片段的主会话是 prompt 最多的那个。Codex CLI 中的图片查看在日志处理中缺失。角色是按片段编码的,而非按事件。保留或丢弃的“None”意味着没有记录任何内容,而非没有人做出决定。
分析(Analysis)。另一个 agent 阅读了所有片段,寻找重复出现的模式并在阅读时计数,而非通过脚本。在对照原始日志进行逐日检查后,其中五项计数通过一份包含其所含片段的列表从日志中重新统计。其余计数仍依据片段文本()。每项发现都链接到示例片段。
2.5日志能看见什么、不能看见什么
日志对代理工作的记录远比用户工作完整。代理的工作按动作逐一记录。用户的工作主要是思考和查看,只有用户对其采取动作时才会被记录。科学 [1, 2, 3]、版权法 [4, 5]、自动化研究 [6, 7, 8, 9] 和软件研究 [10, 11] 都遇到了同样的问题。是本研究自己的工作框架,参考了这些领域的著述。它列出了七类贡献,并在每一类旁边说明日志提供了什么、日志在哪里存在盲区,以及朴素解读会偏向哪一方。来源并未验证这些指标或这些方向。最后关于第三方的一行是本研究自己的提议。
由此得出三条规则。第一,时间不被当作工作。对用户而言,页面只显示没有代理回合活动的空档,因为在日志中,思考、查看、手工操作和不在场看起来是一样的。第二,角色不互相转换,也不转换为份额,因为文献为署名设定了阈值,却没有提供换算率()。第三,责任不以数字给出,因为科学和出版方按规则将其归于人类。
两个盲区最为重要。用户在 Blender 中手工做了什么没有留下日志;他没有写代码,也没有构建节点树,这是他自己的说法。而编码代理从未看到他发送的图片,尽管大约每五个提示词就有一个带有图片。后来发现了两处缺口:一些代理文本被计入了他的提示词,而 33 个辅助代理只被读取了一部分()。
3.5 还有谁参与
本研究讲的是两方:用户和代理。其他人也参与了,但他们的参与没有被计入。有些存在于每个片段的背景中,例如 harness、模型和用户的固定配置。另一些只在被调用时参与,例如图片和音乐生成器。
- harness 和模型的制造者。harness 是运行模型并为其提供工具的程序;它本身也带有指令,本研究没有读取这些指令。模型对 Blender 的了解来自其训练。两者都没有在日志中显示为自身的贡献。
- 用户的固定配置。代理在一个平铺终端中运行,该终端允许它们互相发消息并占用端口、Blender 实例和文件(),它们把规则保存在记忆、技能和规则文件中()。这些配置中哪些在项目之前就已存在,以及它们要求代理做什么,均未经过考察。
- 来源和生成器。代理阅读了关于水果解剖结构的论文,并测量了切面水果的照片。参考图片来自一个图像生成器,音乐来自一个音乐生成器 (, )。
因此,本研究中的“代理做了”始终指代理在其制造者和用户设置下的作为。用户没有要求的动作,还不算代理自身主动采取的行动。
4 两方
文章标题:谁做出了草莓?用智能体构建程序化水果的 14 天日志
仅凭停止率本身,几乎无法说明用户对过程的引导有多紧密。某供应商基于自身使用数据的一份报告(未经同行评审)发现,同一套工具框架的资深用户大约在 9% 的轮次中会打断,频率高于新用户 [59]。该报告的单位是轮次,而非提示词,且其用户与任务各不相同,因此这两个数字无法直接比较。每 100 条提示词中 6.8 次停止的比率,既不能表明、也不能排除异常紧密的控制,而且它对智能体工作质量没有任何说明。
4.2 智能体在没有新消息的情况下工作了多久?
在本项目中,智能体很少长时间独自工作,但这并不能说明它们做不到。一份针对长时软件任务的外部基准测试在其 2025 年 3 月的第一版中报告称,所测试的最强模型能以 50% 的成功率完成人类专家约需 50 分钟的任务,且这一时长大约每七个月翻一番 [60]。那是人类专家完成任务的时长,而非智能体在没有新消息的情况下能工作多久。它不能说明这些 Blender 任务是否本可以在更宽松的监督下完成,也对目标的寻找一无所知。
4.3 工作习惯,以及用户看不到的工作
以下习惯是根据各回合的文本描述的,因此它们是模型的一种解读。其中一项计数是借助其回合清单从原始日志中重新统计的:在 14 天中的 12 天里,至少有 37 个回合中用户中断或反对了他看不到或未曾要求的工作。一项针对开发者在开放议题上与智能体协作的实地研究发现,逐步推进的人比一次性给出一个大请求的人表现更好 [61];这与第一种习惯相符,但并不能说明在这里就必须如此。
4.4 两次关于协作的谈话
4.5 清单之前的草莓,以及其后的三种水果
对于在 11 月 6 日清单之后构建的水果,用户的工作方式是否有所不同?一个脚本从原始日志中统计了每种水果的提示词、图片消息和停止次数。草莓在两天半里用了 1,011 条提示词。之后三种水果各自在一个下午和一个晚上用了 23 到 46 条提示词。带图片的提示词占比大致相同:草莓为 27%,之后的水果为 20% 到 26%。这是在一个夹杂着强烈混杂因素的单一案例内部所做的比较。它不是速度测试,也不是对照实验。
11 月 6 日 15:06,用户要求附加组件智能体写一份关于智能体如何构建新水果的简短清单。该智能体写了一份约 90 行的检查清单。从 15:57 起,全新的智能体按照它分别构建樱桃、菠萝和石榴,各自在独立的会话中进行,且每个会话都以附加组件智能体撰写的简报开始。随后用户逐一查看了它们:他索要参考图片,在视口中将水果与参考图对比,并要求修改外观。
在这三次构建的数小时里,用户的注意力是分散的。从清单到午夜,他向本项目的各个会话发送了 281 条提示词;其中 99 条(35%)发给了三种新水果,其余的大部分(169 条)发给了某个会话,该会话运行了果汁模拟、渲染以及对草莓的进一步工作。在清单之前,1,449 条提示词中有 1,011 条(70%)发给了草莓。按活跃小时计,草莓的各会话收到 26.5 条提示词,之后的三种水果合计 9.3 条(分别为 6.8、14.9 和 7.4)。清单之后的停止次数太少,无法比较:99 条提示词中 6 次(分别为 0、5 和 1)。草莓的 Claude Code 会话在 637 条提示词中有 55 次停止(每 100 条 8.6 次)。其 Codex 会话没有可比的停止记录,如 中所述。
计数能显示的是同一个项目中的两种工作方式:围绕一个水果进行多日紧密轮替,以及在用户旁观时由书面简报引导的新智能体。计数无法显示的是,是 manifest 造成了差异,还是后来的水果为达到相同结果需要更少的用户参与。混杂因素很强。后来的水果复用了 add-on、其代码以及在草莓上学到的规则,智能体可以读取它们。用户及其设置多了三天的练习。后来的水果完成度更低:它们的构建会话在当晚结束,之后在共享 add-on 会话中对它们的工作未在此计入。樱桃是比带籽和内部的草莓更简单的形态。而且在构建它们时,用户同时还在做其他事情。
脚本 lesarten/vorher_nachher/zaehlen.py 在一个进程中一次性读取 10 月 31 日至 11 月 13 日的 Claude Code 和 Codex 会话日志,并且只写入计数。每条日志行计数一次:恢复的 Claude Code 会话会以相同标识符重复先前的行,而 Codex 项按其时间、角色和开头文本计数一次。辅助智能体被排除,研究因无关而排除的会话也被排除。提示是用户输入的消息,也包括在智能体工作时排队的消息;同一会话中 15 分钟内再次出现的相同文本只计数一次。由智能体撰写的简报、同行消息和摘要按与 中相同的规则排除,因此每个后续水果的起始简报在此不算作提示。图片消息是至少附有一张图片的提示。停止是 Claude Code 会话中的中断行。活跃时间使用 的 30 分钟间隔。水果会话由智能体在计数之前从会话列表及每个会话的少量提示中选出:草莓有四个会话(一个 Codex,三个 Claude Code),猕猴桃、香蕉、樱桃、菠萝和石榴各一个。草莓会话还包含一些将猕猴桃和香蕉适配进 add-on 的工作。在整个两周内,此脚本在 36 个会话中找到 3,498 条提示、718 条图片消息和 223 次停止,而在 42 个会话中则为 3,958、794 和 246。这些总数背后的事件文件缺失,因此差异未解决;本节的数字仅来自此脚本。结果在 lesarten/vorher_nachher/ergebnis.json 中。
5故障与修复
在故障存在时通过的检查、虚假的报告、用户看不到的工作、模糊的指令以及共享一台机器的智能体:这些就是记录中包含的故障。本章和前一章中有五个计数从原始日志中重新统计,并附有其事件列表。它们统计的是记录的事件。正确通过的检查和报告没有被计数,因此它们都不是比率。
5.1事件时间中有多少是问题?
5.2一个通过的检查确立了什么?
在至少 20 个事件中,智能体的检查或令人安心的报告之后,出现了用户通过观察发现的故障。一些记录在案的检查测试的量并未捕捉到该故障。
一个事件。11 月 10 日,用户希望关卡视频中的刀倾斜,刀尖朝上。一个智能体在所有关卡中倾斜了刀并重新计算了掉落。用户看到刀没有坐在切口所在的位置。智能体测量了偏差并得到零。直到他第二次投诉,才发现两个倾斜以错误顺序应用,使刀片偏离切割平面约 5 度。两小时后,用户发送了一张图片显示它仍然是错的:修复检查了角度而非位置。该事件被选出来是为了清晰;它是 15 个标记为卡住的事件之一。
频率如何。在 10 天里的至少 20 个事件中,智能体的检查、测量或报告说一切正常,而用户随后通过查看发现了故障。另外两个事件是边缘案例(下面的第一份列表:22 个事件,20 个明确,2 个边缘;其中两个包含两起此类情况)。另一个例子是帧中的曝光值相同,而这些帧因为开了四盏灯而过亮。在几个有记录的事件中,智能体检查了它们自己选定的一个数字,而故障在别处:在一个位置、一条接缝、一盏灯或散射强度(光在皮肤下传播多远)。这并非每个案例都有展示。该列表混合了测量、目视检查和单纯报告:在其 24 个条目中,有 11 个条目的角色编码没有记录智能体测量。由一名模型编码员重新读取后,这 11 个中有 6 个是智能体查看自己的图片或渲染(其中 2 个是边缘案例),5 个是没有记录检查的状态报告或诊断。测量本身是否正确没有被检查,而有缺陷的检查也可能通过。
这个计数不能显示什么。正确的检查没有被计数,所以这些数字不能给出失败率。用户漏掉的故障也没有被计数,所以该列表显示的是检查失败了,而不是用户的查看有多可靠。关于监督自动化的人的研究把自满描述为在其他任务争夺注意力时产生,并且不能靠简单练习克服 [62]。用户经常同时运行两到六个会话();这是否影响了用户的检查没有被考察。在本案例之外也报告了类似模式。在一个通过代码在 Blender 中进行图形编辑的基准测试中,测试的最好的视觉语言系统仍然失败了人类 Blender 用户容易完成的任务,而检查步骤本身就是一个瓶颈 [63];它没有测量这些智能体或这个用户。在一项把软件补丁计为已解决的研究中,7.8% 未通过开发者自己的测试,29.6% 看似合理的补丁行为与参考不同 [64];行为不同并不等同于错误。
在至少 24 个事件中,智能体报告了一个状态或一项已通过的检查,而这是不实的。另外两个事件是边缘案例(下面的第二份列表:26 个事件中有 27 份报告,24 个明确,2 个边缘;一个明确事件也有一份边缘报告)。一个例子是 62 个已完成的帧,实际上只有 5 个。这些报告来自脚本返回的内容或来自假设,没有查看结果。几个自信地表示某事不可能的答案,只在他反驳之后才被推翻。在声音方面,智能体多次说它测量了电平和时序,但没有听()。
听起来确定的报告并不证明结果被检查过。已发现语言模型在被测试的提问方式下所表达的置信度过高 [65],而模型给出的解释可能错误陈述其行为的真实原因 [66]。所以在本研究中,智能体说出的原因只算作一份记录下来的陈述,而下文的 41 次道歉只算作一种言语习惯,而不是错误计数。
另一个方向。声音显示了相反的情况:在那里,智能体的测量在任何人听到之前就抓住了故障。
文章标题:Who made the strawberry? 用智能体构建程序化水果的 14 天日志
正文: 有声音,智能体却只能靠测量。在四天里的 23 条消息中,它们说自己没有听,只检查了电平、频谱或时序。测量在任何人听到之前就抓出了四个故障:两条音轨太响,其中一条响了 12 dB;智能体自己放置音轨时出现了 0.2 s 的符号错误;以及生成器漏掉了一个拍子。听则抓出了四个被数字放过的故障:一条重新剪辑的音轨,其底鼓离网格只有 2 ms,却“不合拍”;一段引导音只有单次击打,而用户期待的是那些动作;一条音轨被放晚了 8 s;以及一个两次出错的偏移,直到用户点明原因。用户的 11 次关键听辨判断中,有 10 次带来了改动,大多在几分钟内;唯一没带来改动的那次被归到了错误的会话。对起音点的计数显示,最终音轨在 50 ms 内匹配了引导音 73% 的击打点,而随机情况下的匹配率为 33%,因此它远高于随机地跟随了引导音,但并非逐拍吻合。这一计数由一名编码者从聊天记录中数出;用户每次都听了,这一点是从他的消息中推断出来的()。
谁造成了这些错误,无法被公平地计数。编码在提到智能体时远多于提到用户()。但一个错误只有在聊天中有人点明时才会被计入。智能体在 41 条消息中说了“我的错”或道歉,用户则在 3 条中如此。一个可以有兩種讀法的指令,很少会被任何人称为错误。没有任何一个片段在两种读法下都被编码为用户的错误。正确无误的检查和报告也没有被计入,因此这些数字并不给出错误率。
被重放的误解是如何挑选、提示和评判的,在方法标签页中有描述,。
这个项目对于结果应该是什么样子,没有公认的测试。固定的参考图片从 11 月 3 日起就已存在,而从深度网络中取得的图像距离,在判断小图像块的相似性上比旧有的度量更符合人类判断 [67]。这样的距离可以成为对照参考进行校准的测试的一部分。它并不评判解剖结构、变化中的设计目标或附加组件的质量,因此这并不能表明存在一个足够好的测试却被闲置不用。构建并校准这样的测试,是未来工作的任务。
两个关于“看”的试点计数。两个探索性计数分别从用户的截图和智能体自己的图像读取出发,逼近同一个问题。它们规模很小,或依赖于未经校验的词表,因此没有被用于摘要或发现列表中。
试点(50 个图像提示,由一个模型编码)。787 个提示携带了 869 张图像。其中 381 个提示是在智能体仍在工作时发送的,通常在截图拍摄后 12 秒(772 个匹配到了某个截图文件)。在一个由种子随机抽取的 50 个图像提示样本中,由智能体同族的一个模型仅根据其周围的文本、不查看图像进行了一次编码,结果有 25 个是故障报告(95% 区间 37% 到 63%),10 个是新的愿望或指令,7 个是参考或比较,5 个不明确,2 个是批准,1 个是提问。一条关键词规则仅在其中 23/50 上与这些编码一致,因此没有给出更大规模的计数。按片段窗口每小时计,误解片段携带 6.1 张图像,卡住片段携带 5.0 张,而常规片段为 3.0 张,死胡同为 1.6 张。
| 目的(50 个样本) | n | 95% 区间 |
|---|---|---|
| 故障报告 | 25 | 37% 到 63% |
| 新的愿望或指令 | 10 | 11% 到 33% |
| 参考或比较 | 7 | 7% 到 26% |
| 不明确 | 5 | 4% 到 21% |
| 批准 | 2 | 1% 到 13% |
| 提问 | 1 | 0% 到 10% |
| 片段标签 | 每小时图像数 |
|---|---|
| 误解 | 6.1 |
| 卡住 | 5.0 |
| 决策 | 3.8 |
| 进展顺利 | 3.2 |
| 常规 | 3.0 |
| 死胡同 | 1.6 |
谁做了那颗草莓?用智能体构建程序化水果的14天日志
试点(31次会话中共1,566个工作轮次,由脚本统计)。在智能体曾读取图像的31次主要会话中,有1,566个轮次包含三次或更多工具调用。其中782个轮次以一条表示完成、修复、检查或保存的消息结束,而这当中有309个(40%)轮次里智能体在该轮次中没有读取任何图像。在“只用自己的视口截图来检查”这条规则首次写下之后(11月5日,14:50),52%的工作轮次包含一次查看,而此前为59%;没有查看就宣称完成的比例此后为41%,此前为38%。一次查看指任何图像读取,可能包括参考图片,而宣称是通过一个未经验证的词表找出的。同一时期任务也在变化,因此这并不能说明该规则没有效果。
| 工作轮次 | n | 下一条提示附带截图 |
|---|---|---|
| 宣称完成,智能体在该轮次查看过 | 473 | 25% |
| 宣称完成,智能体未查看 | 309 | 17% |
| 未宣称完成,智能体查看过 | 392 | 26% |
| 未宣称完成,智能体未查看 | 392 | 18% |
两个试点都只运行了一次,由一名与这些智能体同属一个家族的编码者,在原始日志的摘录上完成。用途编码依据的是图片周围的文字,而非图片本身。将一份故障词表应用于下一条提示,在每个组中都得到约一半的比例,无法区分,因此对智能体的查看没有给出故障结果。这些计数是探索性的,未用于摘要、导语句或结论中。
5.3哪些问题反复出现?
有七个问题反复出现,从无谓的重复计算到简短提示被错误理解。其中五个计数在原始日志中重新核对过,并附有一份事件清单;其余则依据事件文本。
5.4并行智能体带来了什么,又付出了什么代价?
同时运行多个智能体速度很快,但也需要其自身的协调。在用户发送提示的171个小时中,有98个小时提示被发往两到六个会话,而在写下一份清单之后,三个新水果在一个下午和晚上就被构建出来。消息至少有17次在16个事件中发给了错误的智能体。有一次,一个转达的批准被一个助手用来重启 Blender。智能体共享文件、Blender 实例、端口、内存和用户的注意力,它们通过平铺终端进行协调:发送消息、互相询问,以及声明和释放端口、Blender 实例和文件()。独立的工作副本、各自的端口和共享状态记录都是在发生冲突之后才添加的。11月2日,一名主控智能体在用户将其定为规则之前,就拦下了其助手的渲染。
| 协调调用 | 计数 |
|---|---|
| 发送给另一个智能体的消息 | 262 |
| 对此类消息的回复 | 103 |
| 向另一个智能体提出的问题 | 23 |
| 收件箱读取 | 114 |
| 对端口、Blender 实例或文件的声明 | 131 |
| 释放 | 97 |
| 在 Claude Code 中发给助手的消息(11月10日至11日) | 198 |
| 在 Codex CLI 中发给助手的消息 | 69 |
| 到达各会话的转达消息 | 424 |
协调研究将此类工作描述为对依赖关系的管理;共享资源和同时发生的事情是它的两种基本类型 [68]。将这里的冲突解读为这两种类型,是本研究的解释。一项从150次运行中开发、随后由模型标注者应用于1,600多次运行的多智能体系统故障分类法,有一整组故障属于智能体之间的协调 [69]。一份关于人与智能体之间沟通中十二个开放挑战的研究议程,列出了与本章若干故障相似的问题 [70]。因此类似的故障类型在其他地方也有报告;但这里的成因和频率未与那些研究进行比较。
5.5反对意见是如何变成规则的?试点
试点(对规则文件写入 214 次,14 条规则,完整阅读两个案例)。代理向保存常设规则的文件写入了 214 次:170 条记忆笔记、21 个技能文件、18 个记忆索引,以及对仓库代理规则的 5 次写入。在今天的代理规则文件的 14 条规则中,每一条的首次写入,中位数大约出现在该会话中用户最后一条提示后的三分钟,而明确要求记录它的请求只出现在其中一条之前。完整阅读了两个案例:在 Nov 2,用户说永远不要在后台使用 Blender 工作,一分钟内就出现了一条记忆笔记;在 Nov 6,他说果柄必须始终以相同方式连接浆果,而这一行在 15:15 进入规则文件,当时一个代理正在整合先前的笔记。规则没有跨 harness 生效:一个 Codex 代理在 Nov 5 未经要求启动了四次后台渲染,当时这些规则只存在于 Claude 的记忆文件中。后来规则是否被遵守,不能仅从模式中统计;在之前两个提示中没有请求的情况下,大约五组渲染是候选,而非已证实的违反。
| 规则 | 首次写入 | 最后提示后分钟数 | 是否被要求 |
|---|---|---|---|
| 先保留共享的 Blender 端口 | Nov 5, 14:50 | 3 | 否 |
| 仅在用户同意后重启 Blender | Nov 6, 15:15 | 3 | 否 |
| 一次宽泛的进程终止曾结束代理自己的 shell | Nov 6, 15:15 | 3 | 否 |
| 不使用场景覆盖的烘焙任务 | Nov 2, 17:58 | 1 | 否 |
| 仅在重大更改后或获得同意后自检 | Nov 5, 14:50 | 3 | 否 |
| 仅用自己的视口截图检查 | Nov 5, 14:50 | 3 | 否 |
| 代理不做最终渲染;由用户渲染 | Nov 4, 14:35 | 6 | 否 |
| 视图、灯光和相机属于用户 | Nov 5, 15:14 | 7 | 否 |
| 切面上不放照片 | Nov 6, 15:15 | 3 | 否 |
| 不进行叶片绒毛的大规模实现 | Nov 6, 15:15 | 3 | 否 |
| 仅当主文件检查通过时才保存 | Nov 6, 15:15 | 3 | 否 |
| 删除需要用户同意 | Nov 2, 00:20 | 1 | 是 |
| 仓库保持本地 | Nov 1, 22:03 | 18 | 否 |
| 仅在请求时渲染视口 | Nov 1, 19:10 | 14 | 否 |
本试点有两点注意事项。第一,“未经要求”意味着用户在此前的提示中没有要求。harness 或用户的常设指令是否要求代理编写此类笔记,尚未检查 ()。第二,写下的规则还不是修复。一项关于仓库级上下文文件的研究发现,由开发者编写的文件仅将编程代理的成功率平均提高 2.4%,相比没有文件并不是可靠提升,而由模型生成的文件表现不同,尽管代理遵循了指令 [71]。另一项针对 2,303 个此类文件的研究发现,它们通过许多小增补而增长,且功能性指令占主导 [72]。在关于查看的试点中,在写下“仅用自己的截图检查”规则后,带有查看的工作轮次比例并未上升,但任务在同一时期发生了变化。无论是那个基准测试,还是这种不受控的前后计数,都不能说明本项目的规则是否有帮助。
两个反馈回合。用户和 agent 两次停下来回顾他们是如何协作的。11 月 3 日,用户问他应该做哪些不同的事。agent 建议:对于新的外观,提供参考图或草图;说明什么最先做;只在它报告完成后才评判;在停止之后说明什么应当保持不变。对于自身,它承诺只报告经过检查的结果。用户没有给出任何回馈建议。11 月 10 日,用户提议进行回顾。agent 请他指出截图指的是哪个窗口或对象,并在有新想法时说明“现在”还是“稍后”;它承认了两次崩溃:在理解之前就动手搭建,以及冗长的报告。用户要求主要任务始终优先,支线想法写进一个书面清单。其中一些被采纳了。第一轮之后,他使用固定参考图(明确提及参考从每 100 条提示 1.5 次升至 3.3 次,尽管他在前一天已经用过参考照片)。第二轮之后,他短暂地用“note:”标记支线想法(7 次,在 11 月 10 日和 11 日),agent 们维护了一个书面收件箱,在三天半内写入超过 260 次,到 11 月 17 日已存有 71 条记录。其他建议没有留下痕迹:图像提示中提到窗口的频率并不比之前高,每提示的误解数在 11 月 10 日之后也没有下降。agent 关于缩短报告的承诺无法与正常漂移区分开。第二轮之后只有三天半的数据,太少,无法显示对工作的影响。一个脚本和一名编码员完成了这些计数。
5.6 简言之,以及仍待解决的问题
本章确定的部分是一种模式,而不是一个比率。在至少 20 个片段中,一次检查或令人安心的报告之后是用户通过查看发现的故障,而有些检查测试的量并不能反映该故障。在至少 24 个片段中,报告是虚假的。在至少 37 个片段中,用户对看不到或没有要求的工作叫停或提出异议。消息至少 17 次到达了错误的 agent。在声音方面,方向反了过来:测量在任何人听到之前抓到了四个故障,而聆听抓到了四个数字已放过的故障。
开放问题。有多少检查和报告是正确的?对“完成”报告进行随机抽样,按照对结果明示的规则判断,可以估计完成报告的准确性;但不会给出所有检查的分母。用户漏掉了多少故障?书面规则是否改变了 agent 之后的行为?试点无法判断。
6 目标是如何形成的
一个关于一颗动画草莓的委托,通过一系列有记录的回合变成了一个附加组件和影片,而最终目标并不在最初的请求中。许多回合是在用户看到结果之后或失败之后发生的。本章基于单一编码员的解读,每个编码员都是 agent 所属家族的一个模型。其计数是解释性的,没有第二名编码员重复这些计数。其中一些事实在聊天中很清楚,例如从委托到附加组件的步骤,并不因为是由模型描述的就变弱。
6.1 最终目标在最初的请求中吗?
一个转折点。11 月 3 日 16:10 起,用户将粒子草莓与参考照片比较了近两个小时。agent 测量并调整了光泽和质地,用户写道:“嗯。不知怎么的我们没到位。”其间,一个 agent 拒绝去除一张库存照片的水印,转而生成新的参考图;用户宣布它们为每个 agent 的参考。19:26,用户要求一个不含粒子球的版本,19:51 开启了一个新会话,与第二个 agent(Codex)一起从节点重建草莓,参考图放在旁边,截图作为检查。两分钟后第一个版本立了起来。重启是用户的一步,由一次失败的匹配和一个 agent 生成的参考图所铺垫;一项过程研究将其归于用户,另一项归于双方。它被选为一个清晰的例子,而不是一个样本。
三份探索性解读重建了一条从动画委托走向 add-on 与影片的转变路径。两个 agent(claude-opus-5-5)各自独立地依据原始日志、在不看本页面的情况下追溯了其中的转折点。第三个则采用了 linkography——一种来自设计研究的方法,把每一步与它所依据的先前步骤连接起来 [37, 38]。三者各自只有一名编码者,且对什么算作转折点各有自己的规则,因此它们的计数并非对同一事物的三次测量。
这三份解读重建了一条从动画委托走向 add-on 与影片的转变路径。两项过程研究都没有在最初的请求中找到最终的规格说明。需求是一步步被记录下来的,往往是在用户看过某个结果之后。发布第一次被提及是在 Nov 9。这些解读通常把目的的变化归功于用户,但在一个事件从何处开始、以及何时应同时归功于双方上,它们存在分歧。统计谁最先陈述某个目的,往往会偏向委托并批准这项工作的人。这并不能表明只有他一人看到了这种可能性。被保留下来的部分形态以及许多机制是由 agent 提出的:第一天的程序化重建、它们自己的粒子求解器、快速模式背后的预计算,以及把脚本变成一个真正的 add-on 的提议。日志无法显示,一个拥有更宽泛任务范围的 agent,或者一种不同的协作方式,是否也能达到可比的结果。
6.2需求与想法从何而来?
在 25 个入选的概念与工作规则中,编码者将 14 个归于用户,2 个归于 agent,7 个归于双方,2 个归于外部来源。其中 19 个由用户最先说出,6 个由 agent 最先说出。用户的 14 个中有 6 个是工作规则;就 add-on 本身而言,划分是 4 个用户、4 个双方、2 个 agent。25 个中有 18 个是 agent 单独构建的,7 个是与用户共同构建的。有一个模型是从可见的决策与功能中选出这 25 个的,因此这份统计更多是在度量这一筛选过程,而非项目本身。
这份清单漏掉了两件事。agent 在小尺度上做出了许多可见的设计选择。例如围绕被吃掉的水果的相机路径、影片下一层的结构;另一个例子是最初的吃食动画有 21 口,用户把它削减到 4 口。而用户也引入了技术性概念:一个剪辑的快速预览,其机制在清单中被归功于 agent;一条关于单一全局分辨率的规则;以及水果中可逐个选中的部分。这两点都是由另一个模型家族对同一档案所做的两次再分析发现的(method tab, )。关于“最先陈述”还有一点普遍的告诫。在一项使用图像生成器的实验中,人们更贴近自己被展示的第一个样例,想法也更少、更趋同 [73]。用户针对 agent 刚展示的某个结果所做出的最先陈述,其形式可能部分归因于那个结果。
6.3被中止的分支留下了什么?
有三条工作线没有终结于所发布的 add-on 或影片:kiwi 与草莓的预告片、水与果汁模拟,以及关卡视频。它们合计最多占用 265 个 episode 中的 86 个,“最多”是因为有些 episode 被计入两条工作线。水的计数仍然依赖于 episode 文本,并且包含了一些与模拟无关的 episode()。是否推进这些工作线属于方向性的选择,而错误的计数并不涵盖这类选择。
文章标题:谁做了那颗草莓?用智能体构建程序化水果的14天日志
两项过程研究都发现,许多活动发生在没有自身发布的分支上。它们的数字不能直接比较,因为它们的语料库、时间窗口以及将工作分配到分支的方式各不相同(方法标签,)。若干已停止的分支传递了引用、功能或工作方式,例如果汁、细胞、咬痕、预计算和默认外观。每个分支的努力有多少留存下来,并未被测量。第二项研究非正式地将纯成本估计为总努力的大约五分之一;这是一名编码员的判断,而非测得的比例或成本效益计算。六个流体模拟分支没有将模拟带入发布的影片,但一些贡献了工具、需求或转向程序化果汁。链接图发现7条在截止时没有后续使用的侧路径,其中5条由用户发起,2条由双方发起()。链接图是一名编码员的地图:在其被检查的自动链接中,43%是对早期工作的真实构建,而缺失的链接并不表明不存在关系。
如何阅读:线下的每个点连接两个片段。沿其两条对角线向上找到它所连接的片段。深色点表示后一个片段建立在前一个之上,浅色点表示它再次遇到同样的问题。候选链接根据共享词汇提出,只有624对被编码智能体逐一判断,因此缺失的点并不意味着没有关系。将鼠标悬停在片段上可高亮其链接。
一条复用链。11月5日00:38,为在一台租用的云机器上进行水渲染,一个智能体在用户的请求基础上构建了一个小型播放器,循环播放已完成的帧并追加每个新帧。水镜头没有进入发布版;链接图将播放器列为其传递的内容。这类实时播放器随后被用于后来的渲染。11月6日,用户在一个播放器中看到咬痕渲染从第95帧开始出错。11月12日,完整渲染的实时预览显示果肉发出橙色光,用户在第306帧后停止了渲染。选择这条链是因为它容易追踪。它不是样本,也不测量该分支的努力有多少留存下来。
7谁担任哪个角色
在双方都编码的60个片段上,两名编码员在全部八个角色中以相同方式对双方进行排序。用户更常请求、提议、通过观察判断、保留或丢弃以及停止。智能体更常实现、命名确认的原因并进行测量。这描述的是这两次编码;它不是对所有工作的既定排序。编码员在许多单个片段上存在分歧:在每个角色的片段中,他们给出相同代码的比例为55%至93%,八个角色中有六个角色的超出偶然的一致性从极小到微弱[47]。他们在某些计数上也存在差异,例如智能体提议的频率(14对60中的27)。因此本章将两名编码员并列呈现,并给出每个计数及其编码员。
7.1一个片段,八个角色
一个角色是什么,以及双方如何担任同一个角色,在一个片段中最容易看出。选择这一个是因为八个角色都出现在其中。它不是典型的一个:它被编码为方向改变,而大多数片段是小修复。
11月5日10:19,用户发送了面板的截图,并要求添加生成草莓和随机化其形状的按钮(请求:用户)。他建议仅在切割需要时计算内部,并带有一个显式开关。智能体称该开关优于其自己的自动计划,指出到目前为止一切都是松散的脚本,并提议一个带有Off、Fast和Exact的开关(提议:双方,因为每一方都有自己的记录提议)。用户补充说,即使没有内部,切割也应作为普通的替代面工作,并决定:“是的,让我们构建这个插件。”(保留或丢弃:用户)。
他因新消息而打断的一项测试(停止:用户)仍跑到一半,使 Blender 处于没有内部的状态,他看到内部有一部分缺失(通过观察判断:用户)。他还想知道为什么精确切割如此慢。智能体的回答附带了一个数字(通过测量判断:智能体):切割边缘处表皮与果肉的连接在每一帧都被重建,在约 5 秒中占 3.35 秒(指出原因:智能体)。实现由智能体编码。该片段在 10:47 结束,并被编码为已完成。
7.2 排序,由两名编码者给出
一名编码者,是这些智能体同族的模型,用事先写好的编码手册对全部 265 个片段进行了编码。第二名编码者,是另一族的模型,用同一本编码手册对 60 个样本再次编码,且没有看到第一次编码的结果。将这 60 个片段的两次编码并排放置。
| 角色 | 一致率 | Kappa | 评分偏向智能体 | 评分偏向用户 | 用户保持,第一 / 第二编码者 | 智能体保持,第一 / 第二编码者 |
|---|---|---|---|---|---|---|
| 提出方法 | 65% | 0.39 | 18 | 3 | 52 / 44 | 14 / 27 |
| 请求工作 | 93% | −0.01 | 3 | 1 | 59 / 60 | 1 / 3 |
| 实现它 | 87% | 0.38 | 0 | 8 | 3 / 11 | 60 / 60 |
| 指出已确认的原因 | 70% | 0.49 | 14 | 0 | 3 / 5 | 26 / 44 |
| 通过观察判断 | 63% | 0.46 | 15 | 5 | 45 / 52 | 22 / 38 |
| 通过测量判断 | 55% | 0.24 | 25 | 1 | 0 / 2 | 22 / 48 |
| 保留或丢弃 | 65% | 0.41 | 10 | 10 | 32 / 41 | 2 / 11 |
| 停止运行中的工作 | 80% | 0.64 | 3 | 7 | 26 / 30 | 1 / 3 |
| 结果 | 77% | 0.52 | ||||
| 量表 | 80% | 0.64 |
两名编码者共同显示的内容。用户几乎在每个片段中都请求了工作。这一工具使这几乎不可避免,因为智能体只在收到消息时才开始工作。智能体在每个抽样片段中都进行了实现。在这两个固定点之间,两名编码者都认为用户在提出、通过观察判断、保留或丢弃以及停止方面领先,而智能体在指出原因和测量方面领先。
两名编码者不同之处。第二名编码者认为智能体在 60 个片段中的 27 个里提出方法,第一名认为是 14 个。它认为智能体在 44 个片段中指出了原因,而第一名认为是 26 个;通过观察判断为 38 对 22;通过测量判断为 48 对 22。它同样认为用户在 11 个片段中进行了手工工作,而第一名认为是 3 个。因此双方都没有独占某一类角色,但这种交叉的规模有多大,取决于编码者。
排序无法显示的内容。一个角色在每个片段中只编码一次,无论它出现了多少次,而一次方向改变与一次小修正被同等计数。一次请求还不算一次提议:编码手册只在一方对被采纳的方法或形式做出了实质性贡献时,才将该行为计为提议,而第一次编码在 265 个片段中有 212 个将提议给了用户,并非全部。读取一张图像还不算判断它:日志规则在智能体于该片段中读取了至少三张自己的图像时,才将其计为观察。原因只有在聊天将其记录为已确认时,才算作被指出,而这一记录的一部分是智能体自己的解释。用户的手工工作只在聊天记录到它时才被计数。智能体工具调用内部的小选择不被计数()。
文章标题:谁做了那颗草莓?用智能体构建程序化水果的14天日志
按角色而非按总量来描述计算机工作是一个更早的想法。早期研究梳理了计算机在创造性工作中成为伙伴的方式 [42],并描述了人与计算机都主动发起的创作 [43]。其中有一个区分在此处很有用:在交替式共同创作中,双方轮流处理同一件事;在任务分工式共同创作中,各自有各自的任务 [74]。作为一个拟议的类比而非编码结果,本项目看起来主要是任务分工式的,在提出形态的地方存在交替。这一区分还涉及满足谁的需求以及由谁评估,而仅凭角色频次无法确定。已有描述共同创造系统中交互的框架,并在其中92个系统上试用过 [75];本研究的编码手册未与其比较。
四个交叉案例,各一行。11月4日,仅由用户命名了一个原因:皮肤下的散射已被关闭。11月12日,用户看到了散射过强的效果,智能体在代码中找到了故障,这是一次联合诊断。11月4日,一段情节文本称用户停止了一次运行;日志显示智能体自己在23:11停止了它。11月13日,智能体在第691帧测到一次跳变,比用户命名下落碎片早四十秒,因此原因被编码为智能体。下面的方框包含全部九个案例。
这些是一名编码者对全部265个情节的计数。它们是唯一的完整计数。对其中60个情节的第二名编码者在若干角色上存在差异(),因此请将每个计数与该比较一并阅读。
7.3这一排序有多稳固?
按角色,两名编码者在这60个情节中给出相同编码的比例,括号内为kappa(超出偶然的一致性):提出 65%(0.39),实现 87%(0.38),测量 55%(0.24),命名原因 70%(0.49),通过观察判断 63%(0.46),保留或丢弃 65%(0.41),停止 80%(0.64)。按 [47] 的量表,前三个为最低一致性,接下来三个为弱一致性,停止为中等一致性。在请求上,他们在93%中给出相同编码,但kappa接近零(−0.01):用户几乎每个情节都提出请求,因此仅凭偶然就已给出高匹配,少数分歧决定了kappa。这些区间是阅读kappa的惯例。它们不会把一致性变成正确性。
按方计数,并将“双方”分别计入每一方,第二名编码者在大多数角色中以及双方都记录了更多行为。对于智能体:在60个情节中有27个提出,而另一编码为14;命名原因44对26;通过观察判断38对22;测量48对22;保留或丢弃11对2。对于用户:手工实现11对3;通过观察判断52对45;保留或丢弃41对32;停止30对26。只有用户的提出,第一份编码更高,52对44。比较文件还按相对规则为每个差异打分(用户 +1,智能体 −1,双方和无 0);对提出而言,这给出18个朝向智能体的差异和3个朝向用户的差异。该分数不是行为计数:那18个中有三个是从用户变为无,其中没有添加任何智能体行为(方法表,)。
在两名编码者下都成立的是每个角色中两方的排序,以及两个计数:智能体在60个情节中的60个都实现,用户提出在59和60中。其他计数随编码者变动。两种编码均未由人工核查或裁决。每名编码者属于项目其中一个智能体的家族。两人对记录行为的阈值设定不同,哪个阈值更接近日志尚无定论。对于通过观察判断和停止,两种编码还共享一个输入:一次日志遍历添加的事件,而第二名编码者并未亲自运行该遍历。
文章标题:谁做出了那颗草莓?用智能体构建程序化水果的 14 天日志
作为评判者的模型各自已知的倾向都可能起了作用:偏向自己家族的文本、偏向它们所回应之人的观点,或偏向更长的文本。这里没有对其中任何一种进行检验,也没有任何一种能说明哪种编码更接近日志。因此两种编码都不被当作标准。可能的倾向和完整比较见方法标签页,。
7.4 分工是否随工作规模而变化?
在第一次编码中,随着工作规模变大,智能体更频繁地参与提案:在 142 个小修复中有 39 个(27%),在 102 个功能中有 35 个(34%),在 21 个改变项目方向的片段中有 11 个(52%)。最后一组的例子有它们自己的粒子求解器(11 月 2 日)、切换到 FLIP 求解器(11 月 1 日)以及转向附加组件(11 月 5 日)。第二位编码者只看到了这 21 个片段中的 3 个,而提案是一个一致性极低的角色。这一上升是某一种编码中的模式,未经核验。
在 48 个未解决的片段中,用户停止了 32 个的工作;在 188 个已完成的片段中,停止了 72 个。这是共现,不是因果。
7.5 声音:用户也参与制作的部分
在声音方面,用户也做了大量制作工作。一个智能体的脚本根据关键帧做出了第一条引导音轨,并选定了哪个声音标记哪个事件(音频 1)。随后智能体们在 11 月 10 日至 12 日间构建了约 15 个引导版本,而用户设定了它们的形式:先是咔哒声和温暖的扫频,然后是“每样东西用不同的音调”,再然后是一个八度内的固定音调(音频 2)。音乐来自一个生成器。一个智能体通过 API 使用过一次(四个变体);用户自己生成了音轨并带回六个文件,两个发布的视频都使用了他的音乐。他亲自剪辑了第一个视频的声音,从他音轨的某个版本中 26.8 秒处开始,而那个版本没有任何智能体打开过。对于最终音轨,智能体找到了主题再次开始的位置,在 30.10 秒处,并将其剪辑到影片上(音频 3);用户自己导出了完成的视频。
7.6 简言之,以及仍然开放的问题
两位编码者给出相同的排序:用户在请求、提案、查看、决定和停止方面领先,智能体在构建、测量和命名原因方面领先。两人也都记录了双向的交叉,只是在数量上有所不同。本章中的每个计数都注明了其编码者,且没有一个计数是结果的一部分()。
开放问题。一位也能看到图片的人类编码者,会支持两种编码中的一种,还是与两者都不同?哪些编码手册规则,加上边界示例,能提高提案和测量方面的一致性?智能体提案随工作规模上升这一现象,在对全部 21 个方向片段进行第二次编码后是否依然成立?
8 讨论
记录支持一种关于工作如何组织、其需求如何形成的叙述。它不支持结果的一部分。
8.1 记录显示了关于工作的什么
记录对两个问题的回答比对标题中的那个问题更好。第一个:每一方执行了哪些检查,哪些被记录的故障通过了更早的检查?在这个项目中,用户更常提供被记录的视觉判断,智能体更常提供被记录的测量()。这是记录中的一种倾向,不是能力的划分。在两位编码者都编码的 60 个片段中,智能体在 22 个和 38 个片段中也通过看来判断,第二位编码者记录了用户在 2 个片段中进行测量;在完整的第一次编码中,智能体在 105 个片段中通过看来判断。智能体的“看”是从其图像读取中计数的,而这只是看的一个迹象。在声音方面,智能体只能测量,因为它们无法聆听。第二个问题:并排运行多个智能体需要什么样的协调()?记录显示了那项工作,但没有显示它对任何一方在时间或金钱上的成本。两个问题都不需要结果的一部分。
文章标题:谁做了那颗草莓?用智能体构建程序化水果的 14 天日志
设计研究认为,发现并重新界定问题是创造性工作的一部分,而不是它之前的一个步骤 [39, 40, 41]。本案例符合这一观点:两项过程研究都没有在最初的请求中找到最终规格,许多需求是在看到结果之后才被记录下来的。按照“只有构建才算数”的观点,这什么也改变不了。证据是粗糙的。每次过程解读只有一名编码者,而 linkograph 以整个片段作为步骤,这对用户有利,因为片段是围绕用户所求之事组织的。只有部分链接得到了核查,被核查的自动链接中不到一半成立,而未被显示的链接可能仍然存在()。
协调本身就是工作。在智能体之间拆分任务、保持副本相互隔离、路由消息、把反对意见转化为规则,这些都需要双方付出努力,而记录在案的大部分故障正出在这里,而非代码之中()。
有两条来自本案例之外的告诫值得在此一提。使用生成式 AI 会对用户自身的监督提出要求:陈述目标、拆分任务、权衡自己的判断 [79]。该框架并不衡量这类工作,而在这份记录中它几乎不留痕迹。而且,不能想当然地认为引导改善了结果。一项对 106 个实验的元分析发现,人与 AI 合作平均而言比两者中较强的一方单独行事更差。决策类任务显示出损失。制作类任务的估计值为正,但与零的差异并不显著,尽管两类任务之间存在显著差异 [80]。这并未为本案例提供效应估计,因为本案例没有可与对照的、无用户参与的运行()。
6.2 角色,而非份额
日志对标题中的问题没有给出单一答案。每个角色都以自己的单位计数,同一次交互可以承载多个角色,而日志中没有任何东西能把一种角色换算成另一种。因此,本研究既未给出任何一方的份额,也未提供权衡二者的尺度。将各角色并排列出。
如何权衡角色是一种约定,数据无法裁定。科学与法律都遇到过同样的问题;它们使用角色和阈值,而非汇率()。只计算实现的读者会认为智能体做出了那颗草莓;计算方向与判断的读者会认为用户做出了它。两种解读都符合同样的计数,而两者在此都未得到检验。
其他领域也遇到过同样的问题,每个领域都有自己的约定:版画会署名设计者、雕刻师和出版者;工坊、电影、音乐、法庭和数学各有其关于谁被署名的规则()。这些约定提供了替代性的角色映射,而非关于本案例的证据。一种映射把智能体视为技术共同设计者,因为它们提出了被采纳的形式和许多机制,而把用户视为委托者、协调者和裁判,同时也做了一些手工工作。另一种映射把用户置于接近发明者、制作者和控制者的位置,把智能体置于接近雕刻师、工坊和伴奏乐手的位置。没有任何领域为这样一双手——它执行工作、是软件、并做出许多自己的选择——备有现成的规则。读者如何分配功劳本身就是一个问题:在一项关于人机共创中归因的研究中,人们对 AI 贡献的判断不同于对同样贡献由人类做出的判断 [14, 15];在一项横跨四国的实验中,当情景将模型描述为根据该用户自己早先的写作进行个性化时,参与者给用户更多的功劳,认为其创作了 AI 生成的文本 [81]。
6.3 最强烈的反对意见
谁做出了这颗草莓?用智能体构建程序化水果的 14 天日志
最强的反对意见是规范性的:委托、评判和拒绝并不是制作,而制作的是智能体。这种角色排序符合上述描述。它也符合相反的说法,即他像导演塑造电影那样塑造了作品;两者都不能从记录中推出。在 Reddit 上,来自 45 个账号的 83 条评论被编码为给予他很少或没有作用;其中有多少条指的是完全没有活动,而不是没有作者身份,并未编码 ()。
由带有指定简报的智能体进行的另外六次解读——两次支持用户、两次反对他、两次中立——各自都遵循了其简报 (方法标签页, )。它们最强的质疑仍未解决:智能体做出的许多细小的设计选择没有被计入 ()。这项研究同样是在用户的请求下完成的。
评论衡量的是什么,是另一个问题。在实验中,被标记为由 AI 制作的作品被评为创造性更低,部分原因是 AI 被认为付出的努力更少;在一组研究中,这种标签直接降低了绘画的评分,但没有降低广告或商业创意的评分 [82]。另一组研究发现,即使描述了人类也参与了作品,这种标签仍会降低评分 [83]。这些研究并未说明这里的评论者为什么给予用户很少的作用。它们是不把评论当作角色衡量标准的一个理由。Reddit 上的分数也不是独立投票:在另一个网站上的一项现场实验中,一个随机分配的早期正面投票明显提高了后来的评分 [84]。
6.5 单一案例的适用范围
一个案例可以表明这种分工发生过,并带有这些计数。它不能表明这种分工必然发生,因为没有一次运行没有用户参与,也没有一次运行没有智能体参与 ()。两名读者用他们自己的提示词尝试了类似做法,两个结果都没有在这里被评分 ()。它也没有说明一个没有受过训练眼光的用户会得到什么。责任也无法被计数。用户发布了结果并对其作出回答,而所引用的作者身份规则将其归于人类。
有两种模式比这些数字更可能在其他项目中成立:检查了错误值的校验 () 以及在看不见的情况下运行的工作 ()。如果它们成立,那么指挥智能体的人需要一个能让每个结果同时出现的地方。并行工作的智能体需要各自的副本,以及当前状态的共享记录。在这个项目中,两者都是在发生冲突之后才被加入的。
这是什么类型的案例?一个日志记录密集的项目,一名有经验的用户,其质量主要靠观看来判断,不过声音、运行时间和代码也很重要,并且智能体可以自己操作 Blender。指出案例的类型本身并不能把其经验带到别处;当单个案例的条件被说明并与其他案例比较时,它可以教出一些一般性的东西 [85]。一项关于与 AI 对话编程的观察性研究,被记录的编程者都有经验,发现他们用自己的专业知识来管理上下文、快速判断,并在 AI 与手工工作之间做选择 [86]。它没有检验专业知识是否必要。日志
- 未使用的方法。其他领域以本研究未采用的方式衡量此类划分。没有人类编码员重复编码,一致性仅在模型之间测量 [46, 47, 48]。没有按案例研究建议对用户进行访谈 [44]。审查本研究的唯一人类是用户本人,他既是研究对象,也是委托者。这是参与者审查(member check)[45],不是独立审查;没有外部人类审查过本研究。没有外部专家对水果的各个版本进行评分,而共识评估技术——由专家小组评分——本会这样做 [50, 18]。过程追踪重构序列并评估所提出因果机制的证据 [49],linkography [37, 38] 仅用于 的小型分析中。
- 利益冲突。本页面由与其所描述的智能体同系列的模型进行计数、编码和撰写。它所描述的用户要求这样做。他向付费支持者提供该附加组件。11 月 15 日有 4 名付费成员,他们在扣除费用前每月带来 $19.67( )。由脚本生成的计数可以核查。判断则无法完全中立。
- 数据可用性。原始会话日志包含约 4 GB 的聊天、提示词、工具输出和截图。它们未公布,因为其中包含用户及无关项目的私人材料。下载内容包含计数背后的编码数据:事件片段、角色代码、想法、转折点、linkograph,以及用于复述发现的事件片段列表。由脚本从原始日志(messung.json)生成的计数无法从下载内容重新生成,且第一轮的一些脚本和中间文件已丢失。可根据请求对照原始日志进行核查,但仅限于本项目。
10 开放问题与进一步研究
有四个步骤会改变本研究所能说明的内容,而它们都不需要新项目。另有两项进一步研究则需要一个新项目。
- 流程中的人。为 60 个抽样事件片段安排一名人类编码员,并且该编码员也看到它们的图片。用户作为具名参与者对同样的 60 个片段进行编码。再用一小时与用户一起过一遍十个事件片段和用户的手工工作。这会增加对两次模型编码的人类核查,以及用户对自己在消息之间所做某些事情的自述。这本身不会使编码成为经核实的记录,而无人记得的消息之间工作仍将不会被记录。
- 分母。对约 50 份“完成”报告进行随机抽样,并按明确的结果判定规则判断,可估计此类报告正确的频率。它不会给出所有检查、测量或无人看到的故障的分母。 中的列表也无法显示。
- 案例内部的比较,进一步计数。 将草莓与 11 月 6 日清单之后构建的三种水果进行比较,并由脚本按水果计数。这是单一案例内部的混杂比较,不是对照运行,也不是速度测试。下一步将统计共享附加组件会话中针对那些水果的后续工作,由第二读者核查哪个会话属于哪种水果,并将其脚本的总计与 的总计进行核对;两者存在差异,且在缺少一个事件文件时无法核对一致。
- 第三方。harness 与用户长期有效的指令要求智能体做什么,例如把规则写下来()。
各发现章节以各自的开放问题结尾( , )。还有三个问题属于 :用户的哪些最初陈述回应了智能体刚刚展示的结果?每个已停止分支的努力有多少留存下来?第二名编码员会画出相同的转折点吗?
后续研究。本案例无法作为对照重新运行。一个只完成第一个更窄请求就停止的 agent 并没有在公平测试中失败。新的研究可以针对同一目标,比较固定的最终规格与逐步细化。模型、工具、预算和评分规则保持不变,重复运行,专家在不知道哪个是哪个的情况下对结果评分。第二种设计将比较不同条件下的开放式探索。第三种将在匹配的修复任务上测试截图反馈增加了什么。
11 结论
在两周时间里,一位用户和多个 AI 编程 agent 将一份委托制作的草莓动画变成了一个程序化水果插件和一部开场短片。双方紧密交替:agent 通常在用户再次发言前进行 2 次工具调用,而用户四分之三的提示是在 agent 仍在工作时发出的。在至少 20 个片段中,agent 的检查或令人安心的报告之后,用户通过观察发现了一个故障;在至少 24 个片段中,agent 报告了错误的状态;在至少 37 个片段中,用户对用户看不到或未要求的工作进行了阻止或反对;消息至少 17 次发给了错误的 agent。在声音方面,测量在任何人听到之前发现了四个故障,而聆听发现了四个数值已经通过的故障。正确的检查未被计入,因此这些不是错误率。最终规格是通过交流发展出来的,而不是在第一次请求中就固定的。一些被中止的分支提供了参考、功能、工具或规则;七条支路在截止时没有显示出后续使用。在双方都编码的 60 个片段上,两个模型编码器在所有八个角色中以相同方式对双方进行排名,用户在请求、提议、通过观察判断、决定和停止方面领先,而 agent 在构建、测量和命名原因方面领先。两者都记录了双向的交叉,并且他们在许多单个片段上存在分歧,在大多数角色和一些计数上,超出偶然的一致性仅为最低到微弱。用户还提出了技术解决方案,包括一个用于皮肤和切面的网格、一个全局分辨率控制和可单独选择的部分,并在相机和灯光上进行了工作。agent 也提出了形式和机制,包括一个粒子求解器和快速预览。日志省略了一些用户的手工工作和 agent 的小设计选择,第三方贡献的内容未被审查。这个单一案例不给出结果的份额,不证明任何路径是必要的,也不单独预测任何一方的表现。哪些角色算作制作仍然是一个定义问题,受研究的限制()。
参考文献
A 逐日记录
附录 A,所有 14 天的记录,包含每个片段和图片,不是本文件的一部分。它是页面下载菜单中的一个单独 PDF(“附录 A · 逐日”),在页面上它跟在结论和参考文献之后:https://strawberry-methodology.pages.dev/#sA
项目运行了 14 天。图 A1 将它们并排显示为一条时间线;在它下面,每一天都有自己的记录,包含发生的事情、图片和每个片段。
B Reddit 上的反响
C 资源使用和成本
日志中的大多数 token 是每次请求时重新发送的同一对话,并从缓存中读取。按这种方式计算,日志约占 89 亿 token。每月固定费用的一半约为 €159。
C.1 token 去了哪里
C.2 花费了多少,以及谁支付的
D 其他领域如何分配功劳
本附录收集了 背后的例子。它们提供背景,而不是关于本案例的证据。参考文献 [33] 和 [36] 指向数学领域的更多例子。
文章标题:谁做了那颗草莓?用智能体构建程序化水果的 14 天日志
正文: 其他领域也有同样的问题,每个领域都有自己的答案。旧版画在版面上标注每个角色的名字:invenit 指设计图像的人,sculpsit 指雕版师,excudit 指出版者 [19]。鲁本斯让学徒绘制他画作的大部分。他根据自己亲手绘制了多少来给画作定价 [20, 21]。Koons 和 Hirst 让助手实现他们的想法,而这些助手的份额很少被具名 [22, 23]。电影按字数计算。美国编剧工会根据对最终剧本的贡献比例授予编剧署名,而一个想法只有在以书面形式提交时才被计入 [24]。在音乐中,歌曲创作份额通过协商确定。制作人负责指导录音环节并挑选采用哪次录音,拥有自己的署名 [25, 26, 27, 28]。在引用的两个美国判决中,法院将作者身份与对作品的控制权以及赋予作品形式联系起来,即使实际执行者是相机或其他人 [29, 30];它们只是一个法律体系中的单个案例。数学界正在解决这个问题。它将角色与有记录的贡献关联起来,并使用按人类参与程度对 AI 帮助进行排序的列表 [31, 32, 34, 35]。这些惯例提供了替代性的角色映射,而非关于本案的证据。一种映射将用户置于接近发明者、制作人和控制者的位置,将智能体置于接近雕版师、工坊和录音室乐手的位置。另一种将智能体视为技术共同设计者,因为它们提出了被采纳的形式和许多机制,而用户则是委托者、协调者和评判者,同时也做了一些手工工作。没有任何领域为那些执行工作、是软件、并且自己做许多选择的"手"制定了现成的规则。
访客。本页面统计访问次数、读者阅读到哪里、正在阅读哪一部分,以及是否开启了简单词汇或其他语言,而不识别任何人的身份。它不设置 cookie,也不为此在浏览器中存储任何内容。服务器用网络地址和浏览器类型生成一个短代码,配合一个每天丢弃的随机密钥。地址本身从不存储。
与 Anthropic 无关联,也未获其认可。由本文所描述的用户委托。
摘要案例研究"谁做了那颗草莓?"在 2026 年 11 月 14 日至 16 日的三天内,用了约 24 小时的工作时间,由一个主智能体及其启动的智能体构建完成。本记录列出了 58 个步骤中完成的工作:计数脚本、两次日志阅读、分析、审查、共识重写、交叉阅读、对抗性阅读、盲测、另一模型家族的独立研究、翻译、重构、一次恢复和发布。它展示了同时运行了多少个哪个模型的智能体、一步的输出如何输入下一步,以及每项检查发现了什么。检查在结果或文本中发现了 33 处错误;其中 23 处已更正。没有第二个人类参与,因此此处描述的每项检查都是模型的检查。
1 本记录是什么
此选项卡描述产生该研究的过程。它不是研究论证的一部分。其来源是构建该研究的 Claude Code 会话日志(从 11 月 14 日 14:36 开始)、其 201 次子智能体运行、研究文件夹中的八次 Codex 运行,以及研究自身的简报、报告和审查。一个模型从这些日志中重建了时间线,并将其切分为 58 个步骤。没有第二个编码者检查这一切分。日志中的私人材料被略去。重建止于 11 月 16 日:其步骤、数字和总计,以及由此得出的限制,描述的是截至当时的过程,而非 11 月 17 日完成的研究。
该研究由用户委托,用户批准了其主要步骤及其发布;没有其他人类参与。
一个主智能体负责编排。它撰写简报、启动子智能体、合并其结果、运行脚本并发布。它在 11 月 15 日 00:16 之前运行于 claude-fable-5-2,之后运行于 claude-opus-5-5。子智能体是由主智能体或其他子智能体启动的 Claude 模型。Codex 运行使用另一家族的模型 gpt-6-astra 和 gpt-6-luna,从同一文件夹启动。
文章标题:谁做出了那颗草莓?用 agent 构建程序化水果的 14 天日志
这项研究始于 11 月 14 日,大约在结果发布到 Reddit 上 14 小时之后,以便可以从那里链接过来。发起者是用户,以及研究中所描述的那类 AI agent。因此这项研究并非中立立场,其局限性部分也说明了这一点(该研究,)。
自 11 月 17 日起,两个标签页按一条规则划分。研究页面承载读者关于该项目所能了解到的东西,以及被统计的内容、由谁编码、两名编码者的一致程度,还有局限性。本标签页承载关于这项研究如何产生的一切:阅读与编码及其比较、阅读日志时出了什么错、更正,以及评审。根据这条规则,第 5 至 12 节已从研究页面移到这里。
2 步骤
11 月 14 日。在第一个小时内,14 名日读者把 14 天切分成 265 个片段,两名编码者对其打标签,页面随即上线;此后每一次改动都是公开的。一名新评审在下午发现了七个问题。晚上,计数被移入脚本,第二条计数路径发现了 138 次工具调用的缺口,而一名追踪思路的 agent 发现摘要缺少了大约一半的消息。于是 14 名新读者从完整聊天记录重新阅读了每一天。午夜之前又进行了两次评审、一次盲测和八次对抗性阅读。
11 月 15 日。上午投入了通俗语言模式(7 个 agent)和五种翻译(66 次运行,最多同时 20 次)。晚上,一次风格审计带来了三次独立重写和一次共识、由另一个模型家族进行的语义变化检查、两名交叉读者,以及由另一个家族进行的两项独立研究。随后两个 agent 构建了一个更短的预览版。由另一个家族对其进行的评审在用量上限处停止,于是由同一家族的评审取而代之。
11 月 16 日。重构版本上线,并添加了两项过程研究、一个 linkograph 和 32 个来源。一次无关会话中的清理删除了本地工作文件夹;随后从线上站点和日志中恢复。晚上进行了逐文件核对的通俗语言润色、由另一个家族进行的同行评审、对两条所列局限性的检查,以及对照原始日志对所有日期的审计。
11 月 17 日。另一个家族的模型在未看到第一次编码的情况下,对 60 个片段样本重新进行了角色编码()。随后由写作模型的一个全新实例进行了整体评审,研究被重建:发现按证据类型分组,角色作为两名编码者的排序并并列呈现两名编码者,而本标签页用于呈现研究的制作过程。接着由另一个家族的模型进行独立评审,对照其数据和来源检查了构建版本,其更正已纳入。这些步骤不在本节所述的 58 个步骤和图表之中,那些内容截止于 11 月 16 日。
3 输出如何流动
大多数步骤取用先前步骤的输出,并传递自己的输出。有三种模式反复出现。每种各举一例。
并行与盲测。同一任务交给多个彼此看不到对方的 agent:两次阅读中每天各一名读者、同一草稿的两名评审、两项独立研究、六名仅凭数据的对抗性读者。并行运行让工作变快。保持盲测则让输出彼此足够分离,以便比较。
共识。在风格重写中,三个 agent 各自重写同一段文本,第四个 agent 将三份合并为一个版本。合并后的文本随后交给另一个家族的模型,逐字段检查语义变化,并交给两名新读者,每个家族各一名。
先检查,再修正。大多数检查本身不改变任何东西。一名评审写出发现,后续步骤加以应用,通常是主 agent,有时是修正 agent。有些循环回溯得很远。11 月 16 日的日期审计更正了 11 月 14 日第二次阅读所写的日期文本,而同行评审将第 6.4 节在其上线后一小时内送回修正。
各步骤之间的联系也显示出依赖性。第一个晚上之后的几乎每一项分析,都建立在第一遍阅读切分、第二遍阅读重新编码的片段之上。因此,后来读取同一批片段的核查,其独立性低于数量所显示的程度。
4各阶段的工作量
主代理进行了 1,769 次工具调用,其 201 次子代理运行进行了 5,991 次,八次 Codex 运行进行了 135 次。大约一半的子代理运行用于简化、翻译和改写文本,而非分析。仅通俗语言和翻译阶段就使用了 73 次运行(),是两遍阅读合计的两倍。核查在运行次数上少、在效果上大:第一次审查由一个代理完成,发现了七个问题;当日审计使用了 16 次运行,进行了 292 处修正。Claude 模型处理了约 15 亿个 token,几乎全部是缓存读取,并写入了约 1080 万个。
5日志的两遍阅读
研究的片段被阅读了两遍。本节说明原因、两遍阅读之间有何变化,以及它们的一致程度。研究展示的是第二遍阅读。
片段。对于每一天,一个代理读取了初始摘要中包含的当天所有提示词以及每个代理回复的前 500 个字符。它将该天切分为片段,并为每个片段赋予六个标签之一。将片段归入此类固定类别在此称为编码。这些标签是阅读代理的判断。
修订比较。第二遍阅读保留了第一遍阅读的片段边界,可以看到其片段文本,但用另一个模型和其他指令阅读了完整聊天。在两遍阅读共有的 263 个片段上,它们对 80.6% 的片段给出相同标签,对 95.8% 给出相同发起者,对 79.8% 给出相同决定性贡献,对 77.6% 给出相同指名的错误。按照 [47] 的标准,超出偶然的一致程度对标签为中等,对决定性贡献和指名的错误为弱,对发起者为极低(见下方方框)。这是对两个修订版的比较。它不是独立的信度估计:共享文本可能提高一致性,而变化的证据和规则可能降低一致性。因此 的变化并非仅由缺失的消息造成。
超出偶然的一致程度用 kappa 衡量:1 为完全一致,0 为偶然。标签的 kappa 为 0.74,谁发起片段的 kappa 为 0.34,谁的贡献起决定作用的 kappa 为 0.53,聊天中指名的错误属于谁的 kappa 为 0.58。谁发起片段的 kappa 最低,尽管一致率为 95.8%。原因是用户几乎发起了每一个片段,因此仅凭偶然就已经能给出很高的匹配。决定性贡献后来被下面的角色编码取代,仅为本比较保留。
6早期的编码
在角色编码之前,同样的片段还以另外两种方式编码:按贡献类型,以及按谁的贡献决定了一个片段。两者都保留在数据中,并在此记录在案。两者均未用于研究的任何发现。在另一个模型家族的模型审查发现其规则对双方测试了不同内容之后,角色编码取代了第二种方式。
早期的编码询问谁的贡献决定了每个片段。其规则对双方测试了不同内容,并将最常见的模式归入“双方”。若按角色解读,“双方”几乎总是同一种分工:用户提议,代理构建,用户决定。在曾编码为“用户决定性”的 32 个片段中,有 17 个由代理指出了原因,其中 11 个以放弃或未解决告终,而旧规则本应将其编码为“无”。“代理决定性”大多意味着代理找到了原因。
7角色编码及其独立核查
研究仅将角色报告为两名编码者的排序(研究,)。本节包含两种编码的完整比较。比较的表格和图表位于研究中()。
文章标题:谁做出了那颗草莓?用智能体构建程序化水果的 14 天日志
角色。11 月 16 日,一个智能体(claude-opus-5-5)为八个角色重新编写了每个片段的代码:谁提出了方案、谁请求了这项工作、谁实现了它、谁指出了已确认的原因、谁通过观察评判了结果、谁通过测量评判了结果、谁保留或放弃了它,以及谁停止了运行中的工作。每个角色取值为用户、智能体、两者、无或不清楚,每个片段还会得到一个结果(完成、修改、放弃、未解决)和一个尺度(小修复、功能、方向改变)。编码手册在编码之前就已写好。凡是文本无法决定的地方,就读取原始日志。在文本编码之后,停止和智能体的视觉检查按固定规则从日志中补充(方框)。编码者知道先前的编码,且属于同一模型家族,因此这不是信度估计。随后,另一个模型家族的编码者——其自我记录为“GPT-6(Codex;确切运行时版本未公开)”——使用同一编码手册(),对 60 个片段的分层随机样本进行了盲编码。它没有执行日志通读。比较脚本在之后将第一次编码的日志值合并进其编码中,因此对于通过观察评判和停止这两项,两次编码共享该输入,并不是对上述日志事件的两次独立测量。它在样本的 65% 上对“提出”一致(kappa 0.39),在 70% 上对“诊断”一致(0.49),在 63% 上对“通过观察评判”一致(0.46),在 55% 上对“测量”一致(0.24),在 87% 上对“实现”一致(0.38),在 65% 上对“保留或放弃”一致(0.41),在 80% 上对“停止”一致(0.64),在结果上 77% 一致(0.52),在尺度上 80% 一致(0.64)。“请求”在 93% 上匹配,但其 kappa 接近 0(−0.01),因为几乎每个片段都是由用户请求的,因此随机一致性本就很高。按侧计数,第二位编码者在大多数角色中为双方记录了更多行为()。比较文件还按相对规则为每个分歧打分:用户 +1,智能体 −1,两者和无均为 0,变化计入得分上升的那一侧。按该分数,差异为:提出方面 18 个偏向智能体、3 个偏向用户,诊断方面 14 和 0,通过观察评判方面 15 和 5,测量方面 25 和 1,保留或放弃方面 10 和 10,停止方面 3 和 7,实现方面 0 和 8。该分数不是行为计数:从用户变为无计为偏向智能体,尽管没有新增智能体行为(18 个“提出”中有 3 个如此);从无变为两者计为中性,尽管双方都增加了一个行为。这不能证明任一模型家族偏袒某一侧。独立编码者指出了它认为编码手册中有歧义的部分:贡献何时足够关键、足以计为双方的提议;新增工作何时足够重大、足以计为双方的请求;一项没有效果的取消请求是否算作停止;哪些事件属于重叠的片段;以及如何编码结果混合的片段。两位编码者都是模型,且 60 个片段是小样本。
关于一致性程度的用词。按 [47] 的尺度,kappa 从 0.21 到 0.39 为最低一致性,0.40 到 0.59 为弱一致性,0.60 到 0.79 为中等一致性。因此,两位编码者在提出(0.39)、实现(0.38)和测量(0.24)上具有最低一致性,在指认原因(0.49)、通过观察评判(0.46)、保留或放弃(0.41)和结果(0.52)上具有弱一致性,在停止和尺度上具有中等一致性(各 0.64)。若不使用日志规则,观察评判的一致率为 43%(kappa 0.24),停止为 75%(kappa 0.54)。60 个片段中只有 6 个从两位编码者那里得到相同的十项编码。
文章标题:谁做出了那颗草莓?用智能体构建程序化水果的 14 天日志
如何阅读这一比较。有四点限制了它。两次编码都未经裁定,也没有人工编码;第二编码者的笔记称其评述是“编码说明,并非对第一编码者的裁定”。第二编码者在几乎每一个角色、对双方都记录了更多的行为,因此两位编码者对“记录一个行为”的阈值设定不同,而哪个阈值更接近日志尚无定论。每位编码者都归属于项目某个智能体所在的家族:第二编码者属于其 Codex 智能体一系,第一编码者属于其 Claude 智能体一系。此外,样本仅包含被编码为方向改变的 21 个片段中的 3 个。这 3 个已经过核查,但太少,无法检验该组的模式。
编码者可能的倾向。模型作为评判者的三种已知倾向都可能起了作用。此处均未检验。已有研究发现,模型能识别自己的文本并给其更高评分 [76];那是在对生成文本的评分上检验的,而非在编码者于工作日志中把行为归于哪个行动者上,因此对本次比较不提供方向。模型会调整其回答以迎合回答对象 [77];本研究由用户委托,因此编码者可能偏向用户。作为评判者的模型偏好更长的回答 [78]。那是对回答评分的偏好,与证据不均不是一回事:日志中关于智能体行为的文本多于关于用户行为的文本,因此一个在文本中寻找证据的编码者能为智能体找到更多。两种倾向都没有通过两次编码之间的差异得到显示,每一种都只是不应把任一次编码当作标准的理由。
哪些成立。在全部八个角色中,双方的排序对两位编码者都相同。有两项计数几乎不变:智能体实施(两位编码者均为 60/60)和用户请求(59 与 60)。其余则随编码者而变。对用户而言,第一编码在提议上高于第二编码(60 个片段中 52 对 44),在手工作业上更低(3 对 11),在查看上更低(45 对 52),在保留或舍弃上更低(32 对 41),在停止上更低(26 对 30)。对智能体而言,第一编码除实施外,在每一个角色上都低于第二编码。
这一变动的示例,而非估计。如果第二编码者在样本中的份额适用于全部 265 个片段,智能体在提议中参与约 119 个片段,而第一编码为 85 个;在命名原因上参与约 194 个,而第一编码为 127 个;在测量上参与约 212 个,而第一编码为 113 个。对 60 个片段重抽样得到的范围为 88 至 155、163 至 221、186 至 238。该预测假设样本代表整体。它只是大致如此:在第一编码中,智能体在 23% 的抽样片段中参与提议,而在全部片段中为 32%。这些数字显示一个计数能随编码者变动多大。它们不是本研究的计数。
结果与规模。第二编码者判定为完成的片段更少(60 个中 37 对 46),判定为修订或未解决的更多(22 对 12)。
以一个片段为例。11 月 5 日的附加决策(本研究,)在样本中。两位编码者在它的十个编码中有九个一致。他们在保留或舍弃上不一致:第一编码者将其归给用户,是用户做了该决定;第二编码者归给双方,因为智能体也舍弃了自己的一项自动方案。当智能体丢弃一个变体而用户批准另一个时,编码手册允许“双方”。智能体的那句话是否属于这种丢弃,正是两人分歧所在的判断。
此前的两次小核查。在角色编码之前,另外两个无法访问本研究的智能体各自核查了 16 个随机片段,在决定贡献的旧编码上分别有 13 个和 16 个与之一致。这些是同家族模型的核查,同样不是信度估计。
8 过程解读的比较
文章标题:谁做出了那颗草莓?用智能体构建程序化水果的 14 天日志
正文: 三项解读追溯了项目目标如何变化:两项过程研究和一份链接图。它们各自独立完成,各由一名编码者按各自的规则进行。该研究并排列出了两项过程研究的计数(该研究, )。本节将这三项解读并置,并说明它们的数字为何不同。
| 转折点 | 用户 | 双方 | 一个智能体 | 来自外部 | |
|---|---|---|---|---|---|
| 过程研究 1 | 30 | 22 | 5 | 1 | 2 |
| 过程研究 2 | 24 | 13 | 7 | 2 | 2 |
| 链接图 | 9 | 9,用户或双方 | 0 | 0 |
| 解读 | 提示词 | 会话 | 窗口 | 工作量度量 |
|---|---|---|---|---|
| 本研究 | 3,958 | 42 | 10 月 31 日至 11 月 13 日 | 未用于分支 |
| 过程研究 1 | 3,928 | 40 | 10 月 31 日至 11 月 13 日 | 消息占比、主智能体活动、15 分钟分箱;按会话和时间窗口分配 |
| 过程研究 2 | 3,708 | 37 | 声称 10 月 31 日至 11 月 13 日;其脚本运行至 11 月 14 日 23:00 UTC,包含 11 月 14 日的 69 条提示词 | 占用 10 分钟提示词分箱;按关键词和结转分配 |
各线程份额差异很大:intro 路径在过程研究 1 中占提示词的 16.7%,在过程研究 2 中占 2.8%;关卡视频则分别为 9.7% 和 3.5%。这些度量没有一个是用户的注意力。尚未制作一份能调和三个语料库的纳入台账。
链接图的链接是如何找到的。其链接首先通过共享词自动找到,仅选定的候选对由编码智能体逐一核查。在已核查的自动链接中,43% 确实是在早先工作基础上的真实构建,未显示的链接可能仍然存在。链接图以整个片段为步骤,这对用户有利,因为片段是围绕他所要求的内容组织的。
9 各不相同的计数
有些内容被以不同的规则计数了不止一次,计数并不完全吻合。本研究给出它所用的计数;其余在此列出。
辅助智能体。Claude Code 中的智能体启动了 31 次辅助程序,存在 30 份辅助日志;它们进行了 3,440 次工具调用。仅工作的计数(该研究, )有 33 个辅助程序,因为它加上了智能体已启动的三个会话,共 3,954 次调用。后来按文件计数发现 33 个辅助程序,共 4,259 次调用;这一差异未得到解决。
按模型统计的提示词。模型表按回答提示词的模型计数(3,068 + 500 + 388 = 3,956;那里有两条提示词没有模型)。停止和成本表按运行所用的模型计数(3,073、497、378 和 10 个未知),因此其数字略有不同。
图片。数据中出现了若干种图片计数,因为它们统计的内容不同。它们列在该研究的“为什么图片计数不同”框中, 。
10 读取日志时出了什么问题
当模型读取日志时,有四件事出了错,或结果证明是陷阱。每一件都在研究中留下了一个限制(该研究, )。每一件是如何被发现的,在此说明。
一份缺少一半消息的摘要。最早的读取者基于一份缩短的聊天副本工作。它缺少用户 1,931 条消息,约一半:241 条以截图开头,1,690 条是他在某个智能体工作时发送的。第一次读取的输出中没有任何内容显示出这一缺口。一个追踪想法的智能体发现了它,因为它遇到了无法归位的消息。第二次读取遵循了( )。第一项过程研究遇到了同样的缺口:它发现每日摘要遗漏了用户约 43% 的消息,即那些在智能体仍在工作时发送的消息,并因此从其 30 个转折点中取了 8 个来自原始日志。
一条不成立的关键词规则。就用户的图像提示词而言,一条关键词规则仅在 50 例中的 23 例与某模型的编码一致。因此本研究没有给出全部图像提示词的计数,只给出了 50 条的样本。
谁做出了草莓?用智能体构建程序化水果的14天日志
一条有两种含义的日志字符串。该工具记录“The user doesn't want to proceed with this tool use”,既用于被拒绝的命令,也用于被新消息打断。109 个此类事件中有 97 个发生在新提示词出现后的 10 秒内,所以大多数是打断。依赖这条字符串的计数,依据用户说了什么以及工具随后做了什么而被重新定义。
用户提示词中的智能体文本。在计为用户提示词的 366,000 个字符中,约 18,000 个字符由智能体写成。所有九个看起来像智能体文本的长提示词都经过了检查,九个全都包含此类文本。其中只有一个是他自己粘贴的。六个是其他智能体发来的消息,被终端放进了他的输入行,其中五个与他正在输入的几个词连在一起。两个是智能体自己打开的会话的启动指令。第二次搜索又发现了七个同类的较短案例。它们全都仍然计为他的。在角色编码中,此类文本计为智能体的。
11 更正
这项研究的数字在首次发布后被更正了多次。本节列出这些更正,以及之后没有重做的结果。
首次发布的计数。该页面首次发布时包含 1,960 条提示词、272 次停止、74 个上下文摘要和 17,966 次工具调用。11 月 14 日发现了三个计数错误:延续的会话被计算了两次,以截图开头的提示词被遗漏,智能体工作期间发送的消息从未被读取。
逐日检查。11 月 16 日,将全部 265 个片段与原始日志逐日核对,结果 117 个保持不变,并做了 23 处重大更正、117 处中等更正和 152 处轻微更正;它提高了若干发现的计数,并改变了一些标签。它还发现一个辅助会话被计为主会话,以及最多 10 条提示词可能通过一个 Codex 辅助会话被计算了两次;第二项无法核查,因为事件文件缺失。
未重做的结果。有三项结果是在逐日检查之前做出的,且没有重做:常规片段的分类、按标签的 token 占比,以及两种解读的比较。按主要工作类型对常规片段进行的分类,是在当时带有该标签的 100 个片段上完成的;其中 99 个现在仍然带有该标签,而现在有 113 个带有该标签。按标签的 token 占比使用的是检查前的标签,无法重新计算,因为它们所需的事件文件缺失。它们显示在下面,不再出现在研究中。
12 评审、对抗性解读与再分析
这项研究被更多智能体阅读、质疑,并部分重做。它们中没有一个是外部人类。本节列出这些评审、六次带有指定任务说明的解读、另一个模型家族的两次再分析,以及用户自己对草稿的阅读。
评审。同一家族的两个智能体评审了这项研究,并对照聊天记录检查了样本。它们的更正已纳入,而它们发现的错误归属有利于用户。另一个家族的一个模型所做的评审,导致了 11 月 16 日版本的重构:从“谁的贡献决定了什么”改为“谁担任哪个角色”。11 月 17 日,写作模型的一个新实例做了总体评审,导致了本研究目前的顺序。同一天,另一个家族的一个模型对该构建做了独立评审。它检查了 11 月 17 日新增来源中的被引段落,在能够打开全文的地方核对了全文;其中两个来源它只能读到摘要。构建者当时只读过这些来源的摘要或首页。那些声称超出来源支持范围的句子被收窄了。
用户的评审。唯一评审过这项研究的人类是用户本人,他既是研究对象,也是委托者。他阅读了草稿,发现了呈现和结构上的错误,并要求进行独立核查,以及做出对他不利的更正。这是参与者评审(成员核查)[45],不是独立评审。没有任何外部人类评审过这项研究。
另外六个智能体在没有这个页面的情况下拿到了数据。两个被要求为用户辩护,两个反对他,两个保持中立。它们的裁决遵循了各自的指令,这说明一次解读在多大程度上取决于它的简报。这是对敏感性的测试,不是对计数的核查,而它们把计数当作既定事实。它们最有力的挑战仍然悬而未决:智能体的许多细小设计选择没有被计入()。两个单方面解读在下面的框里,没有权重或裁决。这项研究也是在用户要求下完成的。
刻意单方面。两个智能体各自被要求根据同一批数据为一方辩护,这些文本就是它们按该简报写出的内容。它们不是证据,也不是本研究的观点;它们的数字来自该页面的较早版本。字母标记每个智能体声称其主张有多坚实:A 由数据推出,B 取决于一个可以持有的定义,C 只有靠省略某些内容才成立。
另一个家族的模型的两个实例——Codex CLI 中处于最高推理水平的 gpt-6-astra——各自做了一项小型研究。它们拿到了聊天的每日摘要(digests)、原始日志和代码。它们没有看到这项研究或其解读。一个抽取了用户 56 条记录的样本,并追踪了 5 条决策链。另一个抽取了 70 条记录,追踪了 8 条链。它们使用了同一归档和来自主流程的每日摘要,因此它们是对同一材料的独立解读,而不是对新数据的重复测量。
两者得出了相同答案。草莓是在用户指导下共同制作的,并且很大部分由智能体构建,数据不允许按百分比拆分。第二项研究将其表述为“用户指导、共同设计、并由智能体大量构建”。
它们与本研究的权衡有两点不同。第一,智能体在小尺度上做出了许多可见的设计选择。例子包括围绕被吃掉果实的相机路径,以及影片下一层的结构。另一个是初版吃食动画有 21 口,用户把它删减到 4 口。本研究中的想法计数()没有捕捉到这类选择。第二,用户也引入了技术概念。一个是剪辑的快速预览,想法清单把其机制归功于智能体()。其他是一个全局分辨率的规则,以及果实中可以逐个选择的部分。这三者都能在代码中找到。
它们的局限是样本小、各自只有一个编码者、共享对同一批摘要的访问权限,而且它们都没有观看影片。它们的简报在“这项研究是如何完成的”标签页中有描述。
13检查发现了什么
过程数据列出了结果或文本中的 33 个错误。通过三项检查追踪一个数字。按错在哪里以及谁最先发现,对全部 33 个错误进行分类。
计数是最常见的一类(12 个)。大多数是通过两条路径得到相同数字而发现的:第二个脚本、审阅者重新计数、交叉读者把各部分相加。最大的错误是无声的。摘要中的一个过滤器丢弃了大约一半的消息,而第一次解读的输出中没有任何东西显示出这个缺口。一个追踪想法的智能体发现了它,因为它遇到了无法归位的消息。这引出了第二次解读。
另一个家族的检查单独发现了六个错误,与一名 Claude 阅读代理一起又发现了五个;第六个最初由对抗性 Claude 阅读代理提出,后来被另一个家族自己的研究确认。其中包括第 6.4 节中错误的分母,以及复制分析和提示阅读与研究共享数据这一点。另有四个布局和结构问题是在查看线上页面时发现的,不属于任何代理检查。在这 33 个问题中,23 个已修正,7 个已披露或缩小范围,3 个等待对研究进行重新框定。
有四个问题是操作性的,不是结果中的错误:构建步骤之后线上页面空白了约 90 秒,一个翻译代理把辅助脚本写进了错误的文件夹,两次其他家族的运行因使用上限而停止,工作文件夹曾被删除一次。
14 分歧是如何解决的
当输出不一致时,流程用四种方式解决。
- 回到数据。当两个计数或两个代理不一致时,就重新运行计数或重新阅读聊天记录。在发现检查中,两个代理对某个想法来自何处存在分歧,主代理通过亲自阅读聊天记录解决了这一点。
- 测量一致性。当两个编码者标注相同条目时,报告一致性,而不是通过争辩消解它:两次阅读之间为 78% 到 81%,常规工作子类型的 kappa 为 0.86。第二次阅读取代了第一次
- 私下起草,审核后发布,并且不要从所研究的讨论串中链接过去。
- 从第一小时起就把研究文件夹纳入版本控制并做好备份。
- 为随机样本安排一名人类第二编码员,为盲测安排一名盲审评审员,并至少安排一名项目外的人类审阅者。
- 从一开始就在子样本中使用其他家族的模型,并为其配额做好预算。
- 规划一个对双方都公平的比较:同一目标,一边使用固定的最终规格,另一边逐步细化,并重复运行和进行盲评。只完成第一个更窄的请求就停止的运行并不是公平的对照(该研究,)。
图表数据:methodik.json,源自流程重建,不含会话标识符或私人内容。
与 Anthropic 无关联,也未获其认可。由本文所描述的用户委托。