Newshot

AI编程智能体在孤立测试中表现出色,但在模拟职场中完成的任务不足十分之一

AI summary

一项新的真实场景测试将AI编程智能体置于模拟的开发者岗位中,配有同事、项目看板和不完整的交接,要求它们在混乱的日常工作流中自主持续开发软件并可靠地关闭未解决的工单。即便是Opus 5.5和Astra也远远不够,能完全解决的任务不足十分之一。这些模型能快速完成清晰、独立的任务,但作为自主开发者却会失去条理。

Translation(model translation, not the source's own text)

AI 编码智能体在孤立测试中表现优异,但在模拟职场中完成的任务不足十分之一

图片说明
图片说明

AI 编码智能体在标准基准测试中正接近满分。一项新实验首次让它们作为数字员工,进入一家模拟软件公司工作,那里有同事、项目看板和聊天记录。即便是 Claude Opus 5.5 和 GPT-6 Astra,完全完成的任务也不到十分之一。

关于 AI 编码智能体的成功案例不断累积。Anthropic 表示,Claude 编写了该公司超过 80% 的生产代码,而 SWE-bench 等标准基准测试已接近饱和。

THE DECODER+

继续阅读 THE DECODER+

  • 所有 Plus 文章及完整存档
  • 无广告横幅
  • Frontier Radar:每年 6 篇深度解析

已是订阅用户?登录 返回首页

Only about 448 characters could be extracted — the rest did not come through (common on sites that need scrolling or a login). Read the original for the full piece.

Published by The Decoder
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗