Newshot

弹簧玩具在自动扶梯上竟能巧妙测试大语言模型智能

Translation(model translation, not the source's own text)

文章标题:弹簧玩具走下自动扶梯,竟是对 LLM 智能的一次奇妙测试

正文:

题图
题图

我最初做这个测试,是想接着“骑自行车的鹈鹕”那个测试往下走,把重点推向物体间的物理交互。每有新模型发布,我就让它生成一个单独的 HTML 文件:一条彩虹弹簧玩具,在一条向上运行的自动扶梯上永远往下走,而且要用真实物理,而不是脚本化的动画。到目前为止,Anthropic、OpenAI 和 Google 的十五个模型都试过了。

这是个挺傻的测试,但它意外地成了一个相当好的直觉检验,能看出这些模型到底有多能干。要让一条弹簧玩具在移动的台阶上翻着往下走,既不卡住也不飞出去,需要弹簧物理、台阶碰撞,还得有足够的自测能力,能在结果看起来不对劲时发现它。

[00] 提示词

每个模型都在一个空文件夹里收到一次这条完全相同的提示词,没有任何追问,也没有手动修改。我把推理强度设为 xhigh,或者在 agent 不提供 xhigh 时设为 high。


        Make a single HTML file of a rainbow slinky walking down an up escalator, in perpetual motion. Make it realistic and not a scripted animation. Have a start, stop and reset button.
      

        Slinky on an up escalator: setup

Prompt (paste once):
Make a single HTML file of a rainbow slinky walking down an up escalator, in perpetual motion. Make it realistic and not a scripted animation. Have a start, stop and reset button.

Rules
- One fresh, empty folder per model.
- Reasoning effort xhigh, or high where the agent doesn't offer xhigh.
- Send the prompt once. No follow-ups and no edits to the output.
- Build time runs from sending the prompt to the agent's final answer.

Agents as run
- Codex CLI 0.167.0 and 0.169.1: model_reasoning_effort = "xhigh"
- Claude Code 2.1.322: /effort xhigh
- Antigravity CLI 1.5.10: --effort xhigh, or high where xhigh is not offered

Recording
- Chromium at 1280 x 720 with 2x to 3x pixel density.
- A fixed 60 Hz virtual clock drives requestAnimationFrame and performance.now.
- Press Start, let it run 0.2 s, then capture 20 s, cropped to the slinky.
      

[01] 各次运行

图表:xhigh · 1 h 14 min · $13.51

图表:xhigh · 25 min · $4.87

点击下面任意两个片段即可对比。

即便提示词里写了“不是脚本化的动画”,仍有几个模型为了不让弹簧玩具停下来而变通规则。有几个会调整自动扶梯的速度,把它保持在画面里。其他的会加一点扭矩辅助,或者在它卡住时重置它。

这些是在三个不同 agent(Codex CLI、Claude Code 和 Antigravity CLI)上各跑一次的结果,录制在虚拟 60 Hz 时钟上,这样沉重的模拟也不会掉帧。这纯粹是个轶事性的检验。

[02] 时间与成本

Gemini 4 Neon Nov 1925 min$4.87
Gemini 4 Hydrogen Nov 1957 min$10.51
Gemini 4 Carbon Nov 1958 min$5.28
Gemini 4 Argon Nov 1922 min$2.25
Gemini 3.8 Flash Nov 1921 min$1.43
GPT-6.2 Astra Nov 1716 min$2.16
GPT-6.2 Sol Nov 1711 min$0.55
Claude Opus 5.5 Nov 974 min$13.51
Claude Fable 5.2 Nov 964 min$18.40
Claude Sonnet 5.5 Nov 997 min$7.92
Claude Fable 5.1 Nov 9301 min$51.50
GPT-6 Astra Nov 914 min$3.59
GPT-6.1 Sol Nov 911 min$0.42
GPT-6.1 Terra Nov 95 min$0.17
GPT-6 Sol Nov 96 min$0.44

构建时间从发送提示词算到 agent 给出最终答案,包括 agent 沿途做的任何自测。API 成本是每次运行的 token 按当天 API 价格计算的花费,不过这些我都是用订阅方案跑的。

[0A] 附录:第一次测试

这个测试的第一版于 2026 年 9 月 4 日用不同的提示词跑过。由这第一版提示词产出的两个页面都是引导式动画,所以 11 月的提示词改为要求真实、非脚本化的物理。

左:GPT-6 Astra,max effort,Codex CLI。右:Claude Fable 5.1,Claude Code。视频把两边都标为“max”。Claude 那次会话最可能是在 xhigh 下运行的。

First Prompt

文章标题:自动扶梯上的弹簧玩具,竟然是检验 LLM 智能的奇特好测试

正文:


        给我做一个单独的 HTML 文件,让一条彩虹弹簧玩具沿着向上运行的自动扶梯永远往下走。不要用任何库——只用 canvas 和代码。弹簧玩具应该是一串弹簧,每一圈都是彩虹的一种颜色。它一开始像马蹄铁一样对折,搭在一级台阶上。被放下后,它会一级一级地翻转着往下走,而由于自动扶梯一直在向上移动,它就在原地翻滚,永远到不了底部。要包含一个放下按钮和一个重置按钮。
      

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗