Newshot

AI 能画出任意一帧,但动画并非其强项

Translation(model translation, not the source's own text)

AI 能画出任何一帧,动画却不是它的强项

  • 我在四项任务上测试了三个图像模型(GPT-Image-2、2.5-flare、2.5-sunburst):旋转的硬币、乌鸦挥剑、把乌鸦切成图层,以及从游戏界面效果图中提取美术资源。153 次生成,全部做了测量。
  • 它们能画出一个东西,却不记得它属于哪个序列。单个姿势、单个身体部位或单个资源都行。旋转动画的“第 3 帧,共 8 帧”在三个模型上全部失败。
  • 逐帧动画能保住角色,但尺寸会漂移——乌鸦的头部在帧与帧之间变化幅度高达 27%。即使把每一帧按喙和脚对齐,三个模型仍然会抖动。乌鸦动画没有一个能直接拿来用。
  • 更有效的做法:先把角色切成图层(7 次调用),然后通过移动图层来做动画。零漂移,每段动画零额外调用——但很僵硬,所以动作要用 Spine 这类真正的工具来做。
  • 从效果图出发,60 个资源中有 60 个可用,重建的界面大约能达到完美复刻的三分之二。你喂给模型的图片比提示词更管用:满屏人脸,你得到的就是人脸。
  • 模型排名在每次测试中都会变化。目前没有任何输出可以直接用于游戏——它是美术师的起点,而不是替代品。

图像模型在绘制单个游戏资源方面已经非常出色。一句提示词,一枚好看的硬币,透明背景,可以直接拖进 Unity。

所以我想验证两件事。

第一:它们能让它动起来吗?不是视频。而是精灵动画的八帧——游戏真正需要的东西——每一帧都是同一个物体、同样的大小、同样的位置,只是移动了。

第二:如果我给 AI 一张游戏界面的效果图,它能给我那个界面的美术资源吗?

我做了四项测试来找出答案。三个模型,相同的提示词,153 次生成。而且我把所有东西都测量了,因为“看起来还不错”不算结果。

先声明

每个测试只跑一次。一枚硬币,一只乌鸦,一张效果图。我还在学习如何从这些模型里榨出最好的结果,下面我称为“失败”的一些情况,可能问题出在我的提示词而不是模型。有一个案例我确定是我的提示词问题,讲到那里时我会指出来。

所以排名看看就好,别太当真。我信任的是其中的规律。

实验设置

三个模型,全都在同一个 Azure 端点上,所以唯一变化的就是模型本身:

  • GPT-Image-2——较老的那个
  • GPT-Image-2.5-flare——快速变体
  • GPT-Image-2.5-sunburst——高保真变体

前三项测试方法相同。我先生成一个基础资源,然后把那张图通过编辑端点原样发给三个模型,提示词逐字节一致。图片是输入进去的,所以模型是在修改资源,而不是根据描述重新想象。

然后我做测量。数像素,不靠感觉。

测试 1:旋转的硬币

这是我能想到的最简单的情况。一枚硬币原地旋转,八帧,每帧 45°。

硬币的好处在于有数学答案。一个圆盘绕其竖直轴转动时,宽度会按角度的余弦收窄,所以四分之三侧面的帧应该正好是全宽的 0.707。我不用争论它看起来对不对,可以直接测量。

下面是返回的结果,每行一个模型:

下面是它播放起来的样子:

看任意一行中的第 1、3、5、7 帧。它们全都朝同一个方向倾斜。边缘带——硬币转动时你看到的那条金色条带——在每一帧里都在左边。这就是为什么 GIF 是来回摇摆而不是旋转。

这是错的。一旦硬币转过侧面,条带就必须换边。我告诉了每个模型每一帧该在哪边。三个模型全都无视了。

为什么失败

“45 度”和“135 度”在单张图片里看起来几乎一样。唯一的区别是硬币在往哪个方向转,而这个信息在单帧里根本不存在。它只存在于序列中。

模型没有序列。每次调用都是拿着单张图片从头开始。要求“第 3 帧,共 8 帧”,等于要求它知道输入里根本没有的东西。

AI 能画出任何一帧。动画不是它的强项。

解决办法是更少的调用,而不是更多

硬币是对称的,五角星也是。所以旋转的后半段只是前半段的镜像。不是近似——这是实际的几何关系。

生成 0°、45° 和 90°。翻转它们。你得到全部八帧,而且背面自动就是正确的:

两次模型调用而不是七次,抖动降为零,因为镜像的那一半是我已经清理过的一帧的像素副本。

在这项测试中,sunburst 在每项指标上都胜出:抖动是另外两个的一半,硬币的高度变化保持在 1.3% 以内。记住这一点,因为它在下一项测试中不复存在。

测试 2:一只拿剑的乌鸦

硬币是简单情况。所以下一个是 Q 版乌鸦剑客,Capybara Go 风格,做一个八帧的挥剑动作。

同样的方法。一只通过审核的乌鸦,缩小到画布的 60%,这样剑就不会被裁掉,以及八个提示词:准备、蓄力、起挥、击中、随挥、最低点、恢复、收势。

每个提示词对身份都说了同样的话:同样的头、眼睛、喙、皮革装备和剑——只有姿势改变。并且没有运动模糊、没有速度线、没有挥砍拖尾、没有特效。

这次奏效了

三个模型都按顺序生成了全部八个节拍。蓄力看起来像蓄力。

观察动作最清楚的方式是洋葱皮——把全部八帧叠在一起,脚对齐在一条线上:

那是一个真正的挥砍弧线。与硬币的区别很简单:姿势是一张图片。“乌鸦蹲下,剑在弧线底部”是你不需要知道之前发生了什么就能画出来的东西。“转入 45 度”则不是。

但看看头部

再看那些 GIF,乌鸦的头不断改变大小。那不是表演。那是模型在每次调用时以不同大小重画乌鸦。

我用喙来测量——一个橙色形状,存在于每一帧中,而且本不该改变大小:

GPT-Image-22.5-flare2.5-sunburst
头部大小漂移(最差帧)11.9%19.9%27.4%
额外添加的挥砍拖尾眩光+12.2 pp+9.0 pp+5.3 pp
高度漂移,站立帧8.1%2.3%3.3%

三项指标,三个不同的赢家。横扫硬币测试的模型在这里的头部大小上排最后。如果你要从这篇文章里带走一件实用的事:不要把模型排名从一个任务带到下一个任务。

不过身份保持得非常好。全部 24 帧里都是同一只乌鸦——同样的眼睛、同样的束带、同样的剑。问题在大小和位置,不在角色。

三个模型还是都加了拖尾

三个模型都违反了“无特效”规则,而且是在完全相同的一帧——击中帧——通过添加挥砍拖尾。卡通剑在全力挥砍时在训练数据里自带拖尾,用五种不同方式写“无拖尾”也去不掉它。

当三个模型都以相同方向违背你的提示词时,这不是提示词问题。这是先验,你没法靠争辩把它去掉。

事后修复

大小和位置可以在不生成任何新内容的情况下修复。缩放每一帧,使喙与原始版本匹配,并把脚固定到一条线上:

同样的八张图。没有新的生成。更耐看了——但仍然不好。

即使喙被锁定、脚被固定到一条线上,三个模型看起来仍然抖动。轮廓、装备和剑在帧与帧之间仍有轻微移动,因为每一帧仍然是一张全新绘制。把帧对齐可以消除大的跳动。它无法消除小的重画。三个模型生成的乌鸦动画没有一个是能直接用的。

问题在于你需要一个标志点。喙之所以可行,是因为它是一种饱和颜色,在每一帧中都可见,并且有固定的真实大小。所以要在设计角色时选好标志点,而不是在制作动画时。

测试 3:别做动画,开始绑定

如果问题在于模型每次都重画角色,那么事后看答案很明显:别让它重画角色。

AI 能画出任何一帧,动画却不是它的强项

把乌鸦切分成图层一次,然后通过移动图层来制作动画。我写了一个七层方案——尾巴、远侧翅膀、腿、躯干、头、剑翼、剑——然后把同一份方案发给三个模型,每层一次调用。提示词里重要的部分不是这份清单,而是这句:

不要重画。不要重新居中。不要缩放。

21 次提取,21 个可辨认的部件。没有空结果,也没有哪个图层返回的是整只鸟。这很合理:部件就是你能单独画出来的东西,和姿势一样。

把它拼回去

图层只有能重新拼合起来才算是一套绑定。所以我把七层全部叠起来,和原始乌鸦做对比:

在差异图里,红色是多出来的,蓝色是缺失的:

GPT-Image-22.5-flare2.5-sunburst
与原始图像的重叠度80.1%94.3%85.3%
色彩差异36.626.923.0
错位最严重的图层20.6%5.4%27.8%

GPT-Image-2 返回的头部大约放大了一倍——它画的是一幅肖像,而不是抠出一个部件。Sunburst 给乌鸦的靴子大了一号。Flare 做得完美。

而必须移动的那个图层,恰恰是最难放回去的。即便是三者中最好的 flare,返回的剑翼也偏前了——偏得足以把下面的皮质背心埋住,只剩 24.3% 露出来。抠出一个部件很容易。把它精确地钉回原处就像蒙眼贴驴尾巴:模型被蒙住眼睛、原地转了几圈、然后被指向角色。差几个像素就够了,而且和贴驴尾巴不同,翅膀钉错位置后,手臂一摆肩膀就会裂开。

关于度量,我学到一件事:我还统计了「原始图像被覆盖了多少」,GPT-Image-2 以 99.7% 赢了——因为它巨大的头把下面的一切都盖住了。一个 bug 能赢的指标不是指标。我把它去掉了。

回报

拿上七个图层,找到肩膀,让剑和翅膀绕它旋转,同时身体下沉:

八帧。零生成。每一帧都是同样的像素换了个位置,所以漂移精确为零。下面是同一套绑定分别用在各模型图层上的效果——你能看到 GPT-Image-2 那个过大的头也跟着一起动:

每 8 帧动作生成式绑定式
模型调用70
准备成本无7 次调用,每个角色一次
头部尺寸漂移最高 27.4%0%
之后改动重新生成改一个数字

而且一旦角色需要第二个动画,这笔账立刻翻过来。七次调用换来的是这个角色的永久使用权,而不只是一个动作。

坦白说说取舍:刚性旋转不是动画。挥砍两端翅膀看起来像一块硬木板,关节处有接缝,而且没有挤压和拉伸。生成的帧更有生气,但一致性更差。绑定更一致,但更没生气。手工放置一个轴心、再加几个关节,能弥合一部分差距,而且不额外调用一次模型。

动作幅度决定你能不能蒙混过关。呼吸待机——躯干上下浮动几个像素、头轻轻晃动——看起来确实不错。挥砍则很难看:一块装在铰链上的木板,从模型碰巧把翅膀钉住的地方甩出去。小幅动作能掩盖糟糕的轴心。大幅动作会把它暴露在屏幕上。

测试 4:给它一个界面,让它产出美术

三个测试之后,这条规律依然成立。于是我试着提出我认为大多数游戏开发者真正有的需求:这是我的游戏该有的样子——把素材给我做出来。

一张移动端分类解谜游戏的界面草图:架子上有水果吉祥物,棋盘上有弹出式棋子,一个装满球的漏斗,叠放的托盘,还有一个 HUD。

这一次没有基础素材。草图本身被送进 edits 端点,每次调用从中索取一个素材——「架子上那个粉色吉祥物」、「左上角的金币计数器」——单独、居中、透明背景,尽量贴近草图。

文章标题:AI能画出任何一帧,但动画不是它的强项

20个素材,相同的提示词,三个模型。60次调用,大约三分钟。

60个全部可用

每一个都可用。同样光亮的阴影,同样圆润的形状,同样的色系。就连文字——“600”、“Level 5”、锁上的“6”——在三个模型里都干净利落。

可用,而且比要求的还多了点亲切感。没人要求在任何东西上加脸,模型却自作主张:每个吉祥物都带着动漫大眼回来了,而草图上只是小圆点;素色的珠子明明在提示词里写了“不要脸”,还是长出了一张可爱脸;flare甚至给盐罐加上了眼睛和微笑。一个盐罐。好笑一次,第二次就是问题了——全部20个素材里,GPT-Image-2多画了一张没要求的脸,flare两张,sunburst零张。

真正区分这些模型的,是你在单张图里永远看不到的东西:整套素材放在一起还成立吗?货架上的五个吉祥物应该一样高。

整套对比GPT-Image-22.5-flare2.5-sunburst
5个吉祥物的高度差14.3%5.7%8.0%
3个珠子的高度差3.2%1.3%0.4%
3根托盘条的高度差13.1%20.8%4.3%
“不要脸”的执行情况,3个珠子2/32/33/3

Flare的角色一致性最好。Sunburst的形状一致性最好,而且听从了指令。GPT-Image-2把所有东西都画得更大、更不一致——没有一样是坏的,但每样都有点不对。

草图打赢了提示词

有两件事在三个模型里以同样的方式出了问题,还有第三件在两个模型里出了。

草图里的蓝色吉祥物是一种柔和的灰蓝色。三个模型全都把它画成了明亮的天空蓝。而那个小圆点眼睛,在三个模型里全都变成了动漫大眼。这就是那种常见的先验——训练数据里“可爱的蓝色团子”长什么样。

珠子是一种新款式。托盘里的珠子是素面的,所以提示词写了不要脸。三个模型里有两个还是画了脸,而看一眼草图就明白为什么:草图里全是带脸的蓝色球。Flare甚至给盐罐也加了脸。只有sunburst严格按照提示词执行。

所以这一次,打败我指令的不只是训练数据,还有我给它的那张图。

把屏幕拼回去

一文件夹好看的素材证明不了什么。测试3教会我,真正的检验是把碎片拼回去,于是我对整个屏幕做了同样的事:

  • 我梳理了草图中的每一个素材——一共70个。
  • 我把这70个全部从草图里涂掉。那是背景,也是“什么都没做”的基准线。
  • 我把每个模型的素材放回原位,保持它们各自的比例。
  • 我只对素材所在区域打分,这样背景就没法把分数抬好看。

第一个结果在任何数字出来之前就出现了:我的素材清单有漏洞。在上图中,绿色有素材,红色什么都没有。20根托盘条里有9根什么都没有——我从没要求过纯蓝、纯青色或者带气泡的绿色条。粉色条带了草图上没有的气泡。“8”和“15”的锁根本不存在。堆里的球都带脸,而我只有素面的。还有一个完全是我的错:我要求条上画四个气泡,而草图上是三个。

你一个一个看素材的时候不会注意到这些。只有当某样东西无处可放时,你才会发现。于是我给每个模型又生成了十个素材,多了30次调用:

然后我重建了屏幕:

在手机屏幕上,那就是同一个关卡。

多接近才算接近?

逐像素比较非常残酷。就算是草图的完美复制品,只要平移3个像素,在我的度量下也只能得72.6%。所以那才是真正的天花板,下面每个数字都应该对照它来读。分数衡量的是:与让该位置空着相比,误差消除了多少。

文章标题:AI 能画出任何一帧,但动画不是它的强项

正文:

资产内部得分点GPT-Image-22.5-flare2.5-sunburst完美复制,偏差 3 像素
全部 70 个资产47.3%42.3%49.4%72.6%
HUD51.2%42.1%53.4%65.9%
棋盘棋子59.1%56.1%60.1%74.2%
堆里的球51.8%54.4%53.0%68.6%
托盘条47.1%40.4%48.9%78.7%
吉祥物27.9%33.0%31.9%79.2%
锁徽章27.2%6.6%31.6%54.2%

最好的重建大约能达到完美复制的三分之二。那些简单的圆形物件——HUD、棋子、球——大约能达到 80%。

不足之处在误差图里一目了然。亮色表示错误:

吉祥物全身都是亮的——大约只走完了 40%。这是同样的先验在叠加:更亮的颜色、更大的眼睛,每个都稍微大了一点。

托盘呈条纹状发亮。设计稿里的条是高大的堆叠块,而每个模型都画成了扁平的药丸形。公平地说,我的提示词里确实写了“略微从上方俯视”。所以行与行之间的接缝就亮了起来:

Flare 画的药丸最厚,形状最接近设计稿,但在托盘上得分仍然最差。轮廓更接近并不等于堆叠。我本该要求的是整列托盘,或者按设计稿真实相机角度画一根条。

棋盘棋子也表现出同样的拉力,而且这次不是我造成的。在设计稿里,它们是带角度看到的杯子,能看到侧面。它们的提示词没有指定角度,三个模型还是都直接画成了俯视图。

而 flare 的锁只得了 6.6%。它重新设计了挂锁——钥匙孔、丝带、从徽章上凸出来——三把锁都是同样的画法。

我差点发布了自己的 bug

我的第一次重建说托盘一塌糊涂:35%。解释我都已经写好了。

然后我检查了自己的代码。我把每根条都放在了槽的底部。堆叠的条只露出顶边,所以每一行都低了大约 30 像素,整个底行被面板挡住了。修复之后,托盘得分升到 49%,总分从 44% 升到 49%。

解释仍然成立,只是程度小了。但最初那个数字是我的错误,不是模型的。在你解释自己最差的结果之前,先检查一下那是不是你自己的 bug。

唯一规则

四组测试,153 次生成,最终归结为一句话:

这些模型画的是一个东西。它们不记得这个东西属于哪个序列。
硬币旋转乌鸦挥砍乌鸦分层游戏画面
每次调用要求旋转中的一步一个姿势一个部件设计稿中的一个资产
能单独画出来吗?不能能能能
结果失败,3 个全失败成功,3 个全成功成功,3 个全成功成功,60 个全成功

一个部件是一个东西。一个姿势是一个东西。一个资产是一个东西。“第 3 帧,共 8 帧”不是。

测试 4 加了第二句话,我认为这对任何从参考图制作游戏美术的人最重要:

你给模型什么,比你对它说什么更重要。

给它一张满是脸的画面,三个模型里有两个会给你脸,不管提示词怎么写。

我实际会怎么做

请一位艺术总监或动画师,把工具交给他们。这是诚实的答案。这些都不能取代那个知道为什么剪影能读得出来、为什么挥砍需要预备动作的人——它改变的是那个人每天花时间做的事。他们不再手动画第八帧,而是开始指导生成、评判整套素材、修复那关键的百分之十。提示词不是艺术指导,差异图不是眼光。

而且要用真正的动画工具。我的绑定是一百行代码围绕一个估计的肩部旋转,所以挥砍看起来像一块木板。Spine——或任何正经的 2D 骨骼工具——能在模型为你切好的同一批图层上提供加权网格、真正的关节、缓动和次级运动。生成步骤完全如下所述。动画步骤应该放在为此打造的软件里。

其余我会做的事:

关于动画:

AI 能画出任何一帧。动画不是它的强项。

  • 角色只生成一次。先给画布留出边距——我生成的每个基础角色都把剑画出了边缘,即使我要求留出边距。
  • 一次性把它切成图层。每个角色七次调用。
  • 通过移动图层来制作动画。之后的每个动作都免费、一致,且易于修改。
  • 把生成留给它擅长的事——新角色、新服装、关键姿势。而不是逐帧动作。
  • 如果必须生成帧,就要求姿势,而不是序列中的步骤。有对称性时就利用它,之后再把所有内容对齐到一个基准点。

对于整个屏幕:

  • 开始前列出每个素材。屏幕上的每种颜色、每个状态、每个数字。
  • 每次调用一个素材,以示意图作为参考。它比我写任何描述都更好地保持风格。
  • 明确说出颜色和镜头角度。低饱和颜色生成回来时会变亮,而且除非你另行说明,所有内容生成回来时都是俯视视角。
  • 如果参考图里满是你不想的内容,就裁剪它。提示词里的一个“no”敌不过满屏都是那个东西。
  • 在信任整套素材之前,先重建屏幕。测试 4 中的每个问题,在逐个查看单个素材时都看不出来。

尚未达到游戏可用

直接回答:三个模型都没通过。本文中的任何内容都不是我今天会放进真实游戏里的精灵图。

这里的每个结果都是起点,而不是成品素材。要让一帧达到生产质量,本身仍然大约还要再花十次提示词——修手、把颜色调回去、重新切一个图层、再次对齐——最后还要手工过一遍。把这个乘以八帧,“免费美术”的说法就站不住脚了。

它在变好。一个 2.5 模型在我采用的几乎每项指标上都领先,图层技巧也足够好,我会继续使用它。但更好不等于完成。我们还没到那一步。

我仍然不知道的事

很多。一份无穷无尽的清单,而我跑的每个测试给它增加内容的速度,比划掉任何一项都快。这就是这件事的真实状态:不是一个已解决的工作流,而是一件你要持续打磨的事。我唯一确定的是方向——这些模型每一代都明显比上一代更好,而“好看的图片”和“可用的素材”之间的差距在不断缩小。

每个测试只跑一次。一枚硬币、一只乌鸦、一份绑定方案、一张示意图。模型排名在每个测试里都发生了变化,而这正是你在一轮运行且差距很小时会预期到的情况。相信模式,而不是顺序。

我还没试过难处理的角色——飘动的斗篷、遮住脸部的头发、相互重叠的盔甲。我预计图层切割会在这里出问题。我也从未检查过模型在图层后面画出的隐藏区域。等某个图层第一次移动得足够远时,我们就会知道。

而且屏幕重建只覆盖了素材。棋盘、木框、托盘轨道、架子和墙——屏幕的四分之三——从未被生成过。我也还没试过重建所指出的修复方法:把托盘切成整列、为每个素材裁剪参考图,以及明确说出镜头角度。这是下一步,我会分享我的发现。

如果你做了类似的事情并得到不同结果,我真的很想听听。

如果你想以这种方式用 AI 构建游戏——在真实项目里试用这些工具,然后诚实地检查实际有效的东西——这就是我们教授的心态。你是导演,不是打字员:AI 负责生成,你决定什么足够好。来看看我们的 Vibe Coding course。

Vibe Coding Course - 学习用 AI 构建游戏
Vibe Coding Course - 学习用 AI 构建游戏

想学习如何用 AI 构建真实游戏——以及如何判断 AI 什么时候做错了吗?加入我们的 Vibe Coding course,从第一天开始构建真实项目。

图片由 GPT-Image-2、GPT-Image-2.5-flare 和 GPT-Image-2.5-sunburst 在 Azure 上生成。测量脚本和图表是在 Claude Code 的帮助下构建的——践行我们所宣讲的。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗