Newshot

米哈游发了个VLA论文

Summary

8B参数,50小时自主运行

Original text(via 量子位)

米哈游发了个VLA论文

8B参数,50小时自主运行

henry 发自 凹非寺 量子位 | 公众号 QbitAI

米哈游,您是准备亲自下场研究“官方脚本”了?(doge)

就在米哈游崩坏AI研发团队最新发布的研究Gamer中——

你敢信,AI竟然自己玩起了《崩坏:星穹铁道》。

键盘鼠标交给AI,上来就能和可可利亚打上一架。

碰上场景机关,也能自己上手。走到“气泡弹珠”前启动装置,把自己弹到另一片区域,落地接着跑。

跟着NPC跑图同样可以,流萤在前面带路,AI就在后面跟着,上楼梯、拐弯,一路跑到广场。

我勒个乖乖,这打Boss、开机关、跟人跑图,都让AI学会了。

这以后充值页面里,会不会有个“AI代肝”选项?

(注:《崩坏:星穹铁道》是米哈游开发的一款银河冒险题材的回合制角色扮演游戏。玩家乘坐星穹列车探索不同世界,通过跑图、对话和解谜推进剧情,并组建角色队伍进行回合制战斗。)

VLA代肝,不烧心

咱言归正传,米哈游给Gamer的定位,是面向长流程、实时交互的通用视觉—语言—动作(VLA)基础模型。

上面演示玩《崩铁》的主力版本,由团队基于参数量80亿的Qwen3-VL-8B进一步训练而来。

它能根据游戏画面和任务,决定按哪些键、鼠标往哪里移动、什么时候点击,再把这些操作真正执行出来。

换句话说,屏幕画面是它接收的视觉信号,任务指令告诉它要做什么,键鼠操作则是它输出的动作。

相较于以往的AI玩游戏,Gamer这次最大的亮点是把跨游戏的实时操作与长流程的记忆、规划,接进同一套VLA框架。

实战时,模型完全依靠屏幕画面、任务指令和已有记忆做判断,无需读取游戏内部接口或底层状态。

随着任务推进,它还会动态记录“刚才完成了什么”、“下一步准备干什么”。

在论文中,研究还给出了一组硬核的实测数据:在覆盖五个主线篇章、总计约50小时的《崩铁》长流程评估中,Gamer的自主运行时间占比超过了95%。

而为了实现这一效果,研究设计了一套三阶段训练流程:

先用跨游戏数据练操作,再用任务示范补上思考和记忆,最后让模型进入游戏,通过试错和反馈继续提升。

首先,是持续预训练(Continued Pre-Training,CPT),让已经具备图文理解能力的基座模型,进一步学会操作游戏。

具体来说,团队把不同游戏的录屏与玩家操作对齐,让模型学习画面和动作之间的关系:人物往前走,场景会怎样变化;鼠标往右移,镜头会转向哪里。

这些操作被整理成统一的键鼠格式,让不同游戏的数据可以进入同一套训练流程。

执行时,Gamer每隔200毫秒读取一次画面,一次安排随后六个动作块,每个约33毫秒,对应30Hz的控制节奏。

相当于看一眼,安排接下来一小段动作,再根据新画面继续调整。

其次,在微调阶段,团队整理了约1000小时高质量《崩铁》演示,把目标分成具体操作、阶段性小目标和完整任务,教模型将动作组织起来。

值得一提的是,这里有两个极其实用的工程设计,核心目的都是解决长流程中的推理延迟与上下文爆炸问题:

–稀疏思考”机制:沿着确定的路线前进,可以直接操作;遇到路线失败、目标切换或者新的交互提示,再展开推理。 –记忆摘要机制:旧记录即将移出上下文时,模型先记下任务进度、失败尝试、重要地点和后续计划,让接下来的操作有据可循。

-“稀疏思考”:沿着确定的路线前进,可以直接操作;遇到路线失败、目标切换或者新的交互提示,再展开推理。

最后,在在线强化学习阶段,团队提出TA-GRPO,把长流程拆成由记忆衔接的片段,比较不同尝试在相应阶段的表现,再利用游戏环境核验的结果更新模型。

比如,有没有到达目标地点、有没有完成当前任务,都能成为训练反馈,训练后台则负责初始化和核验。

此外,配套的Streaming-vLLM推理引擎还能复用已处理的上下文,并提前吐出生成且核验完毕的动作块,让游戏画面先动起来,大幅压低操作延迟。

实验测试

在跨游戏实验中,团队测试了Gamer的CPT版本,涵盖《我的世界》、基于《毁灭战士》的ViZDoom,以及OmniGameArena和GameWorld等多个游戏环境。

比如在《我的世界》里,它能自己转视角锁定史莱姆,追上去挥剑劈砍:

切到第一人称射击游戏ViZDoom,它又能迅速拉枪瞄准,连续点射逼近的敌人:

此外,在上述四项公共基准上,Gamer-8B-CPT的平均得分为29.5,所列通用模型对照中,最高为仅17.6。

而在七类小游戏、共40个未参与训练的任务中,基座模型仅有 3.2%,经过CPT升至15.0%,SFT后提升至39.2%,加入强化学习后更是达到了49.7%——

作为对比,同场竞技的通用模型最高分(GPT-6.1-Sol)仅为 17.1%。

这些结果支持了团队的核心判断:通过统一的键鼠接口,把跨游戏学习、长期记忆和实时操作结合起来,可以让AI在复杂游戏中持续执行任务,并通过交互继续改进。

团队也在论文结尾指出,这类能力有望用于自动化测试、加快游戏迭代,并支持新的玩法机制,从而降低开发成本。

游戏成为AI的练习场,练出来的AI,又能反过来帮助开发游戏。

团队介绍

最后,我们来认识一下这项研究背后的团队。

论文贡献者名单共列出了8位共同一作,其中5位在米哈游实习期间参与了该项目的研发:

Run Luo:新加坡国立大学计算机科学博士生,曾参与GUI-R1、OpenOmni等项目,在Gamer中负责三阶段训练、数据、基础设施及评测建设。

张宽(Kuan Zhang):清华大学人工智能学院博士生,GameScaling与GameVerse共同一作,主要负责持续预训练、数据及评测建设。

值得一提的是,他在个人主页中写道,他是英雄联盟的大师段位玩家。

Qi Deng:米哈游崩坏AI研发团队成员,负责强化学习、训推基础设施,以及数据与评测建设。

Yukun Chen:中国科学院大学研究生,GameScaling共同一作、多模态推理研究RuCL一作,主要负责监督微调、数据及评测建设。

Zhihao Yang:中国科学院大学计算机专业博士生(本科毕业于同济大学),主攻游戏与智能体方向,在项目中负责强化学习、数据及评测建设。

Yufei Zhang:米哈游崩坏AI研发团队成员,主要负责训练与推理基础设施建设。

Renrong Hu:米哈游崩坏AI研发团队成员,主要负责基准(Benchmark)建设与评测。

Yi Zhang:来自中国科学技术大学,在米哈游实习期间参与项目,主要负责基准建设与评测。

(其他论文贡献者可参考论文主页)

而将视角拉远,这支米哈游崩坏AI研发团队的布局已覆盖AI NPC、游戏智能体与研发自动化三大方向,持续探索大模型在游戏体验革新与工业化管线中的落地。

论文指导者之一郑银河,正是《崩坏》系列AI NPC与Gameplay技术团队的负责人。

此前,郑银河曾在云栖大会上披露过《崩铁》的AI帕姆,以及赋能内部研发的Agent平台EchoX。

而在学术方面,该团队还联合高校推出了GameScaling和Video-Arena,分别探明跨游戏持续预训练的Scaling Law,以及模型对动态游戏画面的理解边界。

参考链接 [1]https://arxiv.org/html/2611.18397v1 [2]https://mihoyo-gamer.github.io/

  • GPT-6.2 Astra再次暴击具身模型:16项任务成功率较GPT-6 Astra翻倍2026-11-21
  • 姚顺雨和混元团队上Reddit答网友,Hy小模型已进路线图2026-11-21
  • 具身智能出海,物流先行2026-11-09
  • 黎曼猜想被证明?!Claude加持,34岁数学家放出Lean证明2026-11-21

相关阅读

蚂蚁具身智能明牌了:做大脑,和宇树们错位竞争

首次在真实世界验证VLA的Scaling Law

一口气,米哈游连告B站7次

或因B站“内鬼”视频有关

米哈游蔡浩宇新作iPhone实机演示:10分钟就被AI小美撩到脸红,她的命运由我掌控

米哈游和汉堡王的共同点背后,一个技术预言已经照进现实

云计算从萌芽到“水电煤”的15年

VLA死了,遥操也死了!英伟达机器人一号位说的

Jim Fan全新暴论出炉

米哈游发布首个AIGC工具 万物皆可“三月七”

基于AI算法的图生图工具

The text above was extracted automatically from the source page and may miss images, tables or code blocks. The original is authoritative.

Published by 量子位
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗