Newshot

对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」

Summary

2023 年就下场做世界模型的先行者。 作者丨 幸丽娟 编辑丨 岑 峰 2026 年 9 月,机器人操作评测基准 RoboDojo-Sim 的榜单上出现了一个令人意外的名字:GPT-6 Astra。 这个语言模型没有为机器人做任何专项训练,就在 42 项操作任务上拿下平均成功率第一,反超 40 个公开机器人策略。 世界模型这张牌桌,被搅了局 。“语言模型是不是连世界模型的活都能干了?”这个问题被重新摆上桌面。 一个多月后,西湖大学宣布成立西湖世界模型研究中心,校长施一公亲自站台。 这所以创新机制闻名的研究型大学,在“世界模型还有没有必要”的质疑声中,把世界模型立成了校级交叉科研平台。推动这件事的人,叫于开丞,西湖大学工学院助理教授、自主智能实验室(AutoLab)负责人。 在他看来, 通用语言模型再强,物理世界也“等不起” 。语言模型根本无法直接替代世界模型。 他曾在瑞士洛桑联邦理工大学(EPFL)跟 几何视觉大牛 Pascal Fua 做了五年研究,博二那年就“抓出”了 NAS 行业级核心问题 并拿下高通创新基金,当年欧洲获奖者仅四位。 回国后他加入阿里巴巴达摩院,以 BEVFusion 等系列工作在自动驾驶圈成名。两年后,他因自动驾驶领域的一个现实困境,靠着研究直觉转向世界模型。 当时,Sora 还有一年才登场, 世界模型这个词鲜有人能看懂,以探索前沿著称的达摩院都接不住 。 于是,他把这个题目拿回学术界来做,在西湖大学的科研土壤上,一做就是三年。 2024年,在大语言模型最锣鼓喧天的那一年,他在 ECCV 的挑战赛上 用世界模型 pk 掉语言模型 ,拿下“全球冠军”,先一步论证了世界模型路线的可行性。 两年后,锣鼓喧天的主角,终于变成了世界模型。各路团队拿着技术概念,忙着融资。 而已在这个方向耕耘三年的于开丞,没有去追概念的热闹 。 在他眼里, 世界模型就是一个像Transformer 一样的通用技术。 他要做的,是在国内赛道拉满“一圆桌的人”,去跟欧美 AI 力量打擂台。 他要做的这件事,是有底气的。通用世界模型 Awomo-0.5,40 亿参数,在具身智能、物理世界理解等六个国际主流评测榜单上同时登顶, 代码和权重全部开源 。大多数创业公司还交不了卷, 这份“以小博大”的答卷 先交了出来。 开源链接: https://awomo-westlakedi.gi…

Original text(via 雷锋网)
对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」
对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」

这个语言模型没有为机器人做任何专项训练,就在 42 项操作任务上拿下平均成功率第一,反超 40 个公开机器人策略。

世界模型这张牌桌,被搅了局。“语言模型是不是连世界模型的活都能干了?”这个问题被重新摆上桌面。

一个多月后,西湖大学宣布成立西湖世界模型研究中心,校长施一公亲自站台。

这所以创新机制闻名的研究型大学,在“世界模型还有没有必要”的质疑声中,把世界模型立成了校级交叉科研平台。推动这件事的人,叫于开丞,西湖大学工学院助理教授、自主智能实验室(AutoLab)负责人。

在他看来,通用语言模型再强,物理世界也“等不起”。语言模型根本无法直接替代世界模型。

对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」
对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」

他曾在瑞士洛桑联邦理工大学(EPFL)跟几何视觉大牛 Pascal Fua 做了五年研究,博二那年就“抓出”了 NAS 行业级核心问题并拿下高通创新基金,当年欧洲获奖者仅四位。

回国后他加入阿里巴巴达摩院,以 BEVFusion 等系列工作在自动驾驶圈成名。两年后,他因自动驾驶领域的一个现实困境,靠着研究直觉转向世界模型。

当时,Sora 还有一年才登场,世界模型这个词鲜有人能看懂,以探索前沿著称的达摩院都接不住。

于是,他把这个题目拿回学术界来做,在西湖大学的科研土壤上,一做就是三年。

2024年,在大语言模型最锣鼓喧天的那一年,他在 ECCV 的挑战赛上用世界模型 pk 掉语言模型,拿下“全球冠军”,先一步论证了世界模型路线的可行性。

两年后,锣鼓喧天的主角,终于变成了世界模型。各路团队拿着技术概念,忙着融资。

而已在这个方向耕耘三年的于开丞,没有去追概念的热闹。在他眼里,世界模型就是一个像Transformer 一样的通用技术。他要做的,是在国内赛道拉满“一圆桌的人”,去跟欧美 AI 力量打擂台。

他要做的这件事,是有底气的。通用世界模型 Awomo-0.5,40 亿参数,在具身智能、物理世界理解等六个国际主流评测榜单上同时登顶,代码和权重全部开源。大多数创业公司还交不了卷,这份“以小博大”的答卷先交了出来。

开源链接:https://awomo-westlakedi.github.io/Awomo-0.5-page/

为什么三年前世界模型赛道荒无人烟的时候就已经先出发?为什么他认定世界模型 100% 值得做?于开丞在与 AI 科技评论的这次谈话中,给出了他最本质的回答。

以下是对话实录,AI科技评论进行了不改变原意的删改。

对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」
对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」

起点:自动驾驶的钱,花不动了

▎AI 科技评论:你 2023 年就开始做世界模型了。但那个时候 Sora 还没出现,"世界模型"几乎是一个无人提及的词。你是基于怎样的契机,把研究转到这个方向上的?

于开丞:契机来自自动驾驶的一个现实困境:上限变低,成本很高。

每碰到一个新场景,就得重新收集一遍数据、再走一遍流程。这件事太不优雅,也就是太贵。既然这么贵,就必须找一条新的技术路径。我们是从这个痛点出发,开始注意世界模型的。

当时 diffusion 模型在图片生成上已经跑通,我们自然而然地想到:既然图片上能做生成,物理空间为什么不能?于是我们就从生成符合 3D 关系的场景图像,推进到生成符合 3D 关系的场景视频。

这里3D 是关键:2D 生成只要“看着像”,但物理世界要的是“真的像”,要满足严丝合缝的投影关系和物理关系。

沿着这个逻辑往后推进,我们发现还有很多值得研究的工作。这就是我们从自动驾驶切入世界模型的起点。

▎AI 科技评论:你在达摩院就已经开始切入这个方向了?

于开丞: 对,在达摩院已经有了雏形。但后来达摩院,或者说整个阿里集团,觉得有点太烧钱,要收缩,就不再做一些特别探索性的研究了。

后来我想想也很有道理:这种非常探索性的研究,可能还是要到高校去做。

▎AI 科技评论:所以你是因为要做世界模型,才离开产业回归学术界,那为什么去了西湖大学?

于开丞: 是机缘巧合,也是方向使然。当时我有两个选择,最后选择了西湖大学,两个原因:一是这边的氛围和对创新的认可非常吸引我,加入以后,学校也确实给了我们很大的支持;二是施一公校长的精气神,也非常打动我。

在创新的机构做创新的事情,是非常幸运的。比如现在学校允许我以产、学双栖的状态,去成立西湖大学世界模型中心,其实在学校历史上都是有突破性意义的。对我而言是莫大的荣幸,我也身负很重的责任感,去把这件事情做得更好。

▎AI 科技评论:在那个时期选择这样一个充满未知的方向,会有犹豫吗?

于开丞:当时世界模型还没人做,我们属于勇闯无人区了。但我们的判断很简单:没人做的时候先做,并且能把技术做到领先,就可能一直领先下去。

现在这个研究方向被大家认识、被社会认可,我们当然非常开心,但在我们的视角里,这就是一步一个脚印走出来的,看着没那么玄幻。

▎AI 科技评论:你曾公开提及,2024 年在 ECCV 上参加了一个比赛,拿了“世界模型的世界冠军”。当时是比赛本身与世界模型相关,还是你用了世界模型参赛?

于开丞: 是我们用了世界模型参赛。这个挑战赛是华为举办的,主题是“极端场景生成”,用生成模型去合成驾驶场景下没见过的事故场景。

我们用世界模型的技术方案拿到了冠军,其他参赛方案基本没有世界模型。所以在当下那个时间节点上,我们算是抢占了先机。

▎AI 科技评论:“世界模型”突然就变得这么火了,火起来的这个时间点,比您预想的提前了还是延后了?

于开丞: 肯定比我想的要更靠前一些。我们2023 到 2025 年是在默默做研究,2026 年我们觉得这个事情可以去扩大、“敲锣打鼓”地做的时候,大家就已经一拥而上了。

这其实也代表了大家对这个领域的期待,我也特别理解,因为语言模型之后,最大的一个机会就在世界模型赛道上。

对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」
对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」

世界模型 100%有价值

▎AI 科技评论:2023 到 2026 年之间,你有没有遇到过不太清楚前方路的时候?或者有想转研究方向的冲动?

于开丞: 语言模型很火的时候,很多人会想:语言模型这么火,是不是该转去做语言模型?

诱惑很大,但我们还是坚持住了本心。背后的逻辑在于:

一是擅长与不擅长的问题。语言模型不是我们最擅长的,CV 才是我们能够游刃有余的技术领域。

二是价值归属的问题。语言模型肯定非常有价值,但那个价值很多人都在跟,参与感肯定不会太强了;但世界模型,我坚信未来100%有价值,并且这个赛道需要人来做,我也相信自己能做好。

再往深一层看,还有一个生态位问题。不管当时还是现在,初创公司在世界模型这个赛道里,是有机会冲出来的;而大语言模型要烧更多算力、需要更多的资金去推动,这更多是大厂干的事。

但最底层的思路还是:对的事情,才值得做。如果大语言模型是唯一对的事,那无论起步多晚都必须做。但我认为,大语言模型并不唯一,世界模型同样也是对的事。

▎AI 科技评论:怎么评估世界模型一定是对的事?

于开丞:首先,语言模型无法走出屏幕,但世界模型可以。

语言模型再好,也仍需人来操作。将来我们要上火星,要去高山、深海和各种危险场景,许多地方人不擅长去、也不适合去,总归需要一个东西替人去。否则就只能以人力替代,而这并不人道。

其次,从技术路径看,世界模型与语言模型并不共通,需要更多的科研力量投入进来。

语言模型从文字构建出发,基础是语言文字。语言文字是抽象的,是一个已经被压缩过的世界。它同世界模型所面对的连续物理世界,是完全不同的两回事,技术上也并不容易共通。看起来都叫模型,实则千差万别。

而且,世界模型本身还有多条路线:3D 是一个方向,影视是一个方向,各条路线之间的打通并不容易。倘若容易,世界上就只会有一家公司了。这也说明,世界模型这个研究方向充满了可探索的空间和可能性。

所以从底层逻辑上讲,世界模型 100% 有价值。那为什么不做?那为什么不在别人还没看到这个方向的时候,我们就早早地去做?

对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」
对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」

要从目的定义,别乱加定语

▎AI 科技评论:这个赛道现在定义都还不统一,如果要你这位资深的世界模型学者给它一个定义,你会怎么定义?

于开丞: 首先,从本质上来看,世界模型是一项像 Transformer 一样的通用技术。目前大家已经有的一个共识是:它能够预测下一个状态。

其次,应该从目的出发来进行定义,而不是先堆定语。如果脱离场景去谈技术本身,是没有意义的。一项技术只有绑定具体的目标领域,才存在适配与否的问题。

语言模型适合的建模方式,不见得适用世界模型;语言模型所擅长的机制,例如 KV cache,在世界模型架构下未必同样有效。

所以,我的定义是:世界模型,是指面向连续物理空间事件、以预测下一个状态为目的的模型。其底层采用以扩散模型为基底的 Transformer 架构(DiT),并叠加对未来的预测机制。

进一步从目的来看,一类是给人看,比如 Seedance 这种通用视频生成,强调人眼的体验感;另一类是给机器人用,那就需要有绝对意义的物理真实性。

行业也有一些非常离谱的定义,比如把 ICL 说成世界模型。ICL 是一个模型默认具有的能力,把它拿出来单独说就没意思了。

▎AI 科技评论:所以,在你看来,视频生成模型也是世界模型?此前我们的受访者提到过,“预测下一个动作”是世界模型的必要条件,而视频生成模型不预测下一个动作。

于开丞: 我们先从共识来看,世界模型预测的是下一个状态,而“状态”可以定义得很宽,甚至可以把人的心理状态定义为一种状态,这也符合世界模型的本质。只是我们会强调,我们做的是物理世界模型,更希望它在物理世界中理解行动。

但就世界模型的定义而言,“动作”不是必要条件。举个例子:家里要做装修设计,可以找装修队,但你得理解空间、理解逻辑、理解我的需求,这也是一种理解。所以物理世界模型不见得一定要有动作。

这是世界模型和具身智能放在一起谈以后,产生的一个误区。而实际上,具身智能是一个落地场景;而世界模型是一项通用技术,两者不能混为一谈。

正如刚才提到的,判断一个世界模型的真假,需要看它为了什么目的,做了什么技术取舍。

给人看的那一类,不在乎真不真。比如把杯子扔出去、 它掉下来,只要有扔上去、掉下来的动作就行。很多学术文章已经证明,生成的内容并不符合物理定律,但没人在意。只要不出现没手、五个手指变成六个这种明显反直觉的错误,就过得去;至于手能不能以很怪的角度捏过来,人在视频里看到也不会介意。

此外,还有一些漫画、动漫相关的内容,模型甚至为了让人看得爽,会加入反直觉的物理特效,训练数据里也混杂了大量这类反直觉特效。

另一类需要到物理世界去用的,比如我们做的隐空间物理世界模型,错了就是错了,对了就是对了,追求的是动作的准确性和任务完成度。

对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」
对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」

▎AI科技评论:行业头部研究者正在出现技术路线分化。你提到的隐空间,是Yann LeCun主张的一条路线;此外还有李飞飞的空间智能、英伟达的物理仿真。你如何看待这种划分?

于开丞: 路线要锚定到各自要解决的问题本身。他们的路线划分最大的原因,在于各自的目标不同。

此前我们与 Yann LeCun 有过一次交流。他的目标就是物理理解与物理操作,走的是“把世界压缩成抽象表示”的模型路线;李飞飞团队做的是空间智能,产品落地场景包括游戏和虚拟资产,这从一开始就是她明确的目标方向。

英伟达则不同。它的目标就是卖卡。既然卖卡,就必然围绕计算来做文章,也就是在 Omniverse 里通过计算产生各类求解器,做成物理仿真器。它做这件事的价值,就在于:物理仿真背后是渲染,是建立在 GPU 上的大规模管线单元利用,而这正是英伟达最擅长的事。

所以,路线分化本质上是由基因决定的:目标不同,取舍就不同,路线也就不同。

对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」
对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」

于开丞与Yann LeCun的合照(照片由受访者提供)

▎AI科技评论:你与Yann LeCun 同属隐空间路线。他经常公开批评像素路线,你是否认同?

于开丞:我精神上高度认同他,因为我自己此前也走的像素生成路线,后来又亲自把像素路线否定了,换到隐空间路线。

在隐空间路线上,我们隐空间物理世界模型在具身智能、物理世界理解等六个国际主流评测榜单上拿下了评测第一,这些成绩确实能够证明这条技术路线是有用的。换句话说,这不仅仅是“我相信这个赛道”的信念问题,是通过实实在在的成绩证明了它的有效性。

但对于他的具体技术架构本身是否值得跟进,我持谨慎态度,并且也在持续关注他们的进展。

▎AI科技评论:在你看来,隐空间路线的优越性体现在哪里?

于开丞:隐空间,是指把连续的视觉信息压缩到语义空间去理解和推理。

首先,这条路线可以借助语言模型的发展。语言模型训练了大量语料库,产生了一套很好的“价值分离器”。它已经把很多人的知识在最底层逻辑上分得很好了。

我们做世界模型时,一定要继承这套分离机制,让它与语言模型形成上下握手的连接,帮助底层的世界模型更好地训练。如果没有语言模型、只训世界模型,难度可能会变成 100 倍、1 万倍。

其次,如果我们把小猫、小狗的大脑当作一个世界模型,它们看懂世界,也能预测未来,还能做出判断和行动。那我们如何控制它,并且让它准确地满足我们的期待呢,那就需要用到语言。我们需要用精准语言告诉它,想让它做什么。

▎AI科技评论:关于准确性问题,我有一个疑问,比如说机械臂分拣回形针这个场景,是不是需要足够高清的像素来做区分,语义空间会不会让它无法分辨回形针?

于开丞:隐空间的输入同样可以是高清的像素,只不过理解和推理是在语义空间进行的。它的语义理解是绑定了物理实体的:机械臂能看到一段关于回形针的高清视频,语义层将其识别为回形针;但并不意味着识别之后,就把像素信息全部丢弃,只保留“回形针”三个字。这个语义概念一定是与一个物理现象的概念绑定的。

我们再以“猫”、“狗”打比方。语言模型已经通过大规模语料,为文字建立了一套清晰的向量化逻辑关系:“猫”与“狗”在语义空间中距离较近,因为同属动物;“猫”与“筷子”则相距较远。

把这种语义结构引入世界模型作为引导,价值很大,否则世界模型就得同时从零学这两件事:既要在视觉上分清猫狗,又要从零学会“猫”“狗”这两个字怎么写。相当于需要同时处理多项任务,难度自然陡增。

“猫”和“狗”两个概念早已在人类课本里写得清清楚楚,老师教孩子会直接告诉他“这是猫、那是狗”。而一个无人告知“什么是什么”的原始人,同样能看见猫、看见狗,却没有任何人告诉他这些分别是什么。两者认知世界的速度,完全不可同日而语。

▎AI科技评论:Yann LeCun 那条纯隐空间路线有一个已知问题叫“表征坍塌”。你们结合了显式的视频生成框架,是否也会遇到?怎么防止?

于开丞:相对来讲好一些,但训练量不够大的时候,也会遇到。因此,我们一方面持续扩大训练规模,另一方面引入文字信息作为 caption 约束,以抑制表征坍塌,这相当于用“脚手架”把它支起来。

如果没有任何外部约束、让模型完全自行学习,表征很容易坍塌。一旦坍塌,模型就失效了,无法正常工作;只要 loss 正常下降,模型就没有问题。

▎AI科技评论:你的技术路线引入了“可组合的物理概念”。李飞飞空间智能路线的核心研究者之一、斯坦福助理教授吴佳俊,也有给空间理解推理引入物理先验的工作。你们的做法和吴佳俊有什么区别吗?

于开丞:我们的思路本质上是一致的,都是给空间理解引入物理先验。我认为这个方向是正确的,而且我跟佳俊也熟,他很有使命感,带的团队确实优秀:在华人学者中,他带的学生质量,应该是数一数二的。

此外,跟我们路线相同的还有一位徐丹飞,他做了一个组合式世界模型( compositional world model),在 RSS 2026 上还做了成果展示。

这就是英雄所见略同。这个方法思路,我们定得更早,也不比他们差,我们该怎么做就还是怎么做。而这些优秀团队选择这个方向,也给我们提供了一些信心和交叉支持。

对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」
对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」

▎AI 科技评论:世界模型这个赛道火起来的时候,也伴随着很多喧嚣声,反而会淹没一些真正在做事的团队的声音。你怎么看待这个现象?

于开丞: 我觉得有一定影响,但不多。因为最终大家是要交卷的。我们这次在西湖世界模型中心成立仪式上发布的世界模型Awomo-0.5,也是一次交卷。

这个模型,在Physics-IQ、RoboTwin-c2r、MolmoSpaces、RoboDojo Sim 等评测基准上都拿下了第一的成绩。借这个机会,我们也统计了下世界模型各个赛道的打榜情况,我们应该是唯一一个能在这么多不同的评测榜单上都拿到这种结果的团队。

所以我也相信,最后大家一定是要拿成绩说话的。光靠吆喝,只能吆喝一阵,很快就吆喝不动了。

▎AI 科技评论:这次发布的模型,跟同赛道其他世界模型相比,最大的特点在哪?

于开丞: 我们公司成立的时间并不长,今年初才成立。竞争对手既有老牌团队,也有新团队。所以,我们走的是“井冈山”的路子,用非常聚焦的打法,把模型优势放大。

过去四个月时间里,我们做的事情是:把模型结构定好、验证清楚,把模型基础设施建好,把数据管线做好,把评测乃至整套数据闭环的管线搭建起来,然后让它运转起来,把生产线的各个环节优化到极致,再推进训练。

沿着这套思路和这套快速响应机制,我们的模型架构迭代非常快,模型效果会不断往上冲。

这个过程中,其实也有西湖世界模型研究中心的深度参与。在研究中心正式发布之前,我们就已经跟西湖大学的一些老师合作起来,并且已经有了成果产出,这些都为模型能力的提升提供了基石。而学术界的老师,也通过我们这个模型,验证了学术成果的价值。

对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」
对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」

但它检验模型能不能上“牌桌”

▎AI 科技评论:目前世界模型还比较初阶段,交卷更多的是交榜单上的成绩单。但榜单也没有那么成熟,甚至有榜单发起人都表示,刷榜的模型,距离“真正用起来”,还有比较大的差距。你怎么看待榜单现存的这些问题?

于开丞: 确实,榜单现在的问题主要还是体现在虚实之间的差距:它评价的模型基本能力,在虚拟世界跟现实空间之间,并不一致。所以榜单还没有做到 100% 可信。也正因如此,我们做了很多真机上的测试与评测。

但反过来看,它又是一个很公平的验证工具。模型在这个阶段需要这些榜单,到了下一个阶段需要下一批榜单,大家还在不断攀登,仍有很多值得探索的内容。而且随着模型不断扩大和迭代,刷榜会越来越容易。

但模型团队要警醒的一个点是:如果把刷榜当成一个目标,盯着一个榜单刷,刷出再高的成绩,其实并没有什么实际价值。尤其是有些团队,举全员之力干各种脏活累活,把一两个榜刷上去,是非常容易的“作弊方式”,但很耗时间、很耗精力。

所以我们选择了另一种不容易作弊的方式:多榜一起刷,单臂的、双臂的,没有视频只有操作的,没有操作纯视频侧的,不同类型的榜单,我们都在上面测。

而且我们在榜单上投入的平均人力也才半个人到一个人。所以,我很有底气地说,我们在榜单上拿到的成绩,就是我们基础模型的真实能力的检验结果。

但不可否认,榜单检验的是基础能力,不是全部能力。

▎AI 科技评论:也就是说,你认为榜单不代表全部,但是能检验是否“有上牌桌的基础能力”?

于开丞: 是的。虽然榜单总被诟病,但它某种程度上还是能体现这种能力。更关键的是,它是相对公平的:榜单是公开的,这就避免了很多公司“我的模型在某某场景下做得非常好”这种自说自话式的吆喝。

包括很多放出来的 Demo,你都不知道是不是摆拍,没法验证,甚至有时候只能靠投资人的人格担保。

榜单确实不是唯一的。刷得高就一定好?不一定。但反过来看,连榜都刷不上去,那模型能力到底如何,就更要打个问号了。因为一个真正的通用模型,现实世界解决得好,虚拟空间作为简化版,应该解决得更好。

对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」
对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」

▎AI 科技评论:9月份的时候,GPT-6 Astra 登顶 RoboDojo 榜单,对世界模型赛道造成了很大的冲击,甚至一些投资人开始质疑“世界模型的必要性”,你怎么看?

于开丞:我特别理解他们的这个逻辑,所以我一开始就强调过一个观点:世界模型这项技术,要看它的适配方向。语言模型擅长的是思维链,世界模型擅长的是与物理世界实时交互。两者不是替代关系。

从浅层来看,语言模型设计之初就是为思维链服务的,它要先一步一步把推理过程走完,再给出结果。哪怕加了图像思维链,能看图了,底层仍然是一个复杂的思考过程。

纯文本任务里,模型想两三个小时也没关系;但机器人控制是实时的,语言模型光“想”就要两三秒,机器人根本就等不起这两三秒,任务就已经失败了。

从更深的层面来看,语言模型实现具身操作,底层逻辑是 code as policy,也就是写代码。写代码本质上是高级的工业自动化:人把任务拆成步骤,写成程序,再让机器去执行。

工业自动化的长处是能应对一些非常规场景,但短处也很明显:模式很固定。每换一个新环境,就得重新写一套代码,再重新调试、重新控制。在纯文本任务里,模型可以慢慢写代码、慢慢调试;但物理世界是实时变化的,机器人根本无法等模型写完代码再改动作。

因此,语言模型对具身智能的演进有帮助,这不可否认;但想让它直接替代具身模型,不可能。

对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」
对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」

用“小米加步枪”的打法,

▎AI科技评论:你的产业公司数智,今年1月份就成立了,但8月份才对外亮相。这个赛道这么拥挤、你又起步这么早,为什么选择比较晚的时间冲向市场?

于开丞:我们还是比较有学术自律,希望等一些事情落地之后再官宣。赛道有热有缓,有些急的钱拿了不一定就是好事,公司估值一下子冲到特别高可能也存在问题,任何选择都有两面性。

因此,我们内部做过评估,决定按自己的节奏推进:有了扎实的成果就往前走一步,再有新的成果,再走一步。资本的钱并非免费,拿了就要承担很多压力。

▎AI科技评论:数智跟你在学校负责的 AutoLab 是什么关系?

于开丞:数智是从 AutoLab 孵化出来的。现在大部分学生都在公司实习。这也是我刚加入西湖大学就想做的事:产学研联合培养。我认为只靠一个实验室,力量还是比较单薄的,需要产业力量共同参与。

在世界模型的研究上,AutoLab跟数智是合作关系,学校提供的是人才,公司提供算力,以及拉通校外、海外的数据和资源。

▎AI科技评论:公司团队现在已经完整建好了吗?

于开丞:到六七月份,团队的建制才比较完整。目前40个人,包括20 个学生、20 个正式员工。正式员工除几位职能员工外,都是技术人员,基本都是产业老炮和小天才出身。整体还是研发密度型的团队。

▎AI科技评论:数智有对标的公司吗?

于开丞:完全对标的公司,目前还真没有。这是因为西湖大学的独特之处:我们有非常多的生命科学和化学领域的专家和顶尖实验室。基础模型做完之后,下一阶段马上要做的事情,就是怎么赋能他们做好科研。后续我们会官宣更多技术和产品细节,到时候行业一定能直接地感受到我们的独特性。

▎AI科技评论:你既有厚重的学术经验,又有丰富的产业经验,你认为这些经历会如何帮助你在世界模型赛道冲出来?

于开丞:正是因为有这些经历,我才对世界模型有这种本质的理解,并且能拿得出可验证的技术成果。

到 10 月底,我们已经完成闭环验证,证明这件事可行、有效,而且是在这么小的资源体量下证明的。我们比很多公司穷得多,坦率地说,用这么少的资源把世界模型做出来并验证有效,我们做得出来,别人做不出来。

这就像当年长征,用“小米加步枪”的打法也能走出一条路。我们也常拿这段历史激励自己,忆苦思甜。

并且,我们要打的不是国内这些公司,我们要打的是欧美。从国内赛道来看,我们更希望找到“一圆桌”的合作伙伴,一起去跟欧美 AI 打擂台。

也正因为如此,过去一段时间我们一直在聚势:跟学校的逻辑、跟政府的关系、技术模型的能力建设、合作伙伴的关系,都是在这段时间准备好的。

接下来,我们要 scale 一个基建。我们走得相对较慢,是因为我们想走得更稳,能够真正打牢地基,去真正scale世界模型的整个技术进展。

对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」
对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」

为什么还要专门成立一个研究中心?

▎AI科技评论:你在西湖大学有 AutoLab,产业端也成立了数智公司,现在又牵头成立西湖世界模型研究中心。有什么是目前的实验室和公司承载不了、需要另外专门成立一个研究中心来承接的?

于开丞:成立专门的研究中心,是为了把产学研做得更扎实、更深、影响力更大。

以前是 AutoLab 跟数智公司结合,配合不错,但力量很小。如果能借这个机会把西湖大学的力量都团结起来做这件事,就不一样了。

所以研究中心的名字我们特意取做“西湖世界模型研究中心”,希望世界模型的研究以西湖大学作为起点,后续吸纳更多的人加入。研究中心第一期合作伙伴有德国机构,还有国内的公司、创业团队等,已经开始“走出”西湖了。

对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」
对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」

▎AI科技评论:你大概是什么时候有成立研究中心的想法?

于开丞:3月底就有这个想法了。当时施一公校长其实已经同意了,但具体的落成,需要经过一系列的审批过程:从我们人工智能系、工学院,到校委会,都需要逐级审核和推进。整个学校的领导层都知道我们要成立世界模型研究中心。我们也有广泛收集意见,这个研究中心可以说是得到了全校的一致支持。

▎AI科技评论:北京有通用世界模型实验室,还有北大跟逆矩阵联合成立的世界模型联合实验室。西湖大学相当于是第一个纯学术机构成立的世界模型中心。你怎么看待它的角色定位?

于开丞:我们希望研究中心先以西湖大学为起点,把基础研究做扎实;再往下一个阶段,往省级乃至国家级平台报送,承接纵向的科研使命。

从行业来看,目前世界模型这个技术主要用于具身智能,但就应用场景而言,我们认为还有很多亟待探索的地方,比如,能不能用世界模型做科研,驱动生物学、化学等学科的进步?

我们最大的独特性在于,我们要做的是通用世界模型,让这项通用技术能够用到各类基础学科和不同的行业领域。

▎AI 科技评论:你现在身兼三职,学校负责实验室、要带学生,又是公司创始人,和世界模型研究中心的负责人。如何协同好这几个不同的角色?

于开丞: 这得益于西湖大学的人才机制,它能够保障我的这几个角色彼此不冲突。某种程度上,西湖大学的一大特点是:能够最大可能地缩短研究到产业的转化周期。这也是我能够将学术、产业之间的研究和合作跑通的基础。

这三个角色本质上都是在做一件事,做一个通用的世界模型,真正把技术做出来,赋能到跨学科学术问题和各个领域的场景应用,真正为社会带来价值。

对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」
对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」

做科研,“不假装努力”很重要

▎AI科技评论:你的两位博士导师 Pascal Fua 和 Mathieu Salzmann,都是几何视觉的大牛。两位老师对你有什么影响?

于开丞:Pascal 是一个很浪漫的法国人,很聪明,也很拼,现在60多岁依旧很拼。他对学术有很好的判断力,也坚持从直觉出发去抓本质,这一点我还是挺敬佩他的。

Mathieu 现在是瑞士数据科学中心副主任。我对他最深刻的印象是:他能把一天的工作高效且精准地压缩在 8 个小时里。早上 8 点准时到,送完孩子就来;晚上 6 点准时走。能一直维持饱满的精神状态,时间控制能力非常强。

这种状态是非常合理的。工作时长跟实际工作效率往往成反比:工作时间越长,工作效率越低。一天干 16 个小时,脑子是不转的。写代码、真正思考解决问题的工作时间,一天 8 小时已经是上限。

加班最厉害的是美国的博士生。他们一天把自己搞得很累,但贡献并不高。中国学生去美国读 5 年博士,不也发表三五篇文章吗?跟欧洲博士学生的产出没有本质的区别。所以卷与不卷,归根结底在于是否直面真实的自己。

总体而言,欧洲的博士经历以及两位导师,给了我很多启发,让我对人生的多样性有了更多判断,对人生的完整性有了另一层思考,并且潜移默化地影响了我的整个科研节奏和坚守。

对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」
对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」

于开丞与两位导师的合照(照片由受访者提供)

▎AI科技评论:你读博期间一项重要工作就是发现“AI自己设计出来的网络,换个数据集就不灵了”,这个问题被NAS workshop列为全行业三大核心问题之一。这种问题导向的思维是如何形成的?

于开丞:你对我做了非常充分的背调啊(笑)。问题导向确实是我做学术的基本思路。我现在回想,为什么我的学术研究这么顺利,关键在于这种问题导向的学术思路。

实际上,我博一的第一篇论文就比较 trivial,是导师给的题目,没有那么问题导向,所以这个题目做得比较痛苦,虽然也能做出不错的成果,但是感觉不是很好。

第二项工作就是你刚刚提到的那个 NAS 问题。当时,我们一开始是沿着某家大公司的一项基础研究往下做,想在这个基础上继续优化。但在过程中,我们很快发现,无论尝试各种思路,都很难提升搜索模型长期而稳定的效果。那时候挺绝望的。因为我们大量实验表明,很多 baseline 工作,效果甚至不如随机搜索。

但转念一想,会不会是这个研究基础本身就有底层缺陷?一开始因为这是出自大公司的研究,没往“基础假设可能有问题”这个方向想。但有了这个苗头之后,我带着实验室的一位实习生做了大量实验,最后发现并指出了这个工作的底层问题,也就是之前工作的一个基本假设从根本上可能就不成立。这个发现,当时在领域里也引发了大量讨论,并引出了后续很多工作。

因此,通过这项工作,我更深层地理解了:做研究不应该预设某个前提一定成立,要回到最底层的逻辑去深挖:这个前提到底成不成立。

也是从那个时候开始,我就养成了这种底层思维。开始一个研究之前,会先想:这件事情到底值不值得做?现在我自己带博士生,也会建议他们用这种底层思维来判断选题价值。但并不是每个人都能接受这个观点。

(笔者注:于开丞博士期间在 NAS 方向的工作,是一条“先找问题、再给解法”的链条。ICLR 2020 论文《Evaluating the Search Phase of Neural Architecture Search》指出,主流 NAS 算法在搜索阶段的表现与随机采样相差无几,权重共享会破坏候选架构的排序,导致搜索失效,这一发现被 NAS workshop 列为行业三大核心问题之一。CVPR 2021 论文《Landmark Regularization: Ranking Guided Super-Net Training in Neural Architecture Search》提出排序引导的超网训练方法,提升各类 NAS 算法的鲁棒性,为上述问题提供了一条新思路。高通创新基金对应的正是这条 NAS 研究线。)

▎AI科技评论:现在科研圈比较卷,很多时候问题导向的方法,不如调优方法那么快出成果。

答:我同意也不同意,我更认为这是“不思考”的一个借口。

有很多人经常把自己搞得非常忙、非常累,天天说“老师,我努力了”,但我觉得他们没有面对真实的自己:不断地把时间填满,好像自己在忙,但一问结果,根本没有结果。

对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」
对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」

在世界模型这个遍地焦虑的创业赛道里,于开丞身上有一种少见的松弛感。

作为一位身兼产学研三职“一号位”、刚带着四十人团队打完六个榜单的创业者,当问到是否会很累时,于开丞的回答是:“没有,我的生活很规律,我也很享受这个过程。”

在他看来,当一个人承受过大的压力时,那绝对是底层的运行机制没有跑顺,核心精力没有放在最有价值的事上。“累”在他这里,并不是努力的证明。

对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」
对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」

于开丞日常生活照(照片由受访者提供)

这种状态从何而来?答案在他博士五年的欧洲时光里。从 Pascal Fua 和 Mathieu Salzmann 两位导师身上,他学到一堂受用至今的课:抓本质矛盾。

这堂课,最先刻在他的研究路线上。博二那年,他抓出 NAS 的行业级核心问题,提出新解法,拿下高通创新基金;回国加入达摩院,以 BEVFusion 在自动驾驶圈成名;又因为自动驾驶的一个现实困境,靠研究直觉一头扎进世界模型无人区。

从 NAS 到自动驾驶,再到世界模型,他每次换方向都不是追热点,而是被一个具体的问题推着走。

支撑这条研究路线的,是另一重修炼:不内卷,不“假装努力”。他敢于直面自我,反复问自己“做的事情到底有没有价值”,没有价值的事不做。在他看来,现在很多学生“看上去很忙、很累,却拿不出结果”,恰恰是“不思考”的借口,更是科研里最浪费的一种状态。

把这两件事放在一起看,他后来那些看似“不合常理”的选择,就都顺理成章了。

为什么在世界模型无人区里走了三年,等到今年 8 月才让产业公司对外亮相?因为技术成果没验证之前,亮相没有意义。

为什么在一片“世界模型还有没有必要”的质疑声中,他依旧坚定地推动西湖世界模型研究中心落地?因为这个问题他问过自己千百遍,答案是“100%有价值”。

这种笃定,或许也和欧洲留学经历有关。在那里,他看到了人生的多样性,也对人生的完整度有了另一层思考。学术不是唯一的路径,成功不是只有一种形状。见过更广阔世界的人,反而不容易慌张。

于是,在“快科研”成为默认节奏的喧哗声中,他等到万事俱备才把产品发出来:通用世界模型 Awomo-0.5,40 亿参数,在具身智能、物理世界理解等六个国际主流评测榜单上同时登顶。

而他要打的这一仗,从来不止在国内。世界模型国内赛道“一圆桌的人”要拉齐,去欧美 AI 力量把持的擂台上打。

“对的事,才值得做。”这句他说了很多遍的话,如今已经不只是说给自己听的信仰,更是“六个榜单第一”给出的公开答案。雷峰网雷峰网(公众号:雷峰网)雷峰网

雷峰网原创文章,未经授权禁止转载。详情见转载须知。

对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」
对话西湖大学于开丞:通用语言模型再强,物理世界也「等不起」

The text above was extracted automatically from the source page and may miss images, tables or code blocks. The original is authoritative.

Published by 雷锋网
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗