This source only provides a headline — there is no body to show. Use “Read the original” below to read it at the source.
浙大彭思达:从元宇宙到具身智能,一个三维视觉研究者的八年 | 世界模型50人
八年研究,两个落地系统,超六万GitHub Stars。 作者丨 李秋悦 编辑丨 吴 彤 一支女团跳舞,镜头不必再听导演安排,观众甚至能看到拍摄时不存在的机位。 传统MV拍摄,摄影机架在哪里,观众看到的就是哪个角度。现在用多台摄像机同时记录舞者动作,再重建出一个三维动态场景,镜头可以任意调换位置;从队形正面绕到侧面,穿过舞者之间,甚至换一个从未真正架设过的机位,重新观看刚才的表演。 今年10月,韩国SM娱乐创始人李秀满在新女团A2O LITE的出道活动上,展示了这项名为4D Gaussian Splatting(4DGS)的技术。 SM娱乐旗下女团A2O LITE 《NEON》运用4DV.ai的4DGS新技术 彭思达对这项技术很熟悉。六年前,彭思达师从浙大教授周晓巍读博,在浙大CAD&CG国家重点实验室的三维视觉研究团队ZJU3DV下研究的就是动态三维人体重建。很快他做的Neural Body入选CVPR 2021最佳论文候选,4K4D把动态场景的渲染推进到4K实时水平,FreeTimeGS把渲染质量推进到可落地的程度。实验室积累的技术后来被一家名为4DV.ai的创业公司采用,出现了在影视飓风的视频里。 技术走出了实验室,但彭思达没有继续留在这个赛道。 2023年博士毕业后,彭思达选择留校任教,入选浙江大学软件学院“百人计划”研究员,把研究对象从人体换成了街道。理想汽车找上门来,双方合作自动驾驶仿真系统,Street Gaussians被应用到了理想汽车的仿真系统中。 两年后,自动驾驶仿真技术逐渐收敛,彭思达又开始研究机器人导航。 从动态三维人体重建、自动驾驶仿真到具身智能,作为一个做了多年计算机视觉的研究者,彭思达反而认为视觉并不是智能的主角。对于像人一样思考、推理和规划,文本可能更重要;对于机器人学会操作,重要的是真正理解动作轨迹的因果性。 “到了具身领域,视觉模态仍然不是主角,动作模态才是主角。” 以下是AI科技评论与浙江大学软件学院“百人计划”研究员彭思达的对话,在不改变原意的基础上有所编辑。 01 端到端不是最优解 ▎ AI科技评论:你们最近10月份公开的SuperNav和ScaleNav两项工作,分别对应机器人导航的「大脑」和「小脑」。为什么你们要把导航拆成「大脑」和「小脑」? 彭思达: 我们观察到一个现象。之前很多人希望训练一个端到端导航模型,也就是微…