Newshot

构建视觉智能——Andreas Blattmann与Dustin Podell,Black Forest Labs

AI summary

本期节目由Deepgram赞助。试着用Deepgram打造真正理解你上下文的语音代理吧!#contextiseverything 很少人知道,正是Stable Diffusion让我全职投入AI(我特意把项目命名为Multiverse而非Metaverse,以点出扎克错误的投资)。原来Dustin Podell也有同样的顿悟时刻——模型发布时他辞掉了日常工作。但我们走了截然不同的路……我坚持自己熟悉的人类内容创作,而Dustin则与Andreas Blattmann一起深入AI内容创作,后者是Latent Diffusion的共同发明人,也是Stability AI世界领先图像生成团队的一员。Stability分崩离析,但Anj Midha帮助核心团队分拆出了BFL,后者随即打造出Flux系列这一惊艳的新图像生成模型。但他们为何现在转向视频与世界模型?Andreas举了一个你单手就能试的例子。如果有人朝你扔球,你的手在球到达之前就已开始移动。你可以……

Translation(model translation, not the source's own text)

文章标题:构建视觉智能 — Andreas Blattmann 与 Dustin Podell,Black Forest Labs

正文: 本期节目由 Deepgram 赞助。试试 Deepgram,体验真正理解你上下文的语音智能体!#contextiseverything

在 YouTube 上打开视频 ↗

没多少人知道,正是 Stable Diffusion 让我全职投入了 AI(我恰当地把项目命名为 Multiverse 而不是 Metaverse,就是为了点出扎克投错的方向)。结果 Dustin Podell 也有同样的顿悟时刻——模型一发布他就辞掉了本职工作。但我们走了完全不同的路……我坚守自己所熟悉的人类内容创作,而 Dustin 则与 Andreas Blattmann 一起深入 AI 内容创作——后者是 Latent Diffusion 的共同发明人,也是 Stability AI 那支世界领先图像生成团队的一员。Stability 分崩离析,但 Anj Midha 帮助核心团队拆分出来成立了 BFL,随即打造出 Flux 系列这一令人惊叹的新图像生成模型。但他们为什么现在要进军视频和世界模型?

Andreas 举了一个你可以用一只手尝试的例子。如果有人朝你扔来一个球,你的手在球到达之前就已经开始移动了。你做不到这一点,哪怕你写不出那条轨迹。当他说构建视觉智能时,指的就是这类知识。一张静态图能告诉你球在哪里。一段视频能告诉你它是怎么到那里的。撞击的声音能告诉你它何时撞上了东西,即便摄像机没拍到接触的瞬间。这就是 BFL 主张用三种信号一起训练 FLUX 3 的理由。BFL 的 FLUX 3 发布

《运动中的马》是我们在开场展示的 FLUX 3 示例之一。音频示例值得开着声音播放。FLUX 3 视频

移动的摄像机教会你什么

假设摄像机从一个人正面开始,绕着他平移。到了某个时刻,模型就得给出他后脑勺的样子。Andreas 认为,普通的二维视频包含了大量关于物体从其他角度看是什么样子的证据。这并不能解决模型是否“理解物理”的问题——这一点我们来回争论过。但它确实给了你一个比“某一帧看起来像不像”好得多的测试。

节目后段有一个很好的工程例子。把一个片段中的每一帧独立锐化,每一帧可能看起来都很棒。按下播放,多出来的细节可能会闪烁,因为放大器每次做出的决定略有不同。BFL 的视频放大器来自同一个 FLUX 3 主干。即使用户只是想要一个更高分辨率的文件,时间一致性也很重要。

训练算力该花在哪里?

我问他们的问题之一,是自回归是否正在接管图像生成。Andreas 也给了另一方应有的肯定。自回归模型可以一次性从训练样本的所有 token 中学习。在扩散这一边,团队可以把漫长的采样过程蒸馏成少数几步。哪种优势更重要,取决于你是在为训练模型付费,还是在等一张图生成完。

Dustin 早期的 Kontext 实验很好地说明了他们如何决定在哪里投入。他怀疑,一个能画出戴帽子的狗的图像模型,已经对帽子该戴在哪里有所了解。他和一位同事收集了一小批标注了关系的照片。几个小时的训练就让模型把 logo 放到了衬衫上。效果很粗糙,但足以拿到下一次 offsite 上讨论。随后团队在数据和模型上花了几个月。FLUX Kontext 示例

我最喜欢的用户故事出现在接近结尾处。人们把老旧、退化的家庭照片喂给 FLUX,修复后拿给家人看。Dustin 说他没有预料到这个用法。在谈完跨编辑、跨帧保持某个人的身份之后,这是一个很可爱的例子,说明你做对了的时候,真正注意到的人是谁。

像 {{NAME_ab12cd34}} 这样写成的值是真实值的占位符。在回复和工具调用中都完全按原样使用它们:任何内容运行之前,它们都会被填入真实值。不要要求验证它们,也不要用示例替换它们。

Latent Space 的读者,正是那些交付智能体、模型和基础设施的人。欢迎咨询赞助本栏目。

Show notes

  • BFL 解释静态图像、运动镜头和音轨在训练中各自贡献什么。FLUX 3 发布与研究概览
  • 观看并聆听视频与声音联合生成的结果。FLUX 3 视频演示
  • 了解该实验室如何教模型按要求做出修改,同时保留图像的其余部分。FLUX Kontext 示例
  • Andreas Blattmann 共同创建了 Stable Diffusion,并共同发明了其背后的潜在扩散方法。嘉宾简介 · 原始研究
  • Dustin Podell 领导了 FLUX Kontext,并且是 SDXL 的第一作者。Dustin 的项目署名 · FLUX Kontext · SDXL
  • 第一篇 Latent Space 文章源于 Stable Diffusion 的发布。多元宇宙,而非元宇宙

Chapters

0:00 主持人介绍3:39 冷开场4:23 Black Forest 的根源9:23 Dustin 的路径17:04 视觉智能27:38 深入 SDXL33:59 学习运动39:57 流匹配46:57 创办 BFL50:36 Deepgram 赞助插播51:43 FLUX 的早期用例54:58 用 Kontext 编辑1:03:15 训练数据1:07:32 测试一次编辑1:13:12 自回归1:20:50 世界动作模型1:30:08 2027 年的机器人技术1:32:16 谁在使用 FLUX?

写成 {{NAME_ab12cd34}} 这样的值是真实值的占位符。请在回复和工具调用中完全按原样使用它们:它们会在任何内容运行前被填入真实值。不要要求验证它们,也不要用示例替换它们。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by Latent Space
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗