Newshot

OpenAI 仍面临 WebRTC 问题

Translation(model translation, not the source's own text)

文章标题:OpenAI 仍然有 WebRTC 问题

正文: 2026 年 10 月 27 日 · kixelated

OpenAI 仍然有 WebRTC 问题

在上一期节目里,我痛骂了 OpenAI 使用 WebRTC,结果在 Hacker News 上火了。

非常感谢 Sean DuBois 和 Justin Uberti(OpenAI 的 WebRTC 专家)在我那通失控 rant 之后主动联系我。你们完全可以只说一句 @kixelated 你个傻子,但你们没有。

唉,我这场被神圣授命的讨伐 WebRTC 的圣战还没结束。deus vult

热辣观点预警

假设你是某个前沿实验室的 vibe coder,正在做一个语音 AI 产品。假设你正在赚(也在烧)一笔天文数字的现金。假设你的一个用户开口说:what is le capital of France?

如果你的 AI 哪天回复:

抱歉,你那边断断续续的,能再说一遍吗?

那你就搞砸了。你就不该为语音 AI 选 WebRTC。

潜藏其下的危险

你启动了你最爱的应用:ChatGPT™。你点开麦克风,哼了一声:

What is le capital of France?

哦不,假设突然发生丢包。一只海怪啃了某条海底光缆。很常见,我担心。

WebRTC 是为电话会议设计的,也就是真人、真声音。它极其激进,会丢弃任何迟到的音频包来保持实时延迟。就像 Leonardo DiCaprio 一样,超过 30ms 都算太老了。

图表:WebRTC gives up on late audio

这对语音 AI 产品来说挺糟糕的。你走出 wifi 范围、进入蜂窝盲区,或者 starlink 终端切换卫星。糟糕,你的 token 白费了,或者更糟,AI 开始猜你说了什么。

WebRTC 通常能检测丢包并重传。但音频的重传默认是禁用的。就算启用了,音频 jitter buffer 也不会等重传。

但为什么不呢?这不是网络入门 101 吗?把那玩意儿再发一遍不就行了?

因为我们。

你的速度

我们这些肉袋子以“实时”方式消费/产生音频,也就是人类时钟速率。我们的神经元只能以那么快的速度放电。

对于像 Google Meet 这样的实时会议产品,延迟需要接近零。任何延迟都超级烦人,所以 WebRTC 会倾尽全力把它降到最低。

阻塞等待重传会造成延迟。这是 TCP 的致命缺陷,也是 WebRTC 一开始就基于 UDP 的原因。更糟的是,重传会在恢复时造成音频的突发爆发。

这是糟糕的用户体验。人类不想先等待,然后以 10 倍速处理一段音频。WebRTC 反而主要*依赖人类的重新说话。

你:What is le … France?

你:我说,what is le capital of France?

  • 在某个 WebRTC 战士在 LinkedIn 上喷我之前,先读一下修复它修复它修复它那一节。

我们注定要平庸吗?

那时钟,那焊锡小子

当然不是。醒醒老头子,现在不是 2020 年了。互联网不再是为我们那软塌塌的嘴唇准备的了。

我们的机器人霸主基于硅时钟速率产生/消费音频。我们把电塞进一块石头,现在它几分钟就能读完一座图书馆。生在这样的时代真好。

语音智能体可以比实时更快地听和说音频。以 20 倍速听?没问题。以 20 倍速说?没问题。

人类卡在实时。我们说得太慢,所以语音转文字必须等我们。我们听得太慢,所以文字转语音必须等我们。

WebRTC 是为人类设计的,不是为语音 AI 智能体设计的。这些可怜的机器人被我们的平庸拖了后腿。

我需要上下文

说到 LLM,延迟预算就变得很奇怪。

通常你会把延迟理解为一声哼唧穿过一个铁罐所需的时间。然而,LLM 阻塞在上下文上。

我需要上下文
我需要上下文

这里有个上下文随时间增长的蠢例子:

  • 3s:What is le
  • 4s:What is le capital
  • 5s:What is le capital of
  • 6s:What is le capital of France?

OpenAI 仍然面临一个 WebRTC 问题

如果 LLM 在获得完整上下文之前就试图回答我的提示,结果会糟透了。France 就是守门员,它之前的一切实际上都是前提条件。在这个例子中,关键的是最后一个数据包的延迟。

那些被海妖攻击的可怜数据包呢?WebRTC 实际上有几秒钟的时间来重传,而且没有延迟惩罚。AI 代理可以比实时更快地处理以赶上进度,而最终用户(也就是你)完全察觉不到。

所以这就是 MoQ 先生做的事。一个数据包都不落下:我们持续重传,直到 AI 真正需要这段音频。

图表:MoQ 最多重传 5 秒

这也不昂贵:音频很小。1 秒的 Opus @ 64Kbps 是 8KB,原本作为 50 个小数据包发送,但可以重传为约 6 个 QUIC 数据包。我们有实实在在的几秒钟来重传 6 个数据包,以避免任何用户影响。

如果我们成功完成这项艰巨任务:所有上下文都及时到达了!

模型不再需要猜测。它也不再需要基于静音或失真进行训练。这是纯粹的用户体验胜利。

不只是麦克风

你猜怎么着?WebRTC 不仅对 STT 很糟糕,对 TTS 也很糟糕。

不只是麦克风
不只是麦克风

有趣的事实:WebRTC 根据音频(和视频)到达的时间来渲染,而不是根据它应该被渲染的时间。其他所有协议都使用时间戳,但 WebRTC 先生几乎不看它们,因为准确性不是目标。当然,它会把音频和视频调整到几毫秒的同步范围内,但如果你想在音频之后 500ms 才发送视频,那就祝你好运了。

这对语音 AI 来说是个巨大的问题。TTS 的生成速度快于实时,每个数据包都打上未来的时间戳。但为了在正确的时间用 WebRTC 播放音频……代理需要在发送每个数据包之前休眠。

而且如果有任何数据包丢失,我们的 TTS 就丢了,永远不会被重传,token 被烧掉,等等等等。

图表:WebRTC 以人类速度发送,放弃迟到的音频

要是有什么方法能指示每个音频数据包何时渲染就好了。某种戳记。

随机存取存储器

欢迎回到未来,Marty。我们现在比实时更快了。

RAM 有一个神奇的特性:贵得离谱。而且能够在本地存储东西。你知道的,比如需要通过扬声器播放的音频。

我们在每个音频帧上打一个时间戳,用它来决定何时从 RAM 中播放出来。荒谬,我知道。

图表:MoQ 尽快发送所有内容,播放器进行缓冲

这就是 Youtubes 在你失去网络连接时仍能继续播放视频的方式。MoQ 做同样的事情,但针对语音 AI。你那绝妙的烘焙食谱不会受到意外拥塞的影响。

别担心,2 分钟的音频只有 1MB。你不需要贷款再买一根内存条。

免责声明:此行为未经 IETF 标准化。只有我的 moq.dev 客户端(因此也包括 Pipecat)支持。如果你想和 Cisco 争论并把它纳入官方标准,请自便。

反派登场

那么 OpenAI 为什么在使用 WebRTC?

WebRTC 是实时对话音频的最先进技术。它通过 libwebrtc 在每个浏览器中可用,这是一个由 Google 维护的 C++ 单体库。它如此复杂和精密,以至于 Safari 和 Firefox 也使用 libwebrtc,而不是像其他一切那样凭感觉自己写一个。

问题在于 WebRTC 是 Google Meet 客户端。它专门为 Google 的会议产品设计,而不是他们的语音 AI 产品(他们用 WebSocket),当然也不是你的产品。

说实话,这相当反竞争的伎俩。Google 可以在不咨询其他浏览器厂商的情况下发布产品更新。没有其他会议应用能在 Web 上做到这一点。

有趣的事实:这就是为什么其他所有会议应用都推荐原生客户端。否则,它们最多只能与 Google Meet 持平。原生应用可以在 UDP 上为所欲为。

修它 修它 修它

所以,这就是为什么你那超豪华 ChatGPT™ 语音 AI 模型,在投入数十亿美元之后,竟然有脸问:你能再说一遍吗?

我可以连着几天吐槽 WebRTC,但这次我想换个方式,保持积极。下面是修复它的办法。

首先,我得承认 WebRTC 确实有这些优点:

  • NetEQ 很棒。它会根据抖动改变音频播放速度。但不会处理丢包。
  • 现在可以通过 SDP munging 启用音频重传(真恶心)。但 NetEQ 的抖动缓冲区不会等这些重传。
  • playout-delay RTP 扩展对语音 AI 来说非常完美。但它只支持视频。

要修复 WebRTC,我们需要请愿 Google 做到:

  • 为音频实现 playout-delay。
  • 允许抖动缓冲区增长,既向过去增长,也向未来增长(用于 TTS)。
  • 基于时间戳而不是感觉来渲染音频。
  • 我也不知道,弄个什么 RTP 扩展来提升轨道 generation(用于打断)。

当然,还要请愿更广泛的 WebRTC 生态做同样的事。

被把守

WebRTC 的主要问题仍将存在:Google 是把关人。

你的 Claude 朋友没法直接 fork libwebrtc 然后修这些问题。Web 支持需要 Google,至少得等到 Theo 花 $420k 用 Rust

OpenAI 仍然存在 WebRTC 问题

嘿,蠢货,你的博客文章错了。你没提到语音到语音?

听着,邓宁-克鲁格效应是上一篇博客文章存在的唯一原因。在评论区之前,我根本不知道语音到语音存在。我能说什么呢,不客气。

免责声明:我仍然没有对语音 AI 的现状做过任何研究。我完全允许你发推 @kixelated 说你很蠢。

语音到语音背后的理念是砍掉文本中间人。原本割裂的 STT -> LLM -> TTS 流水线被揉在一起,在保留语音上下文的同时降低延迟。OpenAI 是这个领域的先驱,他们值得大力赞扬。

所以这证明了 WebRTC 是对的,对吧?语音到语音的延迟可以低到足以证明丢包是合理的?

别急,文学稻草人。延迟和质量之间存在根本性的权衡。

延迟预算

你花在某件事上的时间越多,结果就越好。好事需要时间,就像 Fable 修改 README.md 中的一行,因为我太穷了,付不起 3.5 倍的价格用 ultrafast。

网络也一样。你传输某样东西的时间越多,质量就越好。这就是重传存在的根本原因。

除非你在做广播电视,它仍然使用 MPEG-TS,仍然导致一堆故障。说真的,你们搞什么,电视已经不再是无线的了,我们也不再需要 188 字节的包了。

总之,用户愿意为某样东西等待多长时间是一个产品决策。穿上你的大人裤子,是时候当 PM 了。用户想要快速但有损的东西,还是缓慢但可靠的东西?

为什么不两者都要?

这就是语音到语音背后的理念。对于简单的提示,做一次低延迟的 STS 处理,并生成填充噪音。

人类:le capital of France 是什么?
ChatGPT:稍等,我查一下。

砰,就连那个没用的“我在思考”回应都能让人类感觉良好。但对我们反 PM 来说更重要的是,它为我们争取了足够的时间来启动一个更慢的处理。

我不在前沿实验室工作,所以这些都是猜测,但我设想 STT->LLM->TTS 仍然用于这些更慢的处理。一个具有 Astra/Fable 质量的 STS 模型绝对是理想的……但可能不值得投资。

不管怎样,是 STS 还是 STT->LLM->TTS 都不重要。唯一重要的是延迟预算。

MoQ 两者兼顾

我们试图用 MoQ 解决的核心问题之一,是行业中“每种延迟一个传输”的问题。根据延迟预算使用不同的协议是令人捂脸的常见做法。

例如,一个全员演示,演讲者使用 Zoom,而其他人通过 HLS 观看且无法参与。

去他的,MoQ 支持在单个连接上实现多个延迟目标。在语音 AI 的情况下:

  • 实时延迟用于快速回复(STS)。
  • 无损质量用于慢速回复(STT->LLM->TTS)。

怎么做?每个 MoQ 订阅都包含订阅者愿意等待多长时间。

你的实时模型可以有 500ms 的最大延迟,而你更准确的模型可能有 5s 的最大延迟。两者都被合并到一个可以扇出的单一上游订阅中。

图表:MoQ 一个上游,两个具有不同延迟预算的订阅者

请注意,这是最大延迟。除了在网络条件极差时,延迟都是 0,最终我们会放弃。这就是 MoQ 与 TCP/WebSocket 在语音 AI 方面的核心区别。

你的传输延迟应该与你的产品延迟预算保持一致。

很简单:预测未来

还有一个稻草人要痛打一顿。

嘿,蠢货,你的博客文章错了。WebRTC 不在乎丢包,因为它使用 FEC。

兄弟,去读我之前的博客文章:永远不要使用数据报和前向纠错。这大概是我比较蠢的其中一个热门观点。

WebRTC(和 Opus)包含前向纠错来帮助掩盖丢包。其思路是把前一音频帧的一个更差、更低比特率的副本塞进下一个包中。

OpenAI 仍然存在 WebRTC 问题

但仅能恢复最后一个丢包。它甚至无法处理连续两个丢包,更不用说整个网络中断了。

这对 WebRTC 来说没问题,因为它不在乎超过 30ms 的音频。但对语音 AI 或互联网上的任何东西来说,这都不行。拥塞导致的丢包是突发的,而不是随机的。

一个常见的“修复”方法是将这些副本分散到不同时间,这样你可以处理连续 X 个丢包。参见 Opus 1.5。所有这些额外数据都有实际成本,如果你不知道自己在做什么(而你不知道),那么你会加剧缓冲区膨胀。

依我谦虚(且迷人)的看法,FEC 最适合巨大的 RTT,比如传输到月球。在 <current year>,我们改用 CDN 来缩小有损的第一/最后一英里,这使得重传变得超强。为什么要通过 400ms 分散发送更多字节,而不是在 40ms 内重传?

但如果一个 WebRTC 战士坚持,QUIC 库可以根据需要多次重传流数据。基本上就是 RED,但基于字节偏移而非数据包,并且对接收方完全透明。顺便说一句,这是个免费的想法。

更多免费想法

我本应在这里结束这篇博客文章,但说真的,我已经写了 3 周了,需要把这玩意儿在公司内部转发。在你们的内部 Slack 上截个图吧。

嘿,OpenAI。很抱歉我喷你们代表了语音 AI 的最先进水平。我们可能一开始就搞错了。

嘿,Anthropic。很抱歉我叫你们橙色屁眼公司。我们可能一开始就搞错了。

我会补偿你们俩。这里有一些免费的想法,你们可以用无限的 Fable/Astro 7 代币来原型验证。只要在 git 提交中给我 Co-Authored-By 署名就行。或者 Scion,我不在乎。

拜托,我需要我的 Github 上有更多绿色方块。

token maxing
token maxing

解耦计算

我知道你们有巨额资本,但要在世界上每个用户旁边都部署 GPU 很难。但在每个用户旁边部署便宜的 DELL 服务器却很容易。

  • 在 CDN 边缘运行 moq-relay。
  • 在有 GPU 的地方运行模型。

就像我之前说的,这基本上就是 CDN 的前提。大量靠近用户的边缘节点可以最小化拥塞的第一/最后一英里。过度配置骨干网,以便你可以无拥塞地将流量传输到 GPU。

你可以独立扩展网络和计算。

我希望你们已经这样做了,并且规模足够大,可以证明使用自定义的 Voice AI 协议而不是标准化的 MoQ 实现是合理的。

对于其他人来说,MoQ 足够通用,可以服务的不只是 Voice AI。把 MoQ 想象成实时 HTTP。它毕竟是 IETF 标准,和做 HTTP 的那个组织是同一个。

事实上,我的第一个大客户正在使用 moq.pro 来大规模分发 JSON 数据块。字面上就是一个伪装成音视频协议的通用发布/订阅协议。

优先考虑上下文

我是搞传输和出主意的人,不是 AI 科学家。如果这很明显和/或不可能,别喷我。

WebRTC+AI 的核心问题是模型和传输之间存在脱节。这篇博客关注的是对齐延迟……但对齐上下文呢?

毕竟,不是所有 token 都有相同的权重。如果我们知道每个 token 的相对重要性,就可以利用它来做出明智的网络决策。

高优先级:法国首都 低优先级:是 零优先级:<静音>

要通过 MoQ 实现这一点,你可以将音频轨道拆分成独立编码的单独轨道。高优先级轨道会优先获得可用带宽,而订阅者会为它等待更长时间。

但说实话,最难的部分其实是真正去在意。音频比特率太低了,你很少有机会进行优先级排序,而且不值得为客户端分词器费心。不过对于视频来说,也许会有用。

回填那个家伙

在 30ms 后丢弃音频的另一个问题是,这是一扇单向门。

文章标题:OpenAI 仍然存在 WebRTC 问题

正文: 大胆预测:下一个 Claudism 在基于这篇文章训练之后,将是一扇单向门。

一旦某种网络传输方式决定丢弃网络上的数据,它就无法再用于其他用途。现在,我不知道前沿实验室是否会存储原始音频……但也许他们应该这么做。

最终 AI 模型必须停止等待,并基于不完整的数据进行猜测。它猜得好还是不好?我们怎么知道?

嗯……也许实际上不要丢弃音频;把那玩意儿留在 RAM 里。毕竟音频很小。我们可以把 max-latency 设为 10 分钟,它最终会以最低优先级被传输。我们只在网络完全恢复后才回填那玩意儿。

为什么要通过 MoQ 回填?为什么不把它保存为文件,之后再用于训练?

Vroom vroom,GPU 已经热起来了。趁着上下文还在缓存中,问问模型它猜得怎么样——X 秒前用户说了什么。把它用作训练数据。IDK,我不是科学家。

FIN

天啊,我在这篇博文上花了太长时间。请在你最喜欢的链接聚合网站上给我点个赞。

我即将 YOLO 进一家创业公司,所以如果你有兴趣收购 Kixel, Corp. 的一小部分,请联系我。趁我在精神上处于失业状态、容易被打动的时候,你能拿到折扣。

如果你厌倦了高薪,想 YOLO 进一份工作,也请联系我。下个月已经会有第二个书呆子入职了。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by Hacker News
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗