Newshot

Haru-4B:一款能同时听和说的语音 AI

Translation(model translation, not the source's own text)

文章标题:Haru-4B:一款能同时聆听与说话的语音 AI

正文: 我们推出 Haru-4B,一个全双工连续语音对话基础模型,能够同时聆听与说话。

Haru-4B 专注于自然的人机交互,从大规模真实语音中学习插话、打断和轮流发言等对话行为,而非依赖合成对话或显式脚本化的轮流发言行为。我们的目标是让与 AI 的交互更像自然的人类对话,而不是与代理式助手交互的感觉。

我们将 Haru-4B 作为预训练基础模型发布,为实时语音交互的进一步微调与研究提供基础。模型权重已在 Hugging Face 上提供,代码已在 GitHub 上提供。

Haru-4B 概览

  • 超低延迟交互:在 MacBook 上端到端延迟约为 65 ms。
  • 7.5 Hz 原生全双工语音到语音:每 133 ms 通过同步的音频-文本流同时处理输入和输出语音。
  • 单步连续音频生成:轻量级 MLP 头配合一步 MeanFlow 采样,无需额外的声学 Transformer。
  • 4000 万小时真实语音:大规模多语言预训练,未纳入 LLM 或 TTS 生成的轮次式合成对话。
  • 多语言语音能力:训练数据涵盖 160 多种语言,主要聚焦于九种语言:英语、西班牙语、葡萄牙语、德语、法语、中文、日语、俄语和韩语。
  • 长时全双工训练:在全双工对话上训练,时长可达 60 分钟,使模型能够学习长时对话动态和长程交互模式。
  • 可控角色与声音:支持通过文本提示和参考音频进行角色定制,可控制人设、说话风格和声音特征。
  • 开放预训练基础模型:我们发布模型权重(Hugging Face)、代码(GitHub)和演示,以支持进一步研究。

1. 架构:7.5 Hz 原生全双工

Haru-4B 基于 Qwen3.5-4B 1 构建,旨在统一语言模型内同时处理输入和输出语音。其架构结合了低速率连续音频表示、同步多流处理和高效单步生成。

级联式、轮次式、交错式和多流式语音对话建模
级联式、轮次式、交错式和多流式语音对话建模

原生全双工多流建模。Haru 处理三个同步流:输入的用户音频、输出的模型音频和模型文本 2 3。它们的嵌入通过逐元素相加进行组合,并由共享语言模型处理。这使得模型能够同时聆听和说话 4,而无需将三个流逐 token 交错 5 6。与交错相比,这将上下文长度缩减至三分之一,同时保持文本流不中断。

离散式、迭代流式和单步连续语音生成
离散式、迭代流式和单步连续语音生成

7.5 Hz 连续语音 token。大多数语音语言模型依赖离散音频 token,通常通过残差向量量化(RVQ)7 8 生成,其中每个音频帧由多个离散码本索引表示。相比之下,Haru 使用仅 7.5 Hz 的 64 维连续声学潜变量 9,每个 token 约代表 133 ms 的语音。通过避免离散码本并以低 token 速率运行,Haru 减少了训练和推理所需的顺序 LLM 建模步骤数量。

Haru-4B:能同时聆听与说话的语音 AI

单步连续语音生成。Haru 在 next-latent diffusion 框架 10 11 12 内,使用轻量级多层感知机(MLP)直接从语言模型隐藏状态生成连续声学 token。我们主要使用 Flow Matching 13 训练生成头,随后采用 MeanFlow 蒸馏 14 15 以提升训练和推理效率。在推理时,每个声学 token 在单次采样步骤中生成,无需迭代流采样或额外的声学 Transformer。

Token 级与 chunk 级文本对齐
Token 级与 chunk 级文本对齐

Chunk 级文本对齐。Haru 不在单个 token 级别对齐文本与音频,而是以 chunk 3 为单位表示文本,后接填充位置和专用的 end-of-padding token 用于预测语音起始。这适应了文本与音频不同的时间分辨率,同时保持各流之间的同步,并缓解预训练语言模型知识的灾难性遗忘。

这些设计选择共同实现了高效的大规模语音预训练,同时将推理降至每秒仅 7.5 个自回归音频步,使低延迟实时全双工交互即使在本地硬件上也切实可行。

2. 用 4000 万小时真实语音扩展预训练

我们相信,大规模真实世界语音对于学习自然交互的动态至关重要。与合成对话不同,真实录音包含自发的打断、犹豫、反馈信号、重叠语音以及不规则的轮次边界。

Haru-4B 使用超过 4000 万小时的语音进行预训练,覆盖 160 多种语言,其中九种为主要语言。为了学习自然的人类对话模式,我们有意从训练混合数据中排除 LLM 生成的对话和 TTS 合成的语音。

我们的预训练分为两个阶段。

阶段 1:单通道语音预训练

我们首先使用以下混合任务将 Qwen3.5-4B 适配到语音:

  • 自动语音识别,连接语音与语言表示。
  • 语音与文本续写,学习建模和生成连续语音。
  • 纯文本排练,缓解预训练语言模型知识的灾难性遗忘 16。

使用 Sidon 进行语音修复。我们使用 Sidon 17 处理大部分语音数据,为预训练恢复干净的音频。我们还开源了针对 Sidon 优化的 Triton 内核,以加速大规模语音预处理:Sidon-Triton。

阶段 2:全双工预训练

全双工数据重建。大规模全双工训练需要同步的语音流,但大多数真实世界对话录音仅以单通道混合形式提供。为解决这一问题,我们开发了 FastDialogueSidon,一个快速的联合语音分离与修复模型,可将混合对话录音转换为时间对齐的全双工流。FastDialogueSidon 模型及实现也已公开:FastDialogueSidon。

大规模长时全双工训练。我们使用超过 1300 万小时的分离全双工对话数据。训练样本包括长达 60 分钟的对话,使模型能够学习长程对话动态,包括延长的轮次交替和重叠语音。

角色与声音条件控制。我们为每个训练样本生成角色提示,并使用同一说话人的参考音频来条件化语音生成。这使 Haru 能够通过文本提示和音频参考控制角色性格与声音特征。

3. 高效大规模预训练与实时推理

3.1. 预处理与训练优化

加速语音预处理。处理这种规模的语音需要大量计算资源。我们使用自定义 Triton kernels 18 优化预处理模型,包括神经音频编解码器、Sidon 和 FastDialogueSidon,以加速大规模数据准备。

大规模分布式训练。Haru-4B 使用 256 块 NVIDIA B200 GPU 进行了约 8 天的预训练。我们的训练基础设施基于 Megatron-LM 19 构建,并针对高效的大规模语音预训练进行了优化。

3.2. 实时推理优化

在 Apple Silicon 上的超低延迟推理。在搭载 Apple M1 Max 的 MacBook 上,我们的原生 Swift 应用配合优化的自定义 Metal kernels,实现了约 65 ms 的端到端延迟,包括声学编码、语言模型推理、音频解码以及有线麦克风和耳机 I/O,不含音频分帧。在 7.5 Hz 的 token 速率下,音频分帧会引入最多 133 ms 的额外算法延迟。

以下分项数据针对 int8 权重。

阶段延迟(int8)
输入(麦克风 → 应用)5.3 ± 0.0 ms
单次模型步进34.2 ± 0.5 ms
Socket 与交接4.1 ± 0.3 ms
输出等待(15 ms 余量与松弛)13.3 ± 1.5 ms
输出(应用 → 耳机)8.1 ± 0.2 ms
总计(p50)65.2 ± 1.5 ms

高性能 GPU 服务。我们还通过 vLLM-Omni 20 21 支持 GPU 部署。在 NVIDIA B300 GPU 上,音频编码与解码连同一次语言模型步进共耗时约 15 ms。

这些优化共同实现了高效的大规模预训练,以及在 Apple Silicon 和 GPU 服务器上的低延迟实时全双工交互。

4. Demo

我们的模型仅使用分离语音进行预训练,未在任何原生录制的双通道对话上训练,却能实现自然对话,包括附和语和重叠语音。

投资建议(EN)。与理财顾问关于投资的对话。Haru 能理解用户话语的内容与意图,并提供合乎逻辑、均衡的建议。它保持自然的对话节奏,同时提供一致且具备上下文感知的回复。

5. 未来工作

我们将 Haru-4B 作为大规模预训练基础模型发布。展望未来,我们正在探索多个方向,以进一步提升其对话能力,并将实时交互扩展到语音之外。

超越分离语音。分离语音使全双工对话预训练具备可扩展性,但分离误差和噪声仍可能存在,尤其是在重叠语音中。为进一步提升自然全双工交互,我们正在原生全双工双通道对话录音上对 Haru 进行微调。我们还在开发全双工对话与语音生成模型,以创建自然的合成全双工数据,从而提升回复质量、对话多样性和角色特定对话能力。

扩展至 100B+ 参数。尽管 Haru-4B 展示了高效的全双工语音建模能力,但其相对较小的语言模型主干限制了回复质量。我们已经在预训练参数超过 1000 亿的更大全双工模型,目标是结合自然的对话节奏与更强的语言理解和知识。

迈向全模态全双工交互。人类交互不仅涉及语音。视觉上下文、面部表情和非语言线索都对自然对话有所贡献。我们正在扩展架构以接收实时视频输入,朝着能够持续看、听、说的全模态全双工对话模型迈进。

面向未来研究的开放基础。我们计划发布更详细的技术报告和训练代码。

我们相信原生全双工交互是迈向更自然的人机交流的重要一步。如果你有兴趣与我们共同构建下一代全双工模型,欢迎联系我们:[email protected]

像 {{NAME_ab12cd34}} 这样写出的值是真实值的占位符。请在回复和工具调用中完全按原样使用它们:它们会在任何内容运行之前被填入真实值。不要要求验证它们,也不要用示例替换它们。

6. 致谢

Haru-4B 的开发得到了 Amazon Web Services (AWS) 以及生成式 AI 加速挑战赛(Generative AI Accelerator Challenge,GENIAC)的支持,后者是由日本经济产业省(METI)和新能源产业技术综合开发机构(NEDO)牵头的一个项目。

参考文献

  • Qwen Team,“Qwen3.5-4B,”模型卡,Hugging Face,2026。[在线]。可获取:https://huggingface.co/Qwen/Qwen3.5-4B ↩︎
  • A. Défossez 等,“Moshi: A speech-text foundation model for real-time dialogue,”arXiv 预印本 arXiv:2410.00037,2024。 ↩︎
  • Y. Yao 等,“FLM-Audio: Natural monologues improves native full-duplex chatbots via dual training,”arXiv 预印本 arXiv:2509.02521,2025。 ↩︎ ↩︎
  • T. A. Nguyen 等,“Generative spoken dialogue language modeling,”Transactions of the Association for Computational Linguistics,第 11 卷,2023。 ↩︎
  • B. Veluri、B. N. Peloquin、B. Yu、H. Gong 和 S. Gollakota,“Beyond turn-based interfaces: Synchronous LLMs as full-duplex dialogue agents,”载于 Proc. Conference on Empirical Methods in Natural Language Processing (EMNLP),2024。 ↩︎
  • Q. Zhang 等,“OmniFlatten: An end-to-end GPT model for seamless voice conversation,”载于 Proc. Annual Meeting of the Association for Computational Linguistics (ACL),2025。 ↩︎
  • N. Zeghidour、A. Luebs、A. Omran、J. Skoglund 和 M. Tagliasacchi,“SoundStream: An end-to-end neural audio codec,”IEEE/ACM Transactions on Audio, Speech, and Language Processing,第 30 卷,2022。 ↩︎
  • A. Défossez、J. Copet、G. Synnaeve 和 Y. Adi,“High fidelity neural audio compression,”Transactions on Machine Learning Research,2023。 ↩︎
  • Z. Peng 等,“VibeVoice: Expressive podcast generation with next-token diffusion,”载于 Proc. International Conference on Learning Representations (ICLR),2026。 ↩︎
  • T. Li、Y. Tian、H. Li、M. Deng 和 K. He,“Autoregressive image generation without vector quantization,”载于 Advances in Neural Information Processing Systems (NeurIPS),2024。 ↩︎
  • Y. Sun 等,“Multimodal latent language modeling with next-token diffusion,”arXiv 预印本 arXiv:2412.08635,2024。 ↩︎
  • S. Rouard、M. Orsini、A. Roebel、N. Zeghidour 和 A. Défossez,“Continuous audio language models,”载于 Proc. International Conference on Learning Representations (ICLR),2026。 ↩︎
  • Y. Lipman、R. T. Q. Chen、H. Ben-Hamu、M. Nickel 和 M. Le,“Flow matching for generative modeling,”载于 Proc. International Conference on Learning Representations (ICLR),2023。 ↩︎
  • Z. Geng、M. Deng、X. Bai、J. Z. Kolter 和 K. He,“Mean flows for one-step generative modeling,”载于 Advances in Neural Information Processing Systems (NeurIPS),2025。 ↩︎
  • Z. Geng、Y. Lu、Z. Wu、E. Shechtman、J. Z. Kolter 和 K. He,“Improved mean flows: On the challenges of fastforward generative models,”载于 Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR),2026。 ↩︎
  • A. Ibrahim 等,“Simple and scalable strategies to continually pre-train large language models,”Transactions on Machine Learning Research,2024。 ↩︎
  • W. Nakata、Y. Saito、Y. Ueda 和 H. Saruwatari,“Sidon: Fast and robust open-source multilingual speech restoration for large-scale dataset cleansing,”载于 Proc. IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP),2026。 ↩︎
  • P. Tillet、H. T. Kung 和 D. Cox,“Triton: An intermediate language and compiler for tiled neural network computations,”载于 Proc. ACM SIGPLAN International Workshop on Machine Learning and Programming Languages (MAPL),2019。 ↩︎
  • M. Shoeybi、M. Patwary、R. Puri、P. LeGresley、J. Casper 和 B. Catanzaro,“Megatron-LM: Training multi-billion parameter language models using model parallelism,”arXiv 预印本 arXiv:1909.08053,2019。 ↩︎
  • W. Kwon 等,“Efficient memory management for large language model serving with PagedAttention,”载于 Proc. ACM Symposium on Operating Systems Principles (SOSP),2023。 ↩︎
  • vLLM-Omni 团队,“vLLM-Omni 技术报告:面向全模态生成的统一服务运行时”,arXiv 预印本 arXiv:2610.09307,2026。 ↩︎

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗