Newshot

Rumble-2-Flash:一个面向40多种语言的开放0.5B语音模型

Translation(model translation, not the source's own text)

Rumble-2-Flash:一个面向 40+ 语言的开源 0.5B 语音模型

今天我们以 Apache 2.0 许可证开源 Rumble-2-Flash。这是一个拥有 0.5B 参数的语音识别模型,支持 40+ 语言,可与体积为其 3-60 倍的模型竞争。

  • 随处可运行:原生支持 🤗 Transformers 和 vLLM,无需自定义代码
  • 40+ 语言:自动语言检测
  • 输出控制:数字以数字或词语形式输出、填充词、逐字重复、强制指定语言
  • 极快:一小时的音频约半秒处理完成,全批量下 RTFx 超过 7,000
  • 在真实电话通话中依然稳健:在 302 小时呼叫中心基准测试上,与 NVIDIA 的 Nemotron 3.5 Transcribe(30B)持平

快速开始


        uv pip install torch transformers accelerate
      

        from transformers import AutoProcessor, AutoModelForMultimodalLM

model_id = "Reson8/Rumble-2-Flash"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, device_map="auto")

inputs = processor.apply_transcription_request(
    audio="https://hf.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/bcn_weather.mp3",
    language="English",  # omit to detect automatically
).to(model.device, dtype=model.dtype)

output = model.generate(**inputs, max_new_tokens=512)
generated = output[:, inputs["input_ids"].shape[-1]:]
print(processor.decode(generated, return_format="transcription_only")[0])  # return_format="parsed" if detecting language
      

audio 接受本地路径、URL、NumPy 数组,或这些的列表。

构建方式

Rumble-2-Flash 采用 Qwen3-ASR 架构,实现开箱即用的支持。如果你的技术栈运行 Transformers 或 vLLM,就能运行 Rumble-2-Flash,无需分叉的运行时或 trust_remote_code。

为了找出模型在精度下降前能小到什么程度,我们用 on-policy distillation 将我们更大的生产模型 Rumble-2 蒸馏到其中。学生模型不在教师模型写出的转录文本上训练。它自己转录音频,教师模型则逐 token 为该转录打分:在每个位置,教师给出它对下一个应出现内容的自身概率,学生模型学习去匹配它。由于学生模型从自己的输出中学习,它会在自己所犯的错误上得到纠正,获得的是对每个 token 的反馈,而不是每个片段一个分数。

On-policy distillation 通常要求教师和学生共享分词器,而我们的并不共享:选择 Qwen3-ASR 就意味着也要采用它的词表。GOLD 移除了这一限制。它会合并两个分词器对文本切分不同的 token,使两个模型在同一段文本上进行比较。两个词表中都存在的 token 直接比较,其余的则按其排序后的概率比较。

使用 GOLD 的 on-policy distillation:学生模型转录,教师模型为每个 token 打分,GOLD 对齐两个分词器
使用 GOLD 的 on-policy distillation:学生模型转录,教师模型为每个 token 打分,GOLD 对齐两个分词器
使用 GOLD 的 on-policy distillation:学生模型转录,教师模型为每个 token 打分,GOLD 对齐两个分词器
使用 GOLD 的 on-policy distillation:学生模型转录,教师模型为每个 token 打分,GOLD 对齐两个分词器

结果

同等规模下的准确率

在 Open ASR Leaderboard 多语言赛道上,Rumble-2-Flash 在中文、德语、法语、意大利语、西班牙语、葡萄牙语、印地语、荷兰语和英语上的平均错误率为 6.96%。这优于 Meta 的 omniASR-LLM 7B(体积为其 15 倍的模型),并领先于 Whisper large-v3。在英语赛道上,其平均 WER 为 6.6%。

Open ASR Leaderboard 多语言赛道(含英语)上开源权重模型的平均错误率与模型规模对比
Open ASR Leaderboard 多语言赛道(含英语)上开源权重模型的平均错误率与模型规模对比
Open ASR Leaderboard 多语言赛道(含英语)上开源权重模型的平均错误率与模型规模对比
Open ASR Leaderboard 多语言赛道(含英语)上开源权重模型的平均错误率与模型规模对比

速度

Rumble-2-Flash 同样很快。其吞吐量取决于批次的填充程度:在 HF 的 Open ASR Leaderboard 中较大的数据集上,批次始终保持满载,它的吞吐量超过 7,000 RTFx。也就是大约半秒处理一小时的音频。

真实电话通话

干净音频很容易。电话通话经过压缩且带有噪声,说话人的口音也往往差异很大。在 AppTek 的呼叫中心基准测试中(302 小时的服务热线通话,14 种英语口音,使用 AppTek 自己的脚本评分),Rumble-2-Flash 的 WER 达到 7.86%,与 NVIDIA 的 Nemotron 3.5 Transcribe(30B)的 7.78% 相当。这明显领先于同一模型系列的 Qwen3-ASR 0.6B(8.7%),并接近 Qwen3-ASR 1.7B(7.4%)——后者是对比中唯一表现更好的模型。

AppTek 呼叫中心基准测试上的 WER
AppTek 呼叫中心基准测试上的 WER
AppTek 呼叫中心基准测试上的 WER
AppTek 呼叫中心基准测试上的 WER

试用

权重已在 Hub 上发布,地址为 Reson8/Rumble-2-Flash。也可以通过我们的 API 使用。

我们非常好奇你会用它构建什么。请在 Discussions 标签页告诉我们你做了什么、你喜欢什么,以及你希望在下一个版本中看到哪些改变。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by Hugging Face
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗