Newshot

豆包实时音视频通话模型 1.0 API 全量上线,可实现边看边听边说全模态实时交互

Summary

IT之家 11 月 19 日消息,今天,火山引擎正式上线豆包实时音视频通话模型(SeedRealtime 1.0) API 服务,带来全模态交互的新体验。 据介绍,SeedRealtime 将声音、画面、时序与表达统一到同一个端到端模型中, 能在连续的多模态信息流上实时交互,带来“边看、边听、边说”的全新体验。 这大大降低了传统语音级联系统依赖 ASR、VLM、TTS 等多个模块串联带来的延迟叠加和信息损耗。模型不再只是等待用户提问,而能持续理解场景变化,在合适的时机主动开口,把看、听、说纳入同一套实时决策体系,让“听到的”和“看到的”共同参与每一次实时判断与表达。 IT之家注意到,SeedRealtime 原生支持声音、画面与时序信息的深度融合,既能结合场景消解同音词歧义,也能准确理解视觉中的时序指代,让所见、所闻与所说融为一体。 这意味着,在多人、嘈杂、开放的真实环境中,模型不仅能看懂当前画面,还能分清说话对象、理解上下文关系,并基于多模态信息完成更准确的实时判断。无论是多人协同交流、跨语言导览,还是带视觉上下文的实时问答,交互都更自然、更完整。 在多人聚餐场景中,Seed Realtime 1.0 可结合视觉、语音区分自动不同人物,记住各人身份,还能能依据多人不同需求定制旅行方案。 Seed Realtime 1.0 具备持续环境感知与主动表达能力,能够在察觉关键目标出现、画面状态变化或任务节点到来时,主动进行提醒、反馈和补充,让交互从被动响应升级为主动协作。 这种能力让模型可以更好适配真实业务流程。例如在设备操作、学习辅助、任务提醒等场景中,模型能够持续观察当前状态,在合适时机主动介入,而无需用户每一步都显式发问。对开发者而言,这将帮助实时 AI 应用从“会对话”进一步走向“会协助”。 在机器操作场景中,Seed Realtime 1.0 看到用户将整颗咖啡豆倒入萃取手柄,及时提醒咖啡豆需要先研磨;萃取完成后,根据咖啡油脂和出液量,主动给出缩短萃取时长的建议,可在真实场景里自主点评,不用用户一步步提问。 在学习场景中,Seed Realtime 1.0 能持续监控翻页画面,识别到指定章节后快速提醒用户并,并随即报出学习率、动量、权重衰减等关键配置训练参数。 Seed Realtime 1.0 能够实时感知用户的对话状态与交流节奏,在适当时机自然接话、停顿与回…

Original text(via IT之家)
  • 日夜间 随系统 浅色 深色

豆包实时音视频通话模型 1.0 API 全量上线,可实现边看边听边说全模态实时交互

IT之家 11 月 19 日消息,今天,火山引擎正式上线豆包实时音视频通话模型(SeedRealtime 1.0) API 服务,带来全模态交互的新体验。

据介绍,SeedRealtime 将声音、画面、时序与表达统一到同一个端到端模型中,能在连续的多模态信息流上实时交互,带来“边看、边听、边说”的全新体验。

这大大降低了传统语音级联系统依赖 ASR、VLM、TTS 等多个模块串联带来的延迟叠加和信息损耗。模型不再只是等待用户提问,而能持续理解场景变化,在合适的时机主动开口,把看、听、说纳入同一套实时决策体系,让“听到的”和“看到的”共同参与每一次实时判断与表达。

IT之家注意到,SeedRealtime 原生支持声音、画面与时序信息的深度融合,既能结合场景消解同音词歧义,也能准确理解视觉中的时序指代,让所见、所闻与所说融为一体。

这意味着,在多人、嘈杂、开放的真实环境中,模型不仅能看懂当前画面,还能分清说话对象、理解上下文关系,并基于多模态信息完成更准确的实时判断。无论是多人协同交流、跨语言导览,还是带视觉上下文的实时问答,交互都更自然、更完整。

在多人聚餐场景中,Seed Realtime 1.0 可结合视觉、语音区分自动不同人物,记住各人身份,还能能依据多人不同需求定制旅行方案。

Seed Realtime 1.0 具备持续环境感知与主动表达能力,能够在察觉关键目标出现、画面状态变化或任务节点到来时,主动进行提醒、反馈和补充,让交互从被动响应升级为主动协作。

这种能力让模型可以更好适配真实业务流程。例如在设备操作、学习辅助、任务提醒等场景中,模型能够持续观察当前状态,在合适时机主动介入,而无需用户每一步都显式发问。对开发者而言,这将帮助实时 AI 应用从“会对话”进一步走向“会协助”。

在机器操作场景中,Seed Realtime 1.0 看到用户将整颗咖啡豆倒入萃取手柄,及时提醒咖啡豆需要先研磨;萃取完成后,根据咖啡油脂和出液量,主动给出缩短萃取时长的建议,可在真实场景里自主点评,不用用户一步步提问。

在学习场景中,Seed Realtime 1.0 能持续监控翻页画面,识别到指定章节后快速提醒用户并,并随即报出学习率、动量、权重衰减等关键配置训练参数。

Seed Realtime 1.0 能够实时感知用户的对话状态与交流节奏,在适当时机自然接话、停顿与回应,并具备较强的抗干扰能力,可分辨旁人闲聊与背景噪声,不因干扰误触发。

相比级联模型,Seed Realtime 1.0 的音视频对话节奏问题减少了一半,单次对话能够完整、顺畅交流的概率也有明显提升。这意味着,开发者在构建语音助手、智能硬件、陪伴式应用、实时客服等场景时,有机会获得更接近自然交流的人机互动体验。

在嘈杂交通场景中,Seed Realtime 1.0 能够自动过滤机场内的无关闲聊信息,当用户询问时,调用之前看到的大屏航班信息作答,同时精准识别指示牌,主动指引旅客到达网约车上车点。

在家庭场景中,妈妈在一旁忙着别的事,让 Seed Realtime 1.0 陪女儿学习动物英文。背景里爸爸正在接电话、人声不断,但模型不受影响,始终跟着女孩手指的方向实时纠音、举例造句,出声时不迟疑,受干扰时不跑偏。

相关文章

  • 字节火山引擎发布 Seedance 2.5 flash 视频模型:生成速度翻倍,价格更低
  • 豆包公关负责人刘星回应“横店与字节合作将 15 万群演肖像声音喂给大模型”:传言严重失实
  • 全新深蓝 S07 AI 激光版搭载豆包大模型:支持自然语言输入、车外语音操控
  • Seedance 2.5 上线 Draft 模式:先用 480P 验证创意,满意再用 1080P 生成终版
  • 豆包大模型 2.1 Pro 更新 0915 版本:Agent 交付更可靠,多模态 Coding 进化
  • 字节跳动 AI 业务组织调整:飞书拆分并入豆包、火山引擎,To B 战略升级

软媒旗下网站: IT之家 最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件: 软媒手机APP应用 魔方 最会买 要知

The text above was extracted automatically from the source page and may miss images, tables or code blocks. The original is authoritative.

Published by IT之家
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗