Newshot

腾讯混元姚顺雨团队:Hy4 仍有很大改进空间,计划训练更大规模模型

Summary

IT之家 11 月 21 日消息,11 月 21 日凌晨,腾讯首席 AI 科学家、混元大模型负责人姚顺雨和团队成员,在 Reddit 进行了一场持续 120 分钟的 AMA,回答全球开发者关于混元的“任何问题”。 问答环节,有人询问:字节跳动、Kimi 等似乎都在往 3 万亿、甚至 5 万亿参数的超大模型推进,而你们还在 7000 亿。为什么?你们怎么看参数量对模型能力的实际影响?这方面有什么计划? 混元团队回应:“Hy3 和 Hy4 已经表明, 做得扎实的小模型也能超过更大的模型。 它们的成本也更低,而且在这个过程中,你能学到更多、收获更多。” 不过,混元团队也表示,Hy4 仍有很大的改进空间,尤其是通过后训练。“我们正投入大量精力进行大规模强化学习,同时继续改善用户体验和模型安全。 我们还计划训练更大规模的模型 。” 对于是否有可能推出 240 亿到 310 亿参数的稠密模型?该团队表示:“有可能,我们正在考虑。” 对于是否会发布对标 Qwen 27B 稠密模型的小模型?该团队表示:“第一个,有可能。第二个,大概不会。” IT之家注:姚顺雨本科毕业于清华大学姚班,获普林斯顿大学计算机科学博士学位,2024 年加入 OpenAI 并参与智能体产品 operator 与 deep research 开发。其研究聚焦语言智能体与现实世界交互,提出 ReAct 方法首创“推理 — 行动”结合的智能体范式,被学术界与工业界广泛采纳。 2025 年 12 月,腾讯升级大模型研发架构,新成立 AI Infra 部、AI Data 部、数据计算平台部,全面强化其大模型的研发体系与核心能力。姚顺雨出任“CEO / 总裁办公室”首席 AI 科学家,向腾讯总裁刘炽平汇报;同时兼任 AI Infra 部、大语言模型部负责人,向技术工程事业群总裁卢山汇报。 今年 7 月,腾讯宣布混元多模态模型部门与大语言模型部门合并,成立基础模型部,统一由姚顺雨管理,以进一步提升模型研发和协同效率,探索全模态模型的智能上限。

Original text(via IT之家)

腾讯混元姚顺雨团队:Hy4 仍有很大改进空间,计划训练更大规模模型

IT之家 11 月 21 日消息,11 月 21 日凌晨,腾讯首席 AI 科学家、混元大模型负责人姚顺雨和团队成员,在 Reddit 进行了一场持续 120 分钟的 AMA,回答全球开发者关于混元的“任何问题”。

问答环节,有人询问:字节跳动、Kimi 等似乎都在往 3 万亿、甚至 5 万亿参数的超大模型推进,而你们还在 7000 亿。为什么?你们怎么看参数量对模型能力的实际影响?这方面有什么计划?

混元团队回应:“Hy3 和 Hy4 已经表明,做得扎实的小模型也能超过更大的模型。它们的成本也更低,而且在这个过程中,你能学到更多、收获更多。”

不过,混元团队也表示,Hy4 仍有很大的改进空间,尤其是通过后训练。“我们正投入大量精力进行大规模强化学习,同时继续改善用户体验和模型安全。我们还计划训练更大规模的模型。”

对于是否有可能推出 240 亿到 310 亿参数的稠密模型?该团队表示:“有可能,我们正在考虑。”

对于是否会发布对标 Qwen 27B 稠密模型的小模型?发布 100B 以下、专门做编程的模型吗?该团队表示:“第一个,有可能。第二个,大概不会。”

CDN media
CDN media

IT之家注:姚顺雨本科毕业于清华大学姚班,获普林斯顿大学计算机科学博士学位,2024 年加入 OpenAI 并参与智能体产品 operator 与 deep research 开发。其研究聚焦语言智能体与现实世界交互,提出 ReAct 方法首创“推理 — 行动”结合的智能体范式,被学术界与工业界广泛采纳。

2025 年 12 月,腾讯升级大模型研发架构,新成立 AI Infra 部、AI Data 部、数据计算平台部,全面强化其大模型的研发体系与核心能力。姚顺雨出任“CEO / 总裁办公室”首席 AI 科学家,向腾讯总裁刘炽平汇报;同时兼任 AI Infra 部、大语言模型部负责人,向技术工程事业群总裁卢山汇报。

今年 7 月,腾讯宣布混元多模态模型部门与大语言模型部门合并,成立基础模型部,统一由姚顺雨管理,以进一步提升模型研发和协同效率,探索全模态模型的智能上限。

相关文章

  • 腾讯 Hy4 正式开源,混元 LLM 系列实现全量开放
  • 腾讯:更多企业转向国产芯片,将助推国内供应链建设提速
  • 腾讯:受芯片限制影响,训练下一代模型将需要更长时间
  • 腾讯混元 Hy4 flash 模型官宣开源
  • 中国 AI 旗舰模型集体收紧网络攻击能力,加强 AI 技术出口管制
  • 腾讯混元 Hy4 flash 模型发布:224B 总参、12B 激活,单任务成本约 Hy4 的 5%

The text above was extracted automatically from the source page and may miss images, tables or code blocks. The original is authoritative.

Published by IT之家
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗