Newshot

DaisyRose-27B:推进后训练效率的前沿

Translation(model translation, not the source's own text)

DaisyRose-27B:推动后训练效率的前沿

DaisyRose-27B
DaisyRose-27B

今天我们发布 DaisyRose-27B,这是 RadixArk 的首个模型,基于 Qwen3.8-27B 构建,并使用 Miles 通过强化学习训练。我们在长周期智能体任务上对其进行了训练,会话长度最高达 1M token,仅用 1,200 个精选任务,在 144 块 H200 GPU 上训练了 18 天。DaisyRose-27B 将 Terminal-Bench 4.1 pass@1 从 5.6% 提升至 12.0%。除 Terminal-Bench 4.1 外,它还在多种其他推理、指令遵循和编码基准上带来提升。

检查点以 Apache 2.0 许可提供:

该模型保留了 Qwen3.8-27B 的架构、分词器、聊天模板、图像理解和 256K token 上下文窗口。更长的训练会话使用 harness 摘要来跨越多个轨迹。有关模型属性和推理设置,请参阅模型卡。

运行 DaisyRose-27B

我们推荐使用 SGLang 和 DSpark 推测解码来服务 DaisyRose-27B。SGLang cookbook 提供了针对不同 GPU 和检查点格式的启动配置。

在以服务模型名 DaisyRose-27B 在端口 30000 启动服务器后,你可以使用 OpenAI Python 客户端发送请求:


        from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:30000/v1",
    api_key="none",
)

response = client.chat.completions.create(
    model="DaisyRose-27B",
    messages=[
        {
            "role": "user",
            "content": "How many positive divisors does 360 have?",
        }
    ],
    temperature=1.0,
    top_p=0.95,
    extra_body={"top_k": 20, "min_p": 0.0},
)

print(response.choices[0].message.reasoning_content)
print(response.choices[0].message.content)
      

该模型默认在回答前进行思考。其推理内容返回在 reasoning_content 中,最终答案返回在 content 中。这些设置遵循模型卡的快速入门。

基准测试结果

DaisyRose-27B 在七项基准上与八个模型的对比
DaisyRose-27B 在七项基准上与八个模型的对比
基准Qwen3.8-27BDaisyRose-27B
Terminal Bench 4.15.612.0
Terminal Bench 2.173.075.5
DeepSWE v1.142.246.2
SWE Bench Pro v291.394.7
HLE(纯文本)33.934.3
IFBench79.582.4
GPQA Diamond89.290.7

DaisyRose-27B 在上述每一项基准上的得分都高于原始 Qwen3.8-27B 模型。最大提升在 Terminal Bench 4.1 上,pass@1 从 5.6% 升至 12.0%。

分数取每项基准中 BF16 和 FP8 运行结果中的较高者;在两者都评估过的地方,差异小于一分。模型卡中包含对比来源和评估设置。

训练设置中有三个部分使此次发布成为可能:精心设计的任务、高效的训练后端和可靠的沙箱。

高质量训练数据

我们与 Eigent AI 合作构建这些任务,从其机器学习、软件工程、科学及其他领域的大量任务池出发。我们共同构建了数千个候选任务。约 1,200 个进入了最终训练集。

我们使用三项标准选择任务:

  • 每个任务都针对原始模型所犯的错误。我们在每个任务上运行 Qwen3.8-27B,并围绕我们希望模型不再犯的错误重新设计每个任务。然后我们调整难度,直到解决率落入有用的学习范围内。
  • 每个任务都需要若干相互依赖的步骤。智能体必须在长作业中进行推理、规划和执行。每次尝试在沙箱中最多有 1.5 小时,包含超过 100 次工具调用和超过 256K 输出 token。
  • 任务必须奖励真正解决问题。我们结合模型的尝试审查了每个任务。那些无需解决预期问题即可通过、或存在设计缺陷的任务被修复或移除。

高效的训练后端

DaisyRose-27B:推进后训练效率的边界

RadixArk 使用 Miles 训练了 DaisyRose-27B,这是我们面向大规模模型后训练的开源强化学习框架,采用完全异步模式:智能体持续工作,模型同时学习,双方互不等待。128 张 H200 负责在智能体任务上运行推理,另外 16 张运行训练器并从轨迹中学习。每一步之后,更新后的模型都会分发到运行智能体的那 128 张 GPU 上。学习过程运行在我们的内部训练后端上,该后端专为智能体训练而构建:每一步都从少量超长会话中学习,有些会话长达 1M tokens,并通过 harness 摘要折叠成多条轨迹。

训练成本降低 57%。在此次发布中,在我们的后端上,每张 GPU 峰值算力的 37% 用于有效的训练工作(模型 FLOPs 利用率,即 MFU)。基于 Megatron 构建的开源训练器在可比运行中达到 16%。因此同样的训练所需的 GPU 时间减少了 57%。在混合专家模型上收益更大:Qwen3.6-35B-A3B 上为 6.2×,在约 300B 参数的 GLM-5.3-Flash 上超过 10×。

GPU 效率:RadixArk 内部后端与开源训练器的对比
GPU 效率:RadixArk 内部后端与开源训练器的对比

端到端速度提升 2×。计入智能体在其任务上花费的时间,此次发布运行的 144 张 GPU 上训练速度约为每秒 16,800 tokens。开源训练器在相同 GPU 上约为 8,300。

端到端训练速度:144 张 H200 上每秒 16.8k 对 8.3k tokens
端到端训练速度:144 张 H200 上每秒 16.8k 对 8.3k tokens

数周保持稳定。此次发布运行在 144 张 H200 上训练了数周,总计 63,000 GPU 小时。从第一步到最后一步,其速度和效率保持稳定。

DaisyRose-27B 发布运行期间的速度与 GPU 效率
DaisyRose-27B 发布运行期间的速度与 GPU 效率

DaisyRose-27B 发布运行在 144 张 H200 上的每一个训练步骤,按总训练时间绘制。虚线:可比运行中的开源训练器。

稳健的沙箱服务

每次训练尝试都在沙箱中运行:任务环境的一份全新副本,智能体在其中运行命令、编辑文件,然后接受评分。

我们的服务构建在开源项目 AgentENV 之上,我们也向其贡献修复。9 月中旬到 11 月中旬,它为本项目运行了约 944,000 个沙箱,峰值并发运行数达 1,566 个。

该服务从一台机器扩展到多达 12 台。我们对其发布了十次升级,几乎全部是在训练运行期间完成的。在全部九周里,99% 的沙箱创建成功;自 10 月下旬以来,该数字已超过 99.95%。

总计 944K 个沙箱,峰值并发沙箱 1,566 个,最终运行中成功率 99.95%
总计 944K 个沙箱,峰值并发沙箱 1,566 个,最终运行中成功率 99.95%

本项目沙箱的云基础设施成本,比使用主流云沙箱提供商运行相同沙箱低约 80%。我们控制成本的一种方式是让每个沙箱的内存分配随其实际使用量增减,从而让更多沙箱共享每台机器。

试用模型或训练你自己的模型

下载 DaisyRose-27B,按照 SGLang 服务指南操作,或使用 Miles 训练你自己的智能体。

我们很想了解 DaisyRose-27B 在你的任务上的表现,包括它在哪些方面存在不足。请在模型的 Community 标签页中分享你的设置和结果。

我们感谢 Eigent AI 在训练数据方面与我们紧密合作,感谢 Qwen 团队打造了 Qwen3.8-27B。我们也感谢 Miles 和 SGLang 社区,以及其他开源项目,包括 slime、AgentENV 和 Harbor。

改编自 RadixArk 原文。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by Hugging Face
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗