Newshot Translation(model translation, not the source's own text)
Qwen/Qwen3.8-27B 在 1 × NVIDIA GeForce RTX 5090 上，TP 1
这是理论最大值。阅读估算的工作原理
每设备内存 每个设备所需内存，按 prefill 和 decode 中较大者确定大小。如果放不下，所示速度仅为理论上限。主机 RAM 和 SSD 条形按每台机器计。
- 权重 53.8GB
- KV + 状态 691MB
- 激活 856MB
每个副本最多 0 个序列 @ 8k
瓶颈估算 每类操作的时间，在任何重叠之前相加。通信是每条消息的延迟加上发送其数据的时间。卸载传输是读取已卸载权重的时间。
- 通信延迟
- 通信带宽
| 操作 | 时间 | 占比 | 受限 |
|---|---|---|---|
| mlp.gate_up | 12 . 7ms | 44% | 内存 |
| mlp.down | 6 . 37ms | 22% | 内存 |
| lin.in_proj | 4 . 52ms | 16% | 内存 |
| lin.out_proj | 1 . 69ms | 5 . 8% | 内存 |
| lm_head | 1 . 42ms | 4 . 9% | 内存 |
| attn.qkv_proj | 1 . 31ms | 4 . 5% | 内存 |
| attn.o_proj | 0 . 56ms | 1 . 9% | 内存 |
| attn.core | 0 . 30ms | 1 . 0% | 内存 |
| lin.recurrent | 0 . 17ms | 0 . 6% | 内存 |
| lin.conv1d | 6 . 58µs | 0 . 0% | 内存 |
| mlp.act | 3 . 73µs | 0 . 0% | 内存 |
| input_norm | 1 . 10µs | 0 . 0% | 内存 |
按批大小的解码吞吐量
- 每流（左轴）
- 聚合（右轴）
- 仅语言模型；排除视觉/音频塔
- 仅语言解码器：排除 MTP 和视觉塔；其参数根据配置估算。
- 部分 RoPE 和输出门激活变体为近似；共享专家 sigmoid 门被省略。