Newshot

为什么你的微调任务耗时比 FLOPs 预估的更长

Translation(model translation, not the source's own text)

为什么你的微调任务比 FLOPs 所显示的耗时更长

从 272 次生产运行中,预测共享 GPU 集群上的端到端微调时间。

这是我们即将发表的论文《Predicting End-to-End Fine-Tuning Time for Generative Language Models》的预览。完整版很快会发布在 arXiv 上。

GPU 是当今 AI 中最昂贵、最稀缺的资源之一。任何运行共享集群的人每天都必须决定哪些任务放到哪些 GPU 上,以及按什么顺序运行。这个计划的好坏取决于对每个任务将耗时多久的估算。当一个任务提前数小时完成时,GPU 会空闲,直到下一个任务被派发。当一个任务延迟数小时运行时,排在它后面的一切都会顺延,实验要等待,交付日期也会推迟。

更好的时长估算能把这件事变成规划而不是猜测:运行什么、何时运行、用多少 GPU,并减少其间的空闲容量。然而,大多数团队使用的估算只是粗略的 FLOP 计算。它说九小时,任务却到第二天下午才完成。

我们想知道这种计算到底偏差多大,以及我们能否在任务被派发之前就做得更好。于是,我们从生产环境的 NVIDIA H200 GPU 池中取了 272 个真实的有监督微调(SFT)任务,总计约 7,382 GPU 小时,并将解析估算与学习型预测器进行比较。

简而言之:常用的基于 FLOP 的估算几乎解释不了我们观察到的变化(R² = 0.31,MAE 12.41 h)。一个只使用派发前可得信息的 CatBoost 回归器在 5 折交叉验证中达到 R² = 0.98,平均绝对误差为 1.71 h,中位误差为 0.51 h。差距来自闭式估算无法做到的两件事。该回归器能看到更多训练特有的信号,例如评估频率、检查点策略、每 GPU 负载和微调模式,并从过往运行中学习它们之间的非线性交互关系。

大家使用的估算只算计算量

对于稠密 Transformer,训练成本大致为 6·P·D 次浮点运算,其中 P 是参数数量,D 是训练词元数量。将其除以你的 GPU 能提供的算力,就得到训练循环时间:


        T_theoretical = (6 · P · D) / (N_GPU · FLOPS_peak · MFU)
      

这里 N_GPU 是 GPU 数量,FLOPS_peak 是单个 GPU 规格表中的峰值吞吐量,MFU(Model FLOPs Utilization)是训练实际达到该峰值的比例。真实任务因内存流量、通信和内核效率不足,从不会以峰值运行,因此 MFU 通常位于 30% 到 60% 之间的某个位置,而且给定任务的正确值无法事先知道。

这是对优化循环的良好描述。不过,一个任务不止有它的循环。第一步之前有环境设置、模型下载与加载,以及分词。训练期间有周期性评估和检查点上传。结束时,最终模型会写入对象存储。在多租户集群上,所有这些都要与其他任务竞争网络和存储 I/O。

这些开销取决于配置,而且它们不会随工作负载或 GPU 数量整齐地扩展。两个名义计算量相同的任务可能相差数小时完成。

为保持比较公平,我们测试的 FLOP 基线会计入计划中的评估词元以及训练词元,并且我们在很大范围内扫描 MFU。

我们构建了什么

我们将端到端时长视为一个监督回归问题。给定由任务配置和模型元数据构建的特征向量,预测从任务获得 GPU 到任务完成之间的实际耗时。排队时间不计入。

两个设计选择塑造了这项工作:

  • 一切都在派发前已知。每个输入都来自提交的配置:超参数、数据集大小、模型标识符、GPU 分配。没有运行时日志,没有部分进度。这正是使预测可用于调度的原因。

文章标题:为什么你的微调任务比 FLOPs 所说的耗时更长

正文:

  • 暴露开销的特征。在原始配置之上,我们推导出诸如 num_eval_data(所有评估周期中处理的样本数)、num_saves 和 num_params_saved(检查点 I/O)以及每 GPU 令牌量等量。FLOP 估计本身,在 MFU 固定为 0.45 的情况下,作为另一个特征(baseline_time)加入,因此模型从仅计算数字开始,并学习修正。

我们比较了线性回归、Ridge、XGBoost 和 CatBoost。特征选择结合了相关性过滤、互信息和排列重要性,跨越 18 个候选特征集,随后以 MAE 为准则进行网格搜索。最终的 CatBoost 模型使用了 24 个特征。

数据

  • 来自企业生产环境操作日志的 272 次 SFT 运行,涵盖多个模型系列,参数规模高达 150 亿,包括 LoRA 和全量微调,以及广泛的数据集大小和超参数范围。
  • 共享基础设施。作业在 1、2 或 4 个 GPU 上运行,这些 GPU 取自 1 到 4 个节点上的 8 到 32 个 H200 池,同时还有其他训练和推理工作负载。测量的时间包含真实的争用。
  • 持续时间从 1.6 到 172.4 小时,平均值为 23.43 小时,中位数为 15.29 小时。
  • 技术栈:Hugging Face Transformers 和 Unsloth。我们将该技术栈建模为一个分类特征,并且不对两者之间的固定加速比做任何假设。
fig-duration-distribution
fig-duration-distribution

272 次运行的端到端持续时间分布。平均值 23.43 小时,中位数 15.29 小时。

结果

所有数字均来自分层 5 折交叉验证。前四行是分析性的,不涉及拟合。

模型R²RMSE (h)MAE (h)
FLOP 基线 (MFU 30%)0.3120.4512.41
FLOP 基线 (MFU 45%)0.1822.3813.01
FLOP 基线 (MFU 60%)0.0124.5614.62
Calculon−0.5130.4020.36
线性回归0.69 ± 0.1413.52 ± 4.237.52 ± 0.49
Ridge0.73 ± 0.0912.72 ± 3.707.23 ± 0.68
XGBoost0.97 ± 0.014.18 ± 1.171.95 ± 0.32
CatBoost0.98 ± 0.013.52 ± 0.781.71 ± 0.33

有几件事很突出。

没有单一的 MFU 值能修正 FLOP 基线。我们将 MFU 从 0.25 扫描到 0.65。最佳设置 30% 仍然在平均持续 23 小时的作业上留下超过 12 小时的平均误差。

更详细的分析模型并没有缩小差距。作为第二个基线,我们采用了 Calculon(Isaev 等人,SC '23),这是先前工作中用于 LLM 训练的分析性能模型。它构建了一个显式的层图,并考虑了计算、内存流量和设备间通信。我们扩展了公开实现,以覆盖 LoRA、分组查询注意力、融合注意力、bfloat16 和 SwiGLU。其估计值仍然只对应于观测到的挂钟时间中位数的 11%。这并不能说明 Calculon 作为步骤级工具(这正是它的设计目的)有什么问题。它表明生产作业中有多少部分发生在优化步骤之外。

线性模型有帮助,然后停滞。Ridge 将 MAE 降至 7.23 小时。配置与持续时间之间的关系无法被纯线性模型很好地捕捉。

梯度提升完成了重任。CatBoost 和 XGBoost 在每个指标上都处于彼此的一个标准差之内。我们继续采用 CatBoost,因为它在所有方面都具有最低的平均误差。

预测器依赖什么

文章标题:为什么你的微调任务比 FLOPs 所说的更耗时

正文: CatBoost 的特征重要性集中在少数几个特征上。模型和工作负载变量如预期那样存在,但评估和检查点变量也同样存在。num_eval_data,即任务生命周期内评估阶段处理的样本总数,排名第一,紧随其后的是 num_trainable_params、batch_eval_size_percent、num_all_params 和 num_gpus*batch_train_percent,num_params_saved 紧随其后。SHAP 值也说明了同样的道理:高评估量会持续推高预测时间,而可训练参数数量则具有非线性效应,只有在最大的模型上才会变得显著。

fig-feature-importance
fig-feature-importance

CatBoost 模型在各折上的平均特征重要性(PredictionValuesChange)。

特征重要性并非因果论断。不过,这一模式与任务实际耗时的方式相吻合。你多久评估一次、评估集有多大,以及你持久化多少个检查点,都会与模型和数据集规模一起影响实际耗时。这些是人们在编写训练配置时常常凭习惯做出的选择。

阅读图表时有一点需要注意:更大的 GPU 分配量对预测时间显示为正贡献。在我们的数据中,更大的分配量伴随着更大的任务,因此 num_gpus 在一定程度上充当了任务规模的代理。这并不意味着增加 GPU 会让任务变慢。

误差有多大,在哪里

观察全部 272 个折外预测,中位绝对误差为 0.51 h。80% 的预测在 2.20 h 以内,90% 在 4.31 h 以内。按任务时长细分:

任务时长 (h)运行次数中位绝对误差 (h)P90 (h)
1.56 到 5600.301.55
5 到 10630.181.27
10 到 30690.734.17
30 到 60671.065.50
60 到 175135.1918.51

在 60 小时以内,中位误差保持在大约一小时或更少。长尾部分是模型表现不佳的地方,而超过 60 小时的运行仅有 13 次,我们将其视为数据限制。

fig-error-by-duration
fig-error-by-duration

折外绝对误差与真实时长对比,按持续时间范围着色。误差在 60 h 以内保持较低,并在稀疏的尾部变宽。

更多数据应该仍然有帮助。在固定的 20% 留出集上,当训练分区从 85% 增加到 100% 时,MAE 从 1.63 h 降至 1.50 h,且没有明显的平台期。

它有什么用处

在实践中,该预测器为调度器提供了一个在任务开始前就可以据此规划的时间:哪些任务可以一起运行、GPU 何时会空闲,以及某次运行能否在截止时间前完成。

局限

  • 仅限 SFT。我们没有纳入其他训练和对齐策略,例如 RLHF、DPO 或 RLVR。
  • 单一 GPU 类型。每次运行都使用 H200。拟合的模型是针对该基础设施校准的,不应期望在不重新训练的情况下在数值上迁移到其他 GPU 代际。面向混合池的预测器还需要硬件描述符,例如计算吞吐量、内存容量和带宽,以及互连拓扑。
  • 极长运行很少。超过 60 小时后误差会变大。

能够迁移的是方法本身:开销感知特征、多重共线性感知的选择以及比较协议。完整论文将完整报告特征公式、选择流程、搜索空间和最终超参数,以便该流程可以在任何具有类似结构的执行日志数据集上重建。

我们接下来的计划:硬件特定的描述符以及在其它 GPU 类型上的验证、针对观测较少的配置的迁移学习、其他训练目标,以及更多关于长运行的数据。

接下来是什么

完整论文即将登陆 arXiv。关注 Hugging Face 上的 Dharma-AI 组织,以便在论文发布时收到通知,并在下方评论区留下你的问题。我们很想听听你在自己的集群上如何估算作业时长。

延伸阅读

  • GPU 管理:为何闲置 GPU 成为新的停飞飞机
  • 同一集群,利用率高出 33 个百分点:改变的是顺序
  • 专精 SLM 词表如何在真实应用中把推理成本降低 77%
  • 专精胜过规模:大多数 AI 采购决策忽视的一个战略变量
  • 为何专精不可避免
  • 更新的模型,同样的优势
  • 超越聊天机器人的直接偏好优化
  • 文本退化:大多数基准测试都未追踪的一种生产故障模式

Dharma-AI 研发 · We Make AI Your Model

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by Hugging Face
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗