摘要训练大模型最吓人的不是收敛慢而是某一步损失毫无征兆地炸成 nan。这类尖刺常源于个别样本或参数产生了异常大的梯度大梯度又把参数推到更坏的位置几步之内正反馈扩散。梯度裁剪给梯度总量设个上限把第一下拦住但阈值定错了反而拖慢收敛。本文讲裁法、阈值标定与混合精度的配合。2026 奇点智能技术大会11 月 20-21 日·北京万达文华酒店AI Infra 与系统软件专题会讨论训练稳定性。▸ 核心结论裁剪只拦突发尖刺不治学习率过高 / 数据有系统性错误这类根因▸ 关键权衡阈值太小削正常更新拖慢收敛太大拦不住尖刺要按梯度范数的统计分布标定▸ 适合谁读训练稳定性负责人——配置好阈值后换个模型规模就得重新标定本文的结构 成因 一 尖刺到底从哪来脏样本 / 溢出 / 顺序问题 | 裁法 二~三 按范数 / 按值与逐层 | 标定 四~五 阈值怎么定 / 与混合精度怎么配合 | 落地 六~八 常见坑、衔接大会、落地顺序 裁剪是护栏不是解药根因不除尖刺会反复来一、尖刺到底从哪来损失突然暴涨通常不是模型整体学崩了而是某一步出现了极端梯度。来源可能是个别脏样本、数据里混入的异常值、也可能是某个层在特定输入下激活值溢出。它的危险不在这一步本身而在于扩散大梯度把参数推到一个更坏的位置下一刻该位置的梯度更大几步之内损失就变成 nan检查点也救不回来。所以拦住第一下是关键。另一个常见来源是数据流水线的顺序问题若某个超大文件或异常样本排在批次前面第一步就触发尖刺后面的更新全被带偏。对这种系统性风险打乱顺序或做流式采样比单纯加裁剪更治本裁剪只是最后的护栏。尖刺还有一种渐进形式不是一步炸成 nan而是连续几步梯度持续偏大缓慢把参数推离好区域。这种软尖刺更隐蔽监控只看单步范数不易发现要看滑动窗口的均值趋势才能提前预警。尖刺还要和硬件故障区分偶发的 nan 可能来自某个 GPU 的瞬时错误而非数据或梯度问题。先排查硬件 ECC 与温度再怀疑算法避免把硬件问题当成训练调参去反复试。二、按范数裁剪的原理最常用的是全局范数裁剪先算出所有参数梯度的总范数如果超过阈值就把整组梯度按比例缩放到阈值以内。它保证的是「总更新步长有上限」不单独针对某个参数。好处是参数之间的相对方向不变只是整体迈小一点。坏处是阈值对模型规模和批量大小都很敏感换一个配置阈值就可能不再合适。要强调全局范数对参数规模很敏感。模型越大梯度总范数天然越高固定阈值在换模型时必须重新标定不能一套值用到底。否则小模型上合适的阈值到大模型上可能根本拦不住或反过来砍掉几乎所有正常更新。实现上要注意裁剪的时机在梯度聚合之后、参数更新之前做才能保证拦住的是真实的总更新。若在每个 Worker 本地先裁聚合后再裁一次两层裁剪的尺度要协调否则会双重削导致更新过小。裁剪还要注意和梯度累积的配合累积多步梯度后再裁总范数尺度变化阈值要随之调整。累积步数一变原本合适的阈值可能突然偏大或偏小这类联动最容易被漏掉。全局范数裁剪做了什么 所有参数的梯度拼成一个向量 g先算总范数 ||g|| ||g|| 阈值 - 原样更新什么都不做 ||g|| 阈值 - g - g x (阈值 / ||g||) 这样变的是整体步长不是方向 更新前 ---------- 方向和长度 更新后 ---- 方向不变只是迈小一点 三种做法的适用范围 全局范数 整体缩放方向保持 最常用 逐层范数 每层独立缩 某层反复抽风时才用 按值截断 单元素超界就截平 临时定位异常值长期会引入偏差 两个必须避开的顺序问题 裁剪要在梯度聚合之后、更新之前做拦的才是真实总更新量 混合精度下要在缩放之后裁、更新之前反缩放顺序反了阈值就工作在错误尺度上三、按值裁剪与逐层裁剪裁法操作适用全局范数整体缩放最常用方向保持逐层范数每层独立缩某层特别不稳时按值截断单元素超界截平异常值明显时逐层裁剪适合那种「只有一个层在抽风」的情况。按值截断最直接但会破坏梯度方向容易引入偏差一般只在定位到明显异常值时配合用。按值截断还有一个副作用被截的值不再携带大小信息梯度方向虽然保留但幅度失真对精细回归或概率类任务影响更明显。所以按值截断通常只作为定位到明显异常值后的临时手段而不是长期默认配置。逐层裁剪的代价是实现要在每层维护自己的阈值和统计代码侵入性强。除非确有一层反复抽风且全局裁剪压不住否则优先用全局范数把复杂度留给真正需要的少数场景别提前优化。逐层裁剪还可以按层类型区分注意力层和线性层对异常梯度的敏感度不同可以分别设阈值。统一阈值简单但粗糙分层处理更精细代价是实现和调参成本上升要按需取。四、阈值怎么定阈值的经验来源是观察正常训练时梯度的典型范数分布。把历史梯度范数的中位数或某个高分位作为起点再留一定余量。阈值太小正常更新也被削收敛变慢太大又拦不住尖刺。很多团队会做自适应用一个滑动统计的动态阈值而不是写死常数。这样在训练不同阶段梯度尺度变化时裁剪条件能跟着走。阈值也可以按层分别统计分位再统一缩放到同一目标范数。这样不同尺度的层不会被一刀切裁剪更平滑也不会出现某一层被反复削、另一层却从不被约束的情况。实现上要维护每层的滑动统计。自适应阈值的另一个细节是统计量要足够平滑不能对单步剧烈波动过度反应否则阈值跟着尖刺一起跳裁剪反而时紧时松。用较长窗口的指数滑动平均能滤掉单步噪声让阈值稳定在合理区间。阈值设定还可以借助离线分析跑一小段统计梯度范数分布取高分位作为阈值起点比凭感觉定数科学。这种基于数据的标定在模型规模变化时也更容易重新调整。五、和混合精度的配合混合精度训练里梯度先以低精度累加再转高精度更新。低精度表示范围有限异常梯度更容易溢出或被截断反而可能让裁剪失效或误判。一个常见做法是梯度在缩放后做裁剪更新前再反缩放。顺序搞反了裁剪阈值就工作在错误的尺度上要么形同虚设要么把正常梯度砍掉一大截。低精度下还要防下溢梯度太小被表示成零裁剪又按零处理等于这部分信号被悄悄丢弃。需要保留一个最小尺度或做偏移缩放确保极小但有效的梯度不被低精度格式无声吞掉否则长期训练会缓慢退化。梯度缩放因子本身也要纳入监控。缩放过大小梯度溢出缩放过小又回到低精度表示不足。裁剪和缩放是耦合的两件事调其中一个必须复测另一个单独调任一个都可能在别处埋下不稳定。混合精度下裁剪后的梯度要检查是否仍有异常值残留裁剪只限总量个别层的极端梯度可能仍在。总量正常不代表局部正常关键层要单独打点避免局部爆炸被总量掩盖。六、常见坑坑一是把裁剪当收敛问题的解药。裁剪只拦尖刺不解决「学习率太大」或「数据有系统性错误」这类根因。根因不除尖刺会反复出现只是被削得没那么显眼。坑二是只在单卡验证裁剪效果。分布式下梯度是聚合后的范数尺度与单卡不同单卡调好的阈值到了多卡环境往往偏大或偏小要在真实并行配置下重新标定。坑三把裁剪当作训练稳定的全部保障。它拦得住突发尖刺却拦不住梯度缓慢漂移导致的长期退化后者要靠监控分布、正则与数据质量来解决。只上裁剪而忽略监控等于给车加了保险杠却从不保养发动机。坑四把裁剪阈值设成全局常量却跨任务复用。不同数据分布下梯度尺度不同一套常量在 A 任务平稳到 B 任务可能要么失效要么过度必须随任务重新标定不能当作一劳永逸的旋钮。坑五把裁剪日志关掉省 IO。裁剪事件恰恰是尖刺的线索关掉后出问题只剩损失曲线无从定位。这类日志量不大值得常开是诊断训练异常的第一手证据。七、衔接大会专题11 月 20-21 日北京万达文华酒店奇点智能技术大会的 AI Infra 基础设施专题会讨论训练稳定性与数值精度C 及系统软件技术大会的系统级软件与高性能专题从算子数值行为的角度给出线索。带着「我们上次损失炸是哪一步、什么样本」去参会讨论会非常落地。训练稳定性是工程而非纯算法话题很多经验只在大规模下才暴露。带着自己最严重的一次损失尖刺案例去听更容易听懂别人分享里的可操作细节而不是停留在概念层面。训练稳定性的分享里最有价值的是别人踩过的尖刺案例和对应的监控指标。带着自己监控面板的截图去听能直接对照判断哪些指标自己还没接上。训练稳定性分享里最该听的是别人如何把硬件层与算法层的异常区分开。带着自己的诊断流程去对照能补全最容易漏掉的那一步排查。八、落地顺序先做梯度范数监控把正常分布画出来确认尖刺是否真的发生。再上全局范数裁剪阈值从统计起点取。最后才考虑逐层或自适应。顺序反了容易陷入「加裁剪但问题还在」的困惑因为根因可能在别处。补充一点裁剪参数的变更要进实验记录。一次阈值调整可能让损失曲线平滑但也可能悄悄改变收敛轨迹事后复盘若没有记录会把效果误归因到别处浪费后续大量试错。最后提醒裁剪要可观测。把每步裁剪前后的范数都打点才能事后判断裁剪是否真的在拦尖刺还是只是安静地削着正常更新而不自知。最后裁剪要作为训练模板的默认项而不是每次新实验才想起来加。稳定性是底线默认开启并配好监控比事后补救省心得多也减少人为遗漏。补充问答问裁剪能治收敛慢吗答不能。裁剪只拦异常大的梯度尖刺不解决学习率过高或数据系统性错误这类根因。根因不除尖刺会反复出现只是被削得不那么显眼。问阈值怎么才算合适答看正常梯度范数的分布取中位数或高分位留余量。太小削正常更新拖慢收敛太大拦不住尖刺。多卡环境要重新标定不能沿用单卡值。问混合精度下要注意什么答梯度在缩放下裁剪、更新前反缩放顺序不能反。否则阈值工作在错误尺度上要么形同虚设要么误砍正常梯度。低精度溢出也可能让裁剪失效。问逐层裁剪什么时候用答当监控发现只有某一层梯度特别不稳、全局裁剪又不够及时时。它针对性强但实现和调参更细一般作为补充手段而非默认。问自适应阈值值得上吗答当训练不同阶段梯度尺度变化大时值得。滑动统计动态阈值能跟着走避免写死常数在换配置后失效不过要额外维护统计状态。大会信息2026 奇点智能技术大会 C 及系统软件技术大会时间2026 年 11 月 20-21 日地点中国·北京万达文华酒店大会报名免费领取大会PPT资料立即报名锁定 Lukasz Kaiser Keynote 与 70 场演讲完整资料