在算盘上每一位数都代表着一颗实实在在的珠子你不拨它它就不是那个值拨错一档整笔账就差了千里。计算机里的浮点数也是这样它本质上是一套“数位有限的算盘”——只是这颗算盘藏得比较深日常写代码时根本看不见。但一旦做起深度学习训练你就会发现那些FP32、BF16、FP8的字符像走马灯一样在你眼前晃来晃去每一个都代表不同档位的度量衡。这篇内容就围绕数值精度与浮点表示讲清楚FP32/BF16/FP8到底各自牺牲了什么在训练里它们又是怎么决定你的loss曲线走向的。想做模型训练、推理优化或者端侧部署的朋友这篇文章值得看完。我最早对“浮点精度”产生强烈感知是在一次模型训练时遇到了诡异的loss不降一切代码逻辑都没问题数据预处理也反复核对过最后排查到根因是激活值在低精度格式下全部下溢成了0。从那以后我开始系统性研究这些“算盘珠”的排布方式。接下来我把这份经验完整拆开尽量用大白话讲清楚。1. 从算盘珠说起浮点数是被有限位数锁死的度量衡1.1 不要觉得“小数点”是天然精确的我们先回到最朴素的问题为什么计算机需要搞出这么多浮点格式答案很简单——计算机里存数字只能用固定长度的二进制位。你用32个bit表示一个数跟用16个bit、8个bit表示一个数能表达的信息量天然就有上限。就像算盘上10个档位每档只有几颗珠子能表达的“档位组合”有限算盘珠的数量本身决定了这把算盘的表达能力。拿十进制里最普通的0.1举例。在二进制浮点体系里0.1无法被任何有限位的小数精确表示它是以“无限循环二进制小数”存在的。FP32会把0.1近似成一个很接近的数约等于0.100000001490116...。这个误差平时不大但如果你不断累加、不断做乘法误差就会滚雪球。FP64、FP128可以让误差小到几乎看不见但代价是内存翻倍、计算变慢。精度从来不是免费的它占用的是宝贵的bit。1.2 一个浮点数内部有三组“珠子”标准浮点表示的核心是把数字分成三段符号位、指数位、尾数位。符号位决定正负成本只要1个bit。指数位决定数值的量程相当于算盘上的“大档位”。尾数位决定数值的刻度精细程度相当于算盘上的“小珠子”。一个带符号的浮点数大致是这样组织的[符号位] [指数位区段] [尾数位区段]比如FP32里符号1位指数8位尾数23位一共32位。BF16里符号1位指数8位尾数7位一共16位。FP8则更加极端总共只有8个bit。你拨动珠子时表面上看到的只是“精度变低”实际上是这三组珠子的数量分配方式变了。1.3 量程和刻度是一对不可调和的矛盾我习惯用一个生活化的类比量程就好比一把尺子的总长度刻度就好比尺子上的最小刻度值。FP32是一把刻度很细的量程很大的尺子BF16把刻度做粗了但保留了和FP32几乎一样大的量程FP8进一步压缩量程和刻度双双缩小。为什么英文资料里总说“动态范围”dynamic range其实就是这把尺子能覆盖的从最小正数到最大正数的跨度。训练神经网络时梯度非常需要这个量程深层网络里某些梯度的绝对值可能是1e-6而另一些可能是1e2差距可以达到8个数量级以上。如果你的浮点格式覆盖不了这个跨度小梯度会被直接“压扁”成0大梯度可能被“顶爆”成无穷大。所以选浮点格式时本质上是在处理一个问题省下bit之后你到底更保量程还是更保精度2. 三副算盘各有什么刻度FP32/BF16/FP8逐格式拆解2.1 FP32默认算盘刻度最细但最占资源FP32是大多数人最早接触的浮点格式。它的符号位1、指数位8、尾数位23最大正数约为3.4e38最小正常正数约为1.2e-38。在数值范围不大、计算量也不大的场景下FP32几乎不会出现数值问题。但FP32的代价非常现实一个参数占4字节一个大语言模型动辄几十亿参数光权重就吃掉几十GB显存。我在某次训练模拟模型时只把精度从FP32切到BF16显存占用立刻下降了一半这对能塞多大的batch、能不能跑起来是决定性的。2.2 BF16保留大动态范围牺牲刻度细度BF16的全称是BFloat16由符号1位、指数8位、尾数7位组成。它和FP32的指数位数一样动态范围几乎一比一复制了FP32。这让它不需要像FP16那样频繁处理溢出问题。但代价很大尾数只有7位。在数值约为1的区间里BF16的最小刻度是2的-7次方大约0.0078。这意味着1.0000和1.0078之间的数字它在BF16里根本区分不出来。放到模型里想如果某个权重是1.003BF16会直接把它存成1.0如果权重是1.0079它又会被存成1.015625左右。这种粗粒度在某些任务上是能忍的但在需要精细控制的场景上有明显痕迹。2.3 FP8量程和刻度的极限压缩FP8是这两年加速卡支持的热门格式它内部又有两种主要变体E4M3和E5M2。E4M3表示4位指数、3位尾数量程比较小最大可表示数值约448。它更接近FP16的“精度依旧还能看”的设计适合作为前向计算和反向计算的主格式。E5M2表示5位指数、2位尾数量程大一些最大可表示数值约57344但尾数更短。它适合用在梯度这类动态范围大、但对相对精度要求不那么苛刻的场景。三大格式的直观对比可以看这张表格式符号位指数位尾数位最大可表示正数最小正常正数典型用途FP321823约3.4e38约1.2e-38主权重、长期累积BF16187约3.4e38约1.2e-38混合精度训练的前反向FP8 E4M3143约448约0.0156前向计算、低精度推理FP8 E5M2152约57344约6.1e-5梯度、动态范围大的中间量这张表最值得注意的一点是BF16和FP32动态范围几乎一样大但尾数位被砍得只剩7位FP8则是把指数和尾数都砍到了触目惊心的长度。所以你不能指望FP8直接替代FP32它只适合经过精心设计后、误差容忍度足够高的位置。2.4 省下的bit和牺牲的质量怎么换算我在实战里习惯用一个“接近1.0时的最小刻度”来感受精度损失。数字接近1.0时FP32的最小跳变约是2的-23次方约1.19e-7。FP16的最小跳变约是2的-10次方约0.001。BF16的最小跳变约是2的-7次方约0.0078。FP8 E4M3的最小跳变约是2的-3次方约0.125。FP8 E5M2的最小跳变约是2的-2次方约0.25。什么意思在FP8 E5M2下1.0和1.25在数值上完全没区别。如果有一层权重过渡依赖0.1这种量级的精细差异FP8很可能把差异直接吞掉。做训练时如果对数值分布不够了解就贸然切FP8通常会在几百步之后发现loss出现异常爬升。3. 训练中精度从哪里开始崩坏梯度下溢与混合精度的补救逻辑3.1 梯度消失的另一种形态下溢成0很多人以为梯度消失只是网络太深导致的其实在低精度浮点格式下梯度还有可能因为数值太小被格式表示不出来而“归零”。比如在BF16里一个数量级为1e-4的微小梯度仍然可以勉强表示出来但到了FP8 E4M3格式里靠近正常数值范围的最小刻度已经很大很多小梯度直接被丢到0。这就是“下溢”。一旦梯度变成0对应权重就再也不更新了。训练表面看着还在跑实际上某些参数成了“僵死”状态。我排查过的一次典型事故就是模型最后一个线性层的bias项长期不更新loss在某个平台期停住不降。打印梯度的数值分布之后才发现低精度格式把绝大多数梯度都压到了0附近。3.2 混合精度训练的三件套主权重、前反向、损失缩放混合精度的核心思路用一句话概括关键的东西用高精度量大且不敏感的东西用低精度。第一件套主权重始终保留FP32。因为权重的更新需要长期累积每次更新只加一点点delta如果用低精度保存累积误差可能会让最终权重质量大打折扣。第二件套前向计算和反向计算的矩阵乘用低精度格式完成获得速度与显存收益。第三件套在损失函数上乘一个缩放因子把反向传播中的梯度整体放大避免小梯度下溢。这就像一个公司在记账时总账本用高精度账簿日常流水用快速计算器工资发放前再统一调整。分工不明确的话很容易出现账目对不上的情况。3.3 Loss Scaling的真实操作逻辑与取值参考Loss Scaling为什么能缓解下溢因为神经网络的前向和反向过程从损失值到梯度的路径上存在大量乘法。梯度在反向传播的每一层都会被乘上权重矩阵的转置以及激活函数的导数数值越到下层越小。人工在损失上乘一个大常数C相当于每一层反向传播的梯度数值都乘上一个大常数这样小梯度就不会掉出浮点格式的表示下限。在FP16时代常用的缩放因子是128、256、512。到了BF16时代因为动态范围足够大有时不缩放也问题不大但FP8场景下缩放又变得关键。我实践下来的经验是FP8训练时把缩放因子从32起步观察梯度统计的绝对值分布再逐步调到128或更高。一个重要的自检是如果训练初期就出现NaN先缩小缩放因子如果梯度范数长期在1e-4以下徘徊则可能缩放因子调小了。4. FP8实战中更容易翻车的几个细节缩放、层分配、监控与调参4.1 哪些层适合切FP8哪些层必须保持高精度不是所有计算都适合低精度格式。我的经验是把网络分成三类可以切FP8的高计算量模块、建议保持高精度的敏感模块、以及介于两者之间的灰色地带。适合切FP8的是多层感知机里的线性层、多头注意力的Q/K/V投影和输出投影。它们的计算量占比非常高而且矩阵乘法对相对误差的容忍度相对高。必须保持高精度的有LayerNorm、Softmax、Loss计算。这几个模块数值分布极其敏感Softmax的指数运算在低精度下很容易因为上溢变成NaNLayerNorm里的均值、方差计算如果精度不足后续归一化效果会明显劣化。灰色地带是Embedding层和最终输出层。Embedding查表如果量化误差太大会让语义表示丧失细节最终logits层在语言模型中直接和交叉熵loss挂钩梯度质量直接影响收敛。我建议在FP8实验中可以先固定这两层使用BF16再看整体效果是否可接受。4.2 损失缩放因子不是越大越好过大和过小各有问题这项我单独拎出来讲是因为团队在FP8实战里吃了大亏。有一次为了追求极致的低精度收益把缩放因子设成1024训练前200步损失下降速度飞快2000步之后开始出现阶段性NaN训练直接崩溃。而把缩放因子改成64之后虽然初期下降稍微慢一点但整体稳定。过大缩放因子的风险在于梯度被整体放大后部分本来安全的中间值可能超过格式上限变成Inf或NaN。过小缩放因子的风险则是小梯度下溢成0模型部分参数失去更新能力。稳妥起见建议训练早期同时跑两组实验一组缩放因子64一组256对比梯度范数和损失下降。在理想情况下两组曲线若几乎重合选256若256那组出现波动就回落64。这个做法比盲目跟网络上的推荐数值可靠得多。4.3 训练过程中必须盯住的三个监控指标既然低精度格式的危险点在下溢、上溢、精度损失监控也应该围绕这三个点展开。第一个是日志里的NaN和Inf出现次数。别只看loss值要在每层梯度上做数值统计监控值为NaN或Inf的层名称与出现频率。第二个是梯度范数的变化趋势。每N步打印一次全模型梯度的L2范数如果某个阶段范数出现断崖式下跌大概率是发生了下溢。第三个是每组张量的绝对值分位数。特别是激活值和梯度的第1百分位、第99百分位。如果在低精度切换后第1百分位直接跌到0且占比陡增说明下溢严重。我通常的做法是在训练脚本里加一个简单的监测hook每隔50步dump一次张量统计值存成日志文件方便回溯。这比事后靠loss曲线猜问题高效得多。4.4 FP8和分布式训练的交互先reduce再unscale的顺序问题分布式训练中多张卡各自算梯度然后统一做梯度同步再对参数做更新。当引入低精度和Loss Scaling时顺序就变得非常关键。正确的做法通常是各卡计算出缩放后的梯度先进行全局梯度同步all-reduce再统一除以缩放因子。如果先把梯度还原成原始大小再做all-reduce在低精度格式下同步过程很容易丢失精度。这里我踩过一次坑缩放因子不统一不同卡的梯度先各自除、再all-reduce结果同一参数在不同卡上出现数值不一致模型参数同步后训练发散。所以把“缩放”看作是模型训练逻辑的一部分而不是数据后处理。不要到处手动unscale统一交给训练框架的自动混合精度逻辑处理是最稳的。5. 一次跨格式训练对比的复盘选型结论与踩坑记录5.1 同一个小型语言模型在FP32/BF16/FP8下的真实对比下面是我在一个模拟项目X里的实验经历。模型规模不大几亿参数级别数据是通用中文文本语料训练方式用的是自回归语言建模。我做了三个实验配置纯FP32、BF16混合精度、FP8前反向主权重FP32。纯FP32loss曲线最平滑稳定收敛但训练速度最慢显存占用最大。BF16混合精度loss曲线和FP32几乎重合速度比FP32快了很多显存降了约一半。这是最成熟的组合。FP8前反向前500步loss和BF16非常接近之后开始出现小幅度震荡后半程某一层出现了梯度稀疏最终收敛质量比BF16差一点。这里的差距不是“不可用”而是需要额外的调参和层分配。如果你只想尽快拿到可靠结果BF16依然是首选FP8更像是在时间和显存成本都不够时要尽力压榨硬件的选择。5.2 我们踩过的具体坑把FP8用在了最不该用的地方第一次尝试FP8时我把嵌入层也切成了FP8。结果模型学到的词汇表示质量明显下滑生成内容开始出现大量重复和逻辑断裂。排查了很久最终发现是词向量空间在FP8的粗刻度下相近语义的向量被压缩成了几乎相同的表示。换成“Embedding和最终输出层保持BF16其余全部FP8”之后整体质量恢复到了BF16水平显存又进一步降低。现实经验告诉我们FP8带来的吞吐收益必须用“保护关键层精度”来换。任何抛弃边界精度、一刀切的全网FP8都会付出代价。5.3 按任务类型给出选型建议任务类型第一推荐第二推荐备注大模型预训练BF16混合精度FP8前反向关键层BF16先求稳定再求吞吐领域微调BF16FP32数据量小精度敏感大模型推理FP8E4M3BF16关注吞吐与显存边缘端部署FP8 E5M2更低bit量化需额外校准与评估数值计算/科研FP32及以上无不建议低精度这个表是我根据多次项目实践总结出来的具体还要看你的算力平台对FP8的支持程度。硬件能力不匹配时软件层面的收益会被通信和算子开销直接吃掉。5.4 从“能用”到“好用”的完整落地步骤如果一定要把FP8用进训练流程我建议照着下面的顺序走一遍避免前人踩过的坑。第一步先用BF16把训练流程完整跑通拿到一组loss曲线作为基线。第二步选择FP8支持最成熟的框架和版本升级驱动和算子库确认目标层可以被FP8算子覆盖。第三步先做单步验证只跑少量迭代打印每层的激活值和梯度数值分布检查是否有大面积下溢或溢出。第四步设置损失缩放因子从64起步同时监控梯度范数。如果出现NaN逐级调低如果梯度范数异常小逐级调高。第五步关键敏感层固定为BF16例如LayerNorm、Softmax、Embedding、输出logits层。先在8卡以下的小规模环境上做验证。第六步和基线对比loss曲线与下游指标确认收益大于损失后再扩大规模。第七步训练中途持续监控NaN率和梯度分位数不要等模型跑完才回头查日志。结尾一些实际体会做完这几轮精度对比实验后我的一个切身感受是混合精度训练里真正危险的不是格式本身而是人对数值分布缺乏感知。FP32、BF16、FP8更像三把不同刻度的算盘你总得先知道你要称量的东西大概是多大数量级才能决定用哪把算盘去拨。对绝大多数预训练和微调任务BF16是最稳的甜点位FP8则更适合已有充分的BF16基线、且被显存和吞吐逼到墙角的情况。如果你手头正好也要做类似切换建议从把敏感性较高的层保护起来做起一步到位切成全精度虽然爽快但后面排查数值问题的代价往往会让你后悔莫及。