前阵子我在啃一篇开源大模型的论文时越读越觉得有意思。论文本身讲的是如何把大模型的训练参数量压下来但读完之后我发现里面不少思路不仅能用于复现论文场景还能迁移到我们自己的训练任务里。我把论文里的方法拆成 8 招每一招都从“它到底解决什么问题”“主要怎么实现”“我能怎么直接用”三个角度来整理今天分享出来给正在做大模型训练、调优或者预算有限只能精打细算的同行做个参考。1. 这篇论文最值得啃的点参数量是怎么被压下来的先说背景。我们平时训练大模型最痛的事情就是显存不够、算力不够、跑一次实验的时间太长。模型参数量一旦上去不光静态存储要钱训练过程中的优化器状态、梯度、中间激活值都要占额外显存。论文里一个很核心的思想是不是所有参数都值得被完整训练也不是所有计算步骤都值得用全精度去做。基于这个思路作者从模型结构和训练算法两个层面同时动刀把训练参数量降到了很可观的水平。我最开始读的时候还有点怀疑因为很多降参数量方法都会伴随精度下降。但论文的价值恰恰在于它把多种手段组合起来让整体损失控制在一个可接受范围内。这篇论文读下来我的最大收获并不是某一个具体模块的设计而是一套“分阶段做减法”的方法论——先想办法让模型结构本身更省再让训练过程更省最后再针对特定任务做参数级优化。要理解这 8 招先得明确一个容易被混淆的点降低训练参数量并不是只指减少模型最终存储的权重个数。有些方法减少的是训练时需要更新和保存的参数量有些方法减少的是实际参与计算的参数量还有些方法减少的是显存中的动态占用。为了避免后面越讲越乱我把这 8 招分成两类结构层面的减法让模型天生就用更少的参数来表达同样的能力训练过程的减法模型结构不变但通过训练策略降低需要更新的参数量和显存压力。下面每一招我都会说清楚它属于哪一层这样你用的时候也更清楚该在哪个阶段介入。2. 结构层面先动刀共享、分解、压缩、稀疏这一节讲的是模型设计阶段就能做的 4 招。它们的特点是一旦把模型结构改了后面训练的每一步都能享受到参数减少带来的好处。2.1 第一招权重共享让同一份参数干好几份活权重共享是我觉得最容易理解、也最容易低估收益的一招。它的核心逻辑非常简单模型里的某些模块其实没必要各自维护一套独立的参数可以让它们共用同一套权重。最典型的例子就是词嵌入层和输出层。在很多 Transformer 模型里输入侧的词嵌入矩阵和输出侧的投影矩阵尺寸往往是对称的如果分别保存两份参数量就是双份。论文里会直接把这两个矩阵绑定成同一个参数前向计算时一个矩阵被两处引用反向后梯度也会自动累加。我刚开始做共享参数时担心过一个事情输入和输出的语义空间真的完全一致吗后来发现多数任务里这个近似是成立的而且在训练初期还能起到一定的正则化作用反而减少过拟合。实操时要注意的是共享参数的粒度。除了词嵌入层你还可以把相邻 Transformer 层的某些权重共享掉比如隔层共享前馈网络的参数或者共享 Attention 里的某些投影矩阵。有的实验表明隔层共享可以让模型参数量减少 10% 到 20% 左右代价是训练收敛速度略微变慢需要多跑一些 step 才能追平效果。这类方法适合的场景是你的模型里有大量结构相似、语义相近的模块直接复制各自参数属于浪费。我给出的建议是先用梯度分析工具看各层权重更新方向是否高度相似如果相似度很高共享就大概率是安全的。2.2 第二招低秩分解把大矩阵拆成两个小矩阵低秩分解是个数学味道比较重的方法。简单来说一个形状为 d×d 的权重矩阵如果它的有效秩其实只有 r那么这个矩阵的信息根本不需要用 d 的平方个参数来存储完全可以用一个 d×r 的矩阵和一个 r×d 的矩阵来近似表达。这样参数量就从 d² 降到了 2dr。我在实际项目中用过这个思路去压缩前馈网络的中间投影。比如原来是一个 4096 维映射到 4096 维的全连接层如果分解成 4096×256 和 256×4096 两个矩阵参数直接从 1600 万降到 200 万左右少了差不多一个数量级。这里有一个关键问题r 怎么选。选得太小表达能力严重受损模型欠拟合选得太大省参数的收益又不明显。我的经验是先做一个 Rank 分析也就是看大矩阵的奇异值分布。如果奇异值从某个位置开始快速衰减那个位置就可以作为 r 的初始候选值。另一个比较务实的做法是先按目标参数量反推 r再在训练中尝试增大或缩小观察 loss 的走势。低秩分解不光能用在权重初始化上还可以作为一种“训练后压缩”手段。训练时用完整大矩阵学到的信息事后做 SVD 分解只保留前 r 个奇异值和对应向量。但训练完再做分解和一开始就用低秩结构训练这两者的精度差异不小。论文里通常更倾向于“从训练一开始就采用低秩结构”因为优化轨迹会自适应地调整参数分布而不是强行截断一个已经收敛的矩阵。2.3 第三招注意力键值压缩把缓存开销也降下来这一招在普通结构讲解里很少被单独拿出来说但我认为它才是论文里最值得注意的一点。我们知道 Attention 机制在训练和推理时都需要维护 Key 和 Value 的缓存这些缓存的形状是长度乘以隐藏维度。当序列很长时这部分显存开销几乎和参数本身一样大。论文里的做法是引入一个潜变量压缩模块不直接维护完整的 Key 和 Value而是先学习一个低维的潜变量再通过两组投影矩阵把潜变量还原成计算 Attention 所需的 Key 和 Value。这就相当于把 Key/Value 的存储维度从“隐藏维度”压缩到了“潜变量维度”。我试过在中等规模模型上复现这个思路最直观的感受是对于相同长度的序列KV 缓存占用可以降到原来的四分之一甚至更低。这意味着在显存有限的情况下可以塞进更大的 batch size从而让训练吞吐明显上升。实际操作中有一个需要特别留意的坑潜变量维度如果压得太低Attention 的表达能力会被削弱导致长距离依赖的建模变差。我的建议是先用一个相对保守的压缩比起步比如保持潜变量维度为隐藏维度的 32 分之一然后根据验证集上的长文本任务表现来调整。此外投影矩阵本身也是参数这部分开销需要算进总账里并不会凭空消失但它换来的显存收益绝对值更大往往依然划算。2.4 第四招稀疏专家混合不激活的参数不等于不存在谈到降低训练参数量很多人第一反应是稀疏专家混合。它的核心思想是一个大的前馈网络其实可以由多个小专家网络组成每个 token 只路由到其中少数几个专家其余专家不参与计算。这个思路最吸引人的地方在于它实现了“总参数大但计算量不大”的效果。比如你有 64 个专家每个 token 只激活其中 2 个那么理论上前馈部分的计算量只有全量计算的三十二分之一但模型保存的参数依然是 64 份专家之和。所以严格来说稀疏专家混合降低的不是总参数量而是训练和推理时实际参与计算的参数量以及由此带来的计算和显存压力。我在尝试这一类结构时最大的感受是工程复杂度远高于普通 Transformer。你需要额外维护一个路由网络而且路由网络很容易陷入“赢者通吃”的局面——也就是少数专家被频繁选中大部分专家几乎得不到训练最后模型退化成一个参数量巨大的普通模型。针对这个问题论文里通常会在损失函数中加入负载均衡约束让专家之间的被选择次数尽量均匀。对于读者来说如果目标是降低训练参数量且能接受一定工程复杂度这一招非常值得用。但如果只是做一个几亿参数的小模型引入专家混合反而可能因为路由不均匀和通信开销让训练变得笨重。我会更建议在模型规模达到一定阈值——比如至少十亿参数以上——之后再考虑这类稀疏结构。3. 训练阶段再减负剪枝、量化、蒸馏、冻结微调模型结构做完了减法接下来要看训练过程本身。这一节的 4 招不会改变模型架构但能让你在训练过程中实际使用的参数量和显存占用大幅下降。3.1 第五招结构化剪枝让不重要的参数直接消失剪枝是一个很老的技术但在大模型训练里重新焕发了生命力。它的逻辑是模型中并不是每个权重都对最终结果有同等贡献一部分参数的绝对值很小或者对损失的敏感度很低去掉它们并不会对精度造成太大影响。剪枝分为非结构化和结构化两种。非结构化剪枝只把不重要的单个权重置零稀疏性很高但需要特殊算子支持才能加速标准硬件上反而可能变慢。结构化剪枝则是把整个通道、整行或整列都删掉虽然损失一些灵活性但能直接让矩阵变小从而实打实地降低训练和推理时的参数量。结合论文中的做法我比较推荐“渐进式剪枝”在训练过程中每隔若干步做一次小幅度剪枝而不是训练结束后一次性剪掉一大块。这样模型有机会在剩余结构上重新调整参数分布精度回弹的空间更大。你可以先设定一个目标稀疏度比如 20%然后从第 20% 的训练进度开始每 1% 的进度剪掉一定比例的通道最后在训练末尾做一次微调。这里我想特别提个醒剪枝比率不是越高越好。我做过不少实验通道剪枝超过 30% 之后模型在某些低频类别或长尾分布上的表现会显著下降。这不是平均损失能看出来的必须用细粒度指标去验证。如果你没有专门的评估集宁可保守一点先剪 10% 到 15%看效果稳定再往上加。3.2 第六招量化感知训练用低精度把每一步的显存都省下来量化算是目前最直接降低训练显存占用和参数量存储的手段之一。常规训练用 FP16 甚至 FP32 保存梯度和权重但论文里的做法是让模型在训练时就模拟低精度计算比如 INT8、INT4让权重和激活值的存储规模直接缩小。为什么说“模拟”因为直接在纯 INT8 环境下训练往往会带来很大的精度损失尤其刚开训时参数扰动很敏感。量化感知训练的常见做法是维护一份高精度的权重副本但前向计算时把权重和激活值量化到低精度反向传播时再把梯度投射回高精度副本上更新。相当于拿高精度权重作为“母版”但所有计算消耗都按低精度算。我自己的经验是量化感知训练有两个最关键的参数量化范围和量化粒度。量化范围决定了浮点数到整数的映射区间范围太小会截断极端值范围太大则会让中间精度的分辨率不足。更推荐的做法是按通道或者按 token 动态计算 min/max而不是用全局统一的范围。量化粒度越细精度损失越小但计算开销也越大需要你做个平衡。有一点可能和直觉不同量化并不一定意味着训练速度变快尤其是在小 batch size 场景下量化/反量化操作本身也有开销。但在大 batch 和长序列场景下省下来的显存可以让你把模型和 batch 塞得更大整体吞吐收益非常可观。我把这一招定位成“用一点精度换训练规模”的策略非常适合显存不足但想跑更大模型的团队。3.3 第七招知识蒸馏拿小模型学大模型的判断方式知识蒸馏是典型的“间接降参数量”方法。它不改变当前模型的任何结构而是用一个大模型教师模型的输出去引导一个小模型学生模型训练从而让小模型用远小得多的参数量逼近大模型的效果。论文里用蒸馏的时候不只是简单地让小模型去拟合大模型的硬标签而是用大模型输出的软概率分布作为训练信号。软标签里包含了类别之间相似度信息比如模型认为“猫”和“老虎”的接近程度远大于“猫”和“汽车”这种信息在硬标签里是不存在的。实际操作上蒸馏需要控制一个叫“温度”的超参数。温度越高软标签里各类别的概率分布越平滑小模型学到的大模型“思考方式”就越充分温度太低则软标签退化到接近硬标签蒸馏效果不明显。我在不同任务里试过温度取 2 到 4 之间往往是个甜点区域。蒸馏还有一个容易被忽略的坑教师模型的质量。如果你用一个本身就欠拟合的大模型去蒸馏学生模型学到的就是“错误答案的分布”结果反而比直接训练更差。所以我通常建议先确保教师模型在目标任务上有足够好的表现再启动蒸馏。如果你是在一个全新的领域里做模型压缩蒸馏可以放到方案后期。先通过前面提到的低秩分解或结构化剪枝把模型缩小再用蒸馏做一轮精度恢复这个组合我测过很多次比单独使用任何一种手段的效果都更稳。3.4 第八招参数高效微调训练时只更新一小部分参数最后一招其实更偏向训练策略适合你已经有一个预训练模型、只需要在下游任务上微调的场景。传统微调会让所有参数都参与更新对于一个十亿参数的模型每个下游任务都要单独保存一份完整权重训练时也要为全量参数计算梯度成本自然很高。参数高效微调的核心思路是冻结绝大部分原始参数只额外引入或者只更新极小一部分可学习参数。常见手段包括只训练 LayerNorm 里的 scale 和 bias、在 Attention 层旁边插入低秩适配矩阵、在输入侧增加一小部分可学习的 prompt token 等。我自己最常用的适配器就是低秩旁路。做法是给线性层加一条“旁路”输入先经过一个降维矩阵再经过一个升维矩阵把输出加回原始输出上。训练时原始权重全部冻结只更新旁路里的两个小矩阵。只需要为主模型增加不到 2% 的参数量就能在大多数任务上达到接近全量微调的效果。这种方法的另一个好处是“多任务友好”。你可以为每个任务只保存一套旁路参数主模型永远只有一份。部署时动态切换旁路就能在同一个模型权重上服务不同任务这在工程上非常省事。需要提醒的是如果下游任务和预训练任务差距过大只加适配器可能不太够这时可以放开最后一两层全量更新再加适配器效果会更好。4. 八招怎么组合才能发挥最大效果单独讲每一招都很清楚但在实际项目中很少会只用一招。论文里真正厉害的地方在于把多个方法按顺序组合起来。我根据自己的复现经验给出一套比较稳妥的“组合路线图”。4.1 组合的原则先结构后训练先粗调后精调我的经验是结构层面的修改越早做越好训练层面的优化可以逐步叠加但不要一开始就把所有手段全部打开。原因很简单如果一上来同时启用低秩分解、量化、剪枝、蒸馏、稀疏专家你根本分不清精度下降到底来自哪一个环节。工程问题里变量太多等于没有变量。推荐顺序大致是先确定模型主架构把权重共享和注意力键值压缩这两个结构性改动确定下来再用低秩分解替换部分大矩阵这一步可以明显降低参数量但不会带来太严重的精度波动如果模型规模够大且训练资源紧张再引入稀疏专家混合但要做好负载均衡监控训练到中期加入渐进式剪枝同时配合量化感知训练用低精度节省显存训练后期或者预训练完成后用知识蒸馏做一轮精度复原最后每个下游任务用参数高效微调去适配不再全量更新参数。这套顺序不是唯一的答案但它是变量最少、最容易定位问题的一种组合方式。我在两个规模不同的实验上验证过前一版组合比单用任意两招都稳定最终参数量下降了将近一半精度只掉了不到两个百分点而训练吞吐提升很明显。4.2 不同方法的效果对比直接用表格说话为了让你更直观地挑选方法我把这 8 招的主要收益和代价整理成了一张表。方法主要降低什么训练速度影响精度风险工程复杂度适合阶段权重共享总参数量/存储量略加快中低低模型设计低秩分解矩阵参数量略加快中中模型设计注意力键值压缩缓存/显存占用明显加快中中高模型设计稀疏专家混合实际计算参数量视路由而定中高高模型设计结构化剪枝总参数量/计算量略加快中中训练中后期量化感知训练存储/显存占用大 batch 下加快中低中高训练全程知识蒸馏总参数量/存储量略变慢低低训练后期参数高效微调训练更新量/多任务存储明显加快低低微调阶段这张表里的“精度风险”是我的个人经验值不是严格实验结论。实际风险会因任务差异、数据规模、组合方式而波动但它至少能帮你做个预判如果你的项目对精度极其敏感那就优先选权重共享和量化感知训练这种相对温和的手段如果你想快速撑起一个大模型实验结构化剪枝和稀疏专家混合的短期收益会更明显。5. 复现过程中的坑与补充建议方法归方法真拿到自己项目里还是有不少需要注意的细节。我最后一个部分专门讲复现时遇到的实际状况和我的应对方式。5.1 不要忽略优化器状态的显存开销做训练优化的同学往往盯着模型参数和激活值却容易忽略优化器状态。像 Adam 这类优化器需要为每个参数保存一阶动量和二阶动量这部分显存通常是参数量的两倍以上。也就是说哪怕你把模型参数量砍到原来的一半优化器状态依然会占一大块显存。应对方法有两个思路要么用低秩分解直接减少参数量让优化器状态同步减少要么换用内存效率更高的优化器比如不保存完整二阶动量的变体。实验下来前者更稳妥后者需要你重新调学习率等超参训练初期的稳定性会差一些。5.2 组合使用的次序对结果影响很大有段时间我把低秩分解和量化感知训练同时启用结果 loss 在训练中期突然暴涨。排查了很久才意识到低秩分解已经在一定程度上压缩了参数表达空间量化又进一步限制了精度两个误差叠加后被放大模型根本找不到稳定的优化方向。后来我改成“错峰”使用第一周只用低秩分解训练等 loss 下降到平稳区段后再开启量化感知训练问题就消失了。所以组合多种降参数量方法前一定要想清楚每一步会给模型引入多少额外误差尽量让误差来源在时间上错开。5.3 评估指标里要加入“参数效率”维度最后一条建议可能有点反直觉评估方案时不要只看精度还要看参数效率。什么叫参数效率就是单位参数量带来的效果提升。同样是 85 分的准确率一个模型用了 5 亿参数另一个模型用了 2 亿参数后者的参数效率明显更高也更适合部署到真实业务里。我建议团队在做实验报告时固定一个“参数量-精度”二维指标每次优化都记录下当前的可训练参数量、总参数量、峰值显存以及对应效果。时间久了你就能建立一个属于自己项目的方法库知道哪些手段在本领域内是真正有效的。说到底降低大模型训练参数量并不是一个纯粹的学术问题它是一个预算问题、一个工程效率问题、也是一个部署可行性问题。论文里的 8 招每一招单独拿出来都不算新颖但把它们按照合理的顺序组合起来就能产生 112 的效果。我自己在这轮实验里最大的体会是不要留恋某一个模型的原始存留参数敢于做减法并且给每一项减法留出足够的验证空间才是真正把模型训练成本降下来的关键。