1. 从三篇论文说起GRPO 训练技巧的评测背景1.1 为什么突然要评测这些训练技巧大模型强化学习这条线从 PPO 到 GRPO 再到 DAPO算法迭代的速度远比大多数人想象的要快。但真正在一线做训练的人都有一个共同的困惑论文里那些花里胡哨的训练技巧到底有多少是真的在起作用又有多少只是为了让曲线好看而堆上去的装饰我最近集中读了三篇围绕 GRPO 训练技巧做系统性评测的论文它们做的事情本质上是一样的——把社区里流传的十余项训练技巧拿出来在统一的实验条件下逐个验证看哪些技巧在什么场景下真正带来了收益哪些技巧其实是无效甚至有害的。这个工作非常有价值因为在此之前大部分技巧的传播路径都是“某篇论文用了效果不错大家跟着用”但很少有人做过严格的消融和交叉验证。GRPO 本身是 PPO 的一个变体核心改动在于去掉了价值网络critic改用组内归一化的方式来估计优势函数。这个改动带来的直接好处是显存占用大幅降低训练稳定性也有所提升。但代价是优势估计的方差变大了尤其是在奖励信号稀疏或者组内样本差异较大的时候训练很容易出现波动。所以后续的一系列技巧本质上都是在试图解决这个问题——要么降低方差要么改善奖励信号的密度要么调整更新幅度。1.2 三篇论文的评测范围与核心结论这三篇论文覆盖的技巧大致可以分成几类损失函数层面的改动比如 DAPO 提出的 decoupled clipping、token-level loss、采样策略层面的调整比如动态采样、难度过滤、归一化方式的变体比如 batch-level 归一化 vs. group-level 归一化、以及一些训练调度相关的技巧比如 KL 惩罚的调度、学习率 warmup 策略。核心结论用一句话概括就是大部分技巧在特定条件下有效但没有任何一个技巧是万能的。更关键的是很多技巧之间存在交互效应——单独用 A 有效单独用 B 也有效但 AB 一起用反而可能互相抵消。这个发现非常重要因为它意味着你不能简单地把所有“看起来有用”的技巧堆在一起而是需要根据你的具体场景做取舍。这里有一个常见的误区很多人看到某篇论文的消融实验里某个技巧带来了提升就直接把这个技巧加到自己的训练流程里。但论文的实验条件和你自己的场景往往差异很大——模型规模不同、数据分布不同、奖励函数的设计也不同。直接照搬的结果很可能是没有任何提升甚至训练变得更不稳定。1.3 这篇文章要解决的问题我写这篇文章的目的不是复述这三篇论文的内容而是结合我自己在 GRPO 训练中的实际经验把这些评测结论翻译成可操作的工程决策。具体来说我会回答几个问题哪些技巧是值得默认开启的哪些技巧需要根据场景判断哪些技巧可以直接忽略这些技巧背后的原理是什么为什么在某些条件下有效而在另一些条件下无效以及在实际操作中怎么判断一个技巧是否真的在起作用。如果你正在做 LLM 的强化学习训练尤其是用 GRPO 或者类似的算法这篇文章应该能帮你省下不少试错的时间。如果你刚开始接触这个方向文章里的原理部分和实操建议也能帮你建立一个基本的判断框架。2. 核心技巧拆解哪些真的有用哪些只是噪音2.1 损失函数层面的技巧DAPO 的 decoupled clipping 与 token-level lossDAPO 这篇论文提出的两个改动在社区里的讨论度非常高。第一个是 decoupled clipping也就是把 PPO 里那个对称的 clipping 范围拆成上下界分别设置。标准 PPO 的 clipping 是[1-ε, 1ε]而 DAPO 把它改成[1-ε_low, 1ε_high]其中ε_low和ε_high可以不同。这个改动的直觉是这样的在策略更新的时候我们通常更担心的是策略更新幅度过大导致训练崩溃所以对“增大概率”的方向也就是 ratio 1 的方向应该更保守一些而对“减小概率”的方向可以稍微放宽。实测下来这个改动在训练初期确实能带来更稳定的曲线尤其是在奖励信号比较稀疏的时候。但这里有一个坑ε_low和ε_high的具体取值非常敏感。论文里给的默认值是ε_low0.2, ε_high0.28但这个值是在他们的实验条件下调出来的。我试过在自己的场景里直接用这个值结果训练前期反而变得更保守了策略更新速度明显变慢。后来把ε_high调到 0.24 左右才找到一个比较平衡的点。第二个改动是 token-level loss。标准 PPO 的损失是在序列级别计算的也就是把整个序列的 token 损失平均起来。DAPO 改成在 token 级别计算然后再做归一化。这个改动的效果在长序列场景下比较明显因为序列级别的平均会让长序列里的每个 token 的权重被稀释而 token 级别的计算能更精确地反映每个 token 的贡献。不过这个改动也有代价计算量会稍微增加而且如果你的序列长度分布很不均匀token-level loss 可能会让短序列的权重被过度放大。我的建议是如果你的任务里序列长度差异很大比如有的样本几十个 token有的几千个 token可以试试 token-level loss如果序列长度比较均匀这个改动带来的收益可能不明显。2.2 采样策略层面的技巧动态采样与难度过滤动态采样dynamic sampling是另一个被广泛讨论的技巧。它的核心思想是在每次更新的时候不是用所有的样本而是根据当前的策略状态选择那些“最有信息量”的样本。具体来说就是过滤掉那些奖励全部相同全对或全错的组因为在这些组里优势函数的估计是零对梯度没有贡献。这个技巧的收益在训练后期特别明显。训练初期策略还很弱大部分样本的奖励都有差异所以过滤掉的比例不高。但到了训练后期策略已经比较强了很多简单样本的奖励都变成了全对这时候如果不做过滤大量的计算资源就浪费在了这些没有梯度的样本上。但动态采样也有一个隐患如果你过滤得太狠可能会导致某些类型的样本被完全忽略策略在这些样本上的表现反而会退化。我遇到过一种情况在训练后期过滤掉了大量“全对”的样本之后模型在简单任务上的表现反而下降了因为策略开始过度拟合那些困难的样本。后来我加了一个最小采样比例的限制保证每种类型的样本至少有一定比例被保留这个问题才缓解。难度过滤difficulty filtering和动态采样有点类似但它的思路是根据样本的难度比如当前策略在这个样本上的正确率来决定是否使用这个样本。太简单的样本正确率接近 1和太难的样本正确率接近 0都被过滤掉只保留那些正确率在中间区间的样本。这个技巧在课程学习curriculum learning的场景下比较有用但实现起来比动态采样要复杂一些因为你需要维护一个难度估计的机制。2.3 归一化方式的变体batch-level vs. group-levelGRPO 的核心改动就是用组内归一化来替代 PPO 的价值网络。具体来说对于每个 prompt采样一组回答比如 8 个然后计算这组回答的奖励的均值和标准差用这个来归一化每个回答的优势值。这个做法在大多数情况下是有效的但在某些场景下会有问题。第一个问题是组内样本太少的时候均值和标准差的估计会很不稳定。比如你只采样了 4 个回答其中 3 个的奖励是 11 个是 0那标准差就会比较大归一化后的优势值也会比较极端。这个问题在训练初期特别明显因为那时候策略的方差本身就大。第二个问题是当奖励信号是稀疏的比如只有 0 和 1 两种取值时候组内归一化可能会让优势值的分布变得很奇怪。比如一组 8 个回答里如果全部都是 1那标准差就是 0归一化就没法做了。这时候通常的做法是直接把这一组的优势值设为 0但这样就浪费了这些样本。有些论文尝试用 batch-level 的归一化来替代 group-level也就是在整个 batch 的范围内计算均值和标准差。这个做法在组内样本很少的时候更稳定但代价是失去了组内的相对比较信息。我的经验是如果你的组大小group size大于等于 8group-level 归一化通常更好如果组大小小于 8可以考虑用 batch-level 或者混合的方式。2.4 训练调度相关的技巧KL 惩罚与学习率 warmupKL 惩罚的调度是一个容易被忽略但影响很大的技巧。在 GRPO 里KL 惩罚的作用是限制新策略和旧策略之间的差异防止更新幅度过大。标准做法是给 KL 项一个固定的系数但有些论文提出用自适应的方式——如果 KL 散度太大就增大惩罚系数如果 KL 散度太小就减小惩罚系数。这个自适应调度的收益在训练稳定性上比较明显尤其是在奖励信号波动比较大的时候。但它也有一个副作用如果 KL 惩罚系数被调得太大策略会变得过于保守更新速度变慢训练效率下降。我试过几种自适应策略最后发现比较稳妥的做法是设置一个目标 KL 范围比如 0.01 到 0.05然后根据当前的 KL 散度是否在这个范围内来调整惩罚系数调整的步长不要太大。学习率 warmup 是一个更基础的技巧但在 GRPO 训练里它的重要性往往被低估。因为 GRPO 去掉了价值网络优势估计的方差本身就比较大如果学习率一开始就设得很高训练很容易在初期就发散。我通常会用 5% 到 10% 的 warmup 步数然后把峰值学习率设在 1e-6 到 5e-6 之间具体取决于模型规模和 batch size。3. 实操过程怎么在自己的场景里做技巧评测3.1 实验设计的基本原则如果你想知道这些技巧在你的场景里是否有效最可靠的方法当然是自己做消融实验。但消融实验的成本很高尤其是当你有十几个技巧要评测的时候全组合的实验数量会爆炸。所以你需要一个合理的实验设计。我的做法是分两阶段第一阶段做单技巧评测也就是每次只加一个技巧看它相对于 baseline 有没有提升。这个阶段的目的是筛选出那些在你的场景里确实有效的技巧。第二阶段做组合评测把第一阶段筛选出来的技巧两两组合看它们之间有没有交互效应。单技巧评测的时候有几个细节需要注意。第一baseline 要足够强。很多人做消融的时候baseline 用的是最朴素的 GRPO 实现这样任何一个小改动都可能带来提升但实际上一旦你把 baseline 换成调过参的版本很多技巧的收益就消失了。第二评测指标要选对。训练 loss 和奖励曲线是最直接的指标但它们有时候会骗人——奖励上升了但生成质量可能反而下降了。我通常会同时看几个指标训练奖励、验证集上的奖励、生成样本的多样性比如 distinct-n、以及人工评估的分数。3.2 关键参数的设置与调优GRPO 训练里最关键的几个参数是组大小group size、学习率、KL 惩罚系数、以及 clipping 范围。这几个参数之间是相互影响的所以不能单独调。组大小的选择取决于你的计算资源和任务难度。组大小越大优势估计的方差越小但计算成本也越高。我的经验是对于大多数任务组大小设在 8 到 16 之间比较合适。如果任务比较简单可以小一点如果任务很难奖励信号很稀疏可以大一点。学习率和 KL 惩罚系数需要一起调。如果学习率设得比较高KL 惩罚系数也要相应增大否则策略更新幅度会太大。反过来如果学习率比较低KL 惩罚系数可以小一点让策略有更多的更新空间。我通常的做法是先把 KL 惩罚系数设在一个比较小的值比如 0.01然后逐步增大学习率直到训练开始出现不稳定然后再把学习率降回来一点同时适当增大 KL 惩罚系数。clipping 范围的设置和任务的特点有关。如果任务的奖励信号比较密集比如每个 token 都有奖励clipping 范围可以小一点防止策略更新幅度过大。如果奖励信号很稀疏比如只有序列末尾有奖励clipping 范围可以大一点让策略有更多的探索空间。3.3 训练过程中的监控与调试GRPO 训练最容易出问题的地方是训练不稳定表现为奖励曲线剧烈波动或者突然崩溃。要提前发现这些问题需要在训练过程中监控几个关键指标。第一个是 KL 散度。如果 KL 散度突然增大说明策略更新幅度过大可能需要增大 KL 惩罚系数或者降低学习率。第二个是 clipping 比例clip fraction也就是被 clipping 的样本比例。如果这个比例太高比如超过 0.3说明很多样本的更新被截断了策略可能没有充分利用这些样本的信息。第三个是优势值的分布。如果优势值的方差突然变得很大说明组内样本的奖励差异很大可能需要调整组大小或者奖励函数的设计。我自己的做法是在训练脚本里加一个简单的监控模块每隔一定的步数就打印这些指标并且把它们记录到日志里。这样即使训练崩溃了也能回溯到崩溃前的状态看看是哪个指标先出现了异常。3.4 一个具体的评测案例为了让你更直观地理解这个过程我拿一个具体的场景来说。假设你在做一个数学推理任务的 GRPO 训练模型是一个 7B 的 base model奖励函数是基于最终答案是否正确0 或 1。Baseline 的设置是组大小 8学习率 2e-6KL 惩罚系数 0.01clipping 范围 [0.8, 1.2]。训练 1000 步之后验证集上的准确率是 45%。然后我逐个加入技巧。加入 decoupled clippingε_low0.2, ε_high0.24之后准确率提升到 47%但训练曲线变得更平滑了波动明显减小。加入 token-level loss 之后准确率没有明显变化45.5%但训练速度稍微慢了一点。加入动态采样之后准确率提升到 49%而且训练后期的样本利用率明显提高。组合评测的时候decoupled clipping 动态采样的组合带来了 51% 的准确率比单独用任何一个技巧都好。但 decoupled clipping token-level loss 的组合反而降到了 44%说明这两个技巧之间有负面的交互效应。这个案例说明了一个重要的问题技巧的有效性是有场景依赖的而且技巧之间的交互效应不能忽略。你不能简单地假设“A 有效B 有效所以 AB 更有效”。4. 常见问题与排查技巧实录4.1 训练不稳定奖励曲线剧烈波动怎么办训练不稳定是 GRPO 训练里最常见的问题表现是奖励曲线在训练过程中剧烈波动有时候甚至会突然崩溃。这个问题的原因通常有几个学习率太高、KL 惩罚系数太小、组大小太小、或者奖励函数的设计有问题。排查的顺序应该是先检查学习率和 KL 惩罚系数这是最常见的原因。如果学习率是 5e-6 以上可以先降到 1e-6 试试。如果 KL 惩罚系数小于 0.005可以先增大到 0.01 或者 0.02。如果这两个调整都没有效果再检查组大小。如果组大小小于 8可以增大到 16 试试。最后检查奖励函数看看是不是奖励的分布太极端比如大部分样本的奖励都是 0 或者都是 1。还有一个容易被忽略的原因是数据的问题。如果你的训练数据里有很多重复的或者非常相似的样本策略可能会在这些样本上过拟合导致奖励曲线出现周期性的波动。这种情况下需要检查数据的多样性必要时做去重或者重新采样。4.2 训练效率低奖励上升太慢怎么办奖励上升太慢是另一个常见问题尤其是在训练初期。这个问题的原因可能是学习率太低、KL 惩罚系数太大、clipping 范围太窄、或者奖励信号太稀疏。如果学习率低于 1e-6可以适当增大。如果 KL 惩罚系数大于 0.05可以适当减小。如果 clipping 范围是标准的 [0.8, 1.2]可以试试放宽到 [0.7, 1.3]但要注意不要放得太宽否则训练会变得不稳定。奖励信号太稀疏的问题比较难解决通常需要从奖励函数的设计入手。比如如果奖励只在序列末尾给出可以考虑加一些中间奖励比如格式正确性、推理步骤的合理性等。但中间奖励的设计需要小心如果设计得不好可能会引导策略去优化中间奖励而不是最终目标。4.3 显存不够怎么在有限资源下做 GRPO 训练GRPO 相比 PPO 已经省了很多显存因为它不需要价值网络。但在大模型上做训练显存仍然是一个瓶颈。如果显存不够有几个常用的技巧。第一个是梯度累积gradient accumulation。把 batch size 拆成多个小 batch逐个计算梯度然后累积最后再一起更新。这个技巧不会影响训练效果但会稍微增加训练时间。第二个是梯度检查点gradient checkpointing用计算时间换显存空间。第三个是混合精度训练mixed precision用 fp16 或者 bf16 来减少显存占用。第四个是减小组大小但这会影响优势估计的稳定性需要权衡。我自己的经验是梯度累积和混合精度是最实用的两个技巧基本上不会带来负面影响。梯度检查点会明显增加训练时间只在显存非常紧张的时候才用。减小组大小是最后的选择因为它的副作用比较明显。4.4 常见问题速查表问题现象可能原因排查顺序解决方法奖励曲线剧烈波动学习率太高、KL 惩罚太小、组大小太小先查学习率再查 KL最后查组大小降低学习率、增大 KL 惩罚、增大组大小奖励上升太慢学习率太低、KL 惩罚太大、clipping 太窄先查学习率再查 KL最后查 clipping增大学习率、减小 KL 惩罚、放宽 clipping显存不够batch size 太大、组大小太大、精度太高先查 batch size再查组大小最后查精度梯度累积、减小组大小、混合精度训练后期奖励下降过拟合、动态采样过滤太狠、KL 惩罚太小先查动态采样比例再查 KL限制最小采样比例、增大 KL 惩罚生成样本多样性下降策略过于保守、KL 惩罚太大、温度太低先查 KL再查温度减小 KL 惩罚、增大采样温度4.5 几个容易踩的坑第一个坑是盲目照搬论文的参数。论文里的参数是在特定的模型规模、数据分布和任务上调出来的直接搬到自己的场景里往往效果不好。我的建议是把论文的参数作为起点然后根据自己的场景做小范围的网格搜索。第二个坑是忽略技巧之间的交互效应。前面已经说过两个单独有效的技巧组合在一起可能反而有害。所以在做组合评测的时候一定要做交叉验证不能想当然。第三个坑是只看训练奖励不看验证奖励。训练奖励上升但验证奖励下降说明模型在过拟合训练数据。这种情况下需要检查数据的多样性或者增大 KL 惩罚来限制策略的更新幅度。第四个坑是训练步数太多。GRPO 训练在后期很容易出现奖励饱和继续训练不仅没有收益反而可能导致策略退化。我通常会在验证奖励连续 N 步没有提升的时候停止训练N 一般设在 50 到 100 之间。5. 我的实操心得与建议5.1 哪些技巧值得默认开启根据我自己的实验和这三篇论文的评测结论有几个技巧在大多数场景下都值得默认开启。第一个是 decoupled clipping它带来的训练稳定性提升在大多数场景下都能观察到而且实现成本很低。第二个是动态采样尤其是在训练后期它能显著提高样本利用率。第三个是 KL 惩罚的自适应调度它能帮助训练在稳定性和效率之间找到一个更好的平衡。但即使是这些“默认开启”的技巧也需要根据具体场景做参数调整。比如 decoupled clipping 的ε_high值在奖励信号密集的任务上可以设小一点在奖励信号稀疏的任务上可以设大一点。5.2 哪些技巧需要谨慎使用token-level loss 和难度过滤是两个需要谨慎使用的技巧。token-level loss 在序列长度差异很大的场景下可能有效但在序列长度均匀的场景下收益不明显而且会增加计算量。难度过滤在课程学习的场景下有用但实现复杂而且如果难度估计不准确可能会过滤掉一些有价值的样本。还有一些技巧比如 batch-level 归一化在组大小很小的时候可以考虑但在组大小正常的情况下group-level 归一化通常更好。5.3 怎么判断一个技巧是否真的在起作用判断一个技巧是否有效不能只看训练奖励的变化。我的做法是看三个指标验证集上的奖励、生成样本的多样性、以及训练稳定性用奖励曲线的方差来衡量。如果一个技巧能同时改善这三个指标中的两个那它大概率是有效的。如果只改善了训练奖励但验证奖励和多样性都没有变化那这个技巧的收益可能只是过拟合带来的假象。另外我建议在做技巧评测的时候至少跑三次不同的随机种子然后看平均效果。单次实验的结果很容易受到随机性的影响尤其是在训练初期。5.4 后续可以扩展的方向这个评测工作还有很多可以扩展的方向。比如可以评测这些技巧在不同模型规模上的表现差异——7B 模型上有效的技巧在 70B 模型上是否同样有效还可以评测这些技巧在不同任务类型上的表现差异——数学推理任务上有效的技巧在代码生成或者对话任务上是否同样有效另外这些技巧的组合空间非常大目前只评测了两两组合更高阶的组合效应还不清楚。但高阶组合的实验成本很高需要更高效的实验设计方法。我个人在实际操作中的体会是GRPO 训练的技巧评测是一个持续的过程不是一次性的工作。随着模型和任务的变化有效的技巧集合也会变化。所以与其追求一个“万能”的技巧组合不如建立一个可靠的评测流程让自己能够快速判断一个新技巧是否值得加入。