GSPO的出发点GRPO 的稳定性隐患GSPO 的提出直接源于 GRPO 的一个关键缺陷。GRPO 虽然在消除价值网络Critic方面表现出色但其核心设计存在粒度不匹配的问题奖励Reward是序列级别的即对一个完整的回答Response给出一个整体的评分。优化Optimization却是Token级别的GRPO 为序列中的每一个Token单独计算一个重要性权重Importance Weight。这导致了一个严重问题同一个序列内不同Token的权重可能差异巨大带来高方差的训练噪声。随着模型变大、回答CoT变长这种噪声会不断累积最终可能引发不可逆的模型崩溃。尤其是在训练 MoE混合专家模型时这个问题尤为突出怎么理解GRPO的优化是token级别的答大模型在生成一句话的时候是一个token一个token 的生成。那么GRPO对于一个response进行给分之后这个response包含N个token那么在优化的过程中需要计算的是对这个乘法取对数就变成了加法也就是那其实就是说GRPO在训练的过程中对每个token都计算了这个概率最后将所有概率加起来计算loss。那么优化层面确实是token层面。但是不同的token的重要性肯定是不一样的比如“the”和”a“和具体的代码块的重要程序肯定是不一样的。但是GRPO无法精准判断不同token之间的好坏。