# GVPO++: Group Variance Policy Optimization for LLM Post‑Training and On‑Policy Distillation 论文链接：https://arxiv.org/abs/2609.21432 版本说明：本文是 NeurIPS 2025 论文《GVPO: Group Variance Policy Optimization for Large Language Model Post‑Training》的扩展版本，新增在线策略蒸馏（OPD）相关理论与分析。## 一、论文主要内容总结大语言模型后训练是提升模型推理能力、任务专项能力的关键环节。现有主流分组类算法如 GRPO（Group Relative Policy Optimization）依赖重要性采样，会带来显著的训练不稳定性问题，制约实际落地使用。本文提出**GVPO++（Group Variance Policy Optimization，分组方差策略优化）**，将带KL约束的奖励最大化解析解直接融入梯度加权设计。算法梯度可以直观解释为隐式奖励中心距离与真实奖励中心距离之间的均方误差。GVPO++具备两条核心理论性质：1. 能够保证得到**唯一最优解**，严格等价于KL约束奖励最大化优化目标；2. 无需重要性采样，支持灵活多样的采样分布，摆脱on‑policy/重要性采样带来的限制。在通用后训练之外，该工作把GVPO拓展到**在线策略蒸馏（On‑Policy Distillation, OPD）**场景，支持一大类扩展OPD目标函数的优化，为多样化目标函数设计提供理论框架。论文结合理论保证与工程实用性，为LLM后训练与