On - Policy 蒸馏技术受关注当下大模型后训练Post - trainingpipeline 中On - Policy DistillationOPD成为明星技术从 Qwen3、MiMo 到 GLM - 5业界采用 OPD 并报告了巨大性能提升。相比于强化学习RL稀疏的结果奖励OPD 提供了密集的 Token 级别监督信号看似是「免费的午餐」。然而亲手跑过 OPD 的人可能会遇到反直觉现象换更强的 TeacherStudent 性能反而无提升甚至倒退。清华大学团队研究成果清华大学团队联合上海科技大学、伊利诺伊大学厄巴纳 - 香槟分校、中国人民大学等多家机构研究者系统性解剖了 On - Policy 蒸馏的黑箱。该研究不仅揭示了决定蒸馏成败的两大先决条件还深挖了 Token 级别的对齐机制并给出拯救失败蒸馏的实用配方。现象篇为何「名师」出不了「高徒」在常规认知中Teacher 模型分数越高蒸馏效果越好。但研究团队通过对比实验发现控制 OPD 命运的两个核心法则。法则一为思维模式一致性Thinking - Pattern Consistency研究者让弱 Base 模型 Qwen3 - 1.7B - Base 向两个能力相近的 Teacher 学习结果表明学生与经过 GRPO 强化的 Base Teacher 的 thinking pattern 更近蒸馏效果显著提升早期思维模式错配后续难弥补。法则二为高分 ≠ 新知识Higher scores ≠ new knowledge在 DeepSeek 和 Qwen 两个 family 里同 pipeline、同 recipe、更大的 teacher 提升有限经过额外 RL post - training 的 teacher 能恢复更多 teacher - student gap。最极端的「反向蒸馏」实验表明7B 虽分数高但相较于 1.5B 只是参数规模红利未提供更多可学习信息OPD 是在主动提取并复刻老师的思维模式。机制篇Token 级别的显微镜下的发现研究者监控训练全过程动态指标发现成功的蒸馏是高概率 Token 的「双向奔赴」。成功的 OPD 中Student 和 Teacher 的前 k 个预测 Token 的重叠率Overlap Ratio从 72% 稳步攀升到 91% 以上熵差距Entropy Gap迅速缩小失败的 OPD 中这些指标基本无变化。更重要的是「重叠区域」即是全部对 Overlap Token 计算损失蒸馏性能几乎不打折扣非重叠 Token 对优化几乎无贡献。处方篇拯救「无可救药」的蒸馏基于上述现象和机制研究者给出两剂药方。一是教师 Rollout 上进行 Off - Policy 冷启动Cold Start先用 Off - Policy 强行对齐在开始 OPD 之前让 Student 在 Teacher 生成的 rollout 上进行一轮轻量级的 SFT能拉高初始 Overlap Ratio提升最终收敛性能。二是与教师对齐的提示词Teacher - aligned Prompts让 OPD 看到更接近 teacher 训练分布的 prompt包括模板和内容层面的对齐可提升 accuracy 和 overlap growth但会使 student entropy 降得更快最好和一部分 OOD 的 prompt 混用避免过早熵坍塌。探讨与反思OPD 能否无限 Scaling免费的密集奖励信号诱人但研究者发现奖励信号质量会随轨迹深度急剧衰减。在长达 15K token 的响应中出现「从后向前的熵崩塌」导致 Teacher 后半段给出的奖励成噪音引发训练坍塌说明 OPD 目前难扩展到长思维链或 agentic 多轮场景密集监督与监督可靠性存在根本性张力。此外失败 teacher 给出的全局 reward 不弱但局部优化几何结构有问题全局有信息局部却平坦。写在最后关于「更强」与「更可学」我们习惯认为越强的教师教得越好但论文表明未必如此。在 OPD 里更强不自动等于更会教高分不自动等于新知识。大模型更像是传递思维路径和局部偏好的组织方式。真正的问题是 teacher 和 student 是否说同一种语言、带来的是否是 student 没学会的东西、给出的监督能否变成有用的梯度。这篇论文系统地告诉我们为何有些 teacher 能教会学生有些只是「看起来更强」。