Abstract（摘要）核心结论这篇论文提出了一种让语言模型“自己教自己、并且越训练越会纠错”的推理后训练方法。它把两种机制结合起来：DCE（Dynamic Co-Evolution，动态协同进化）：让作为“老师”的模型不再固定不变，而是随着学生模型一起更新。SRCL（Self-Refined Concise Learning，自精炼简洁学习）：让模型把自己的解题过程改写成更短、更直接、但仍然正确的版本，减少无谓的冗长推理。论文的核心观点是：如果教师模型一直冻结，它可能无法跟上学生后来学会的新能力，尤其是反思、回溯和纠错能力；而动态更新教师，再配合简洁化训练，可以同时提升数学推理正确率和推理效率。1. 论文研究的背景问题语言模型推理训练大致有几种方式：结果奖励训练只判断最终答案对不对。优点是容易扩展，但缺点是反馈太粗糙：模型知道“这道题错了”，却不知道是在哪一步错、应该怎样改。过程监督对每个推理步骤提供反馈，信息更细致，但通常需要人工标注中间步骤，成本较高。在策略蒸馏（On-Policy Distillation，OPD）学生模型先生成自己的解题过程，再让一个更强的教师模型为每个生成位置提供下一个 token 的预测。这种方式能提供密集的、逐 token 的监督。本文关注的是 OPD 的一个特殊版本：在策略自蒸馏（OPSD）。它不使用外部教师，而是复制一份学生模型作为教师，并让教师看到标准答案。这样，教师可以利用“知道正确答案”的优势，为学生的错误推理提供指导。2. 现有 OPSD 的关键局限传统 OPSD 为了稳定训练，会把教师模型冻结在初始状态。论文认为，这会带来一个根本问题：学生在训练中逐渐学会了反思、验证、回溯和纠错；但教师仍停留在最初的能力水平；因此，教师无法指导学生后来出现的新型推理行为。论文给出了一个直观现象：对于已经走错的推理轨迹，冻结教师即使看到了正确答案，也往往更倾向于预测“结束”（EOS），而不是引导模型继续思考、回头检查或修正。换句话说，教师虽然“知道答案”，却不一定知道如何把一个错误的推理过程改回来。3. DCE：让教师和学生动态协同进化DCE 的基本做法是：当前模型生成一批自己的解题过程；学生根据问题和已有推理前缀进行预测；教师根据问题、标准答案以及相同的推理前缀进行预测；用教师的预测指导学生；更新模型后，不仅把它作为下一轮学生，也用它初始化下一轮教师；教师在下一轮中继续使用标准答案提供“特权信息”，但参数来自最新模型。因此，教师不是永远停留在初始模型，而是会继承学生上一轮学到的能力。这形成了一个递归循环：学生获得改进 → 新模型成为教师 → 教师提供更强的纠错指导 → 学生进一步改进。DCE 主要解决的是“模型如何学会更有效地纠错”。4. SRCL：让正确推理不要变得过于冗长DCE 虽然能增强模型的反思和回溯能力，但也可能产生副作用：模型更频繁地检查；反复推导和回头重算；输出越来越长；正确率提高了，但推理成本也变高。为了解决这个问题，论文提出 SRCL。SRCL 的过程是：模型先生成一段自己的解题过程；再让模型在不知道标准答案的情况下，重写这段过程；只保留那些同时满足以下条件的重写结果：更短；自然结束；结构完整；最终答案正确；不包含明显的“重新来一遍”或重复反思表达；用这些高质量的短答案继续训练模型。因此，SRCL 并不是简单地强行让模型提前输出 EOS，而是让模型学习“如何保留必要推理、删除无效过程”。DCE 负责增强纠错能力，SRCL 负责控制推理长度，两者作用互补。5. 实验结果说明了什么论文在多个模型规模和四个竞赛级数学数据集上进行了实验。摘要重点报告了 Qwen3-8B 的结果：DCE+SRCL 达到65.97% Average@12；相比 OPSD 提高35.62 个百分点；相比单独使用 DCE，平均输出长度减少7.80%。这里的 Average@12 可以理解为：每道题生成 12 次答案，再按照论文规定的方式统计平均正确率，用来衡量模型在多次尝试下的推理能力。这些结果支持了论文的两个主要判断：性能提升不只是因为模型生成得更长；动态更新教师确实能带来更强的纠错指导；通过 SRCL，模型可以在保持正确率的同时减少不必要的推理 token。6. Abstract 在整篇论文中的作用摘要实际上提前概括了全文的主线：先指出冻结教师的问题；再提出 DCE 解决教师能力停滞；接着提出 SRCL 解决推理变长；最后用多种规模模型和数学基准验证整体效果。所以，整篇论文围绕一个核心问题展开：如何让模型在训练过程中不断获得更强的自我纠错能力，同时避免因为反思增强而产生过度冗长的推理？作者的回答是：让教师和学生共同进化，并让模型从自己生成的正确短解中学习。一句话总结这篇论文提出 DCE+SRCL，让模型的“教师分支”随着自身能力一起进化，同时学习更短的正确解题过程，从而实现更强、更高效的数学推理。第 1 章 Introduction（引言）核心结论本章要说明的是：现有推理后训练方法能够让模型得到更高的最终正确率，但对“错误发生在哪里、应该如何修正”缺少细粒度指导。OPSD 虽然利用了标准答案来构造教师信号，但教师被冻结在初始状态，无法学习学生后来获得的反思和纠错能力。因此，论文提出两部分改进：DCE：让特权教师随着学生一起更新，使教师逐轮获得更强的纠错能力；SRCL：用更短、经过验证的自我改写结果训练模型，避免反思能力增强后导致输出过于冗长。本章的核心论证是：教师必须持续进化，模型还必须学会简洁地利用这种纠错能力。1. 为什么只看最终答案还不够当前大语言模型推理训练中，一个重要方法是RLVR（带可验证奖励的强化学习）。它通常只需要一个自动检查器判断最终答案是否正确：答案正确，就给较高奖励；答案错误，就给较低奖励。这种方法的优点是不用人工标注每一步推理，因此容易扩展到大量数学题。但是，它的反馈粒度比较粗：它能告诉模型“整道题做对了还是做错了”；却不能明确指出“第几步出错”；也不能告诉模型“应该怎样从错误推理转向正确推理”。例如，一个模型可能在中途算错，但后来通过回溯修正；另一个模型可能从头到尾都走对。只看最终答案，这两种过程得到的反馈可能完全一样。因此，作者指出，结果级奖励虽然有用，却不能充分训练局部的纠错行为。过程监督可以提供更细的反馈，但通常需要人工标注每一步，代价很高。2. OPD 和 OPSD 是怎样工作的论文把OPD（On-Policy Distillation，在策略蒸馏）看作结果奖励和过程监督之间的一条折中路线。基本过程是：学生模型自己生成一段解题过程；教师模型观察学生已经生成的前缀；教师为下一个 token 提供概率分布；学生学习模仿教师的预测。因为教师是在学生自己的轨迹上提供逐 token 指导，所以监督比单纯的最终答案奖励更密集。但普通 OPD 需要一个更强的外部教师，而且教师并不一定知道当前题目的标准解法。这样会产生两个问题：学生可能继承教师本身的错误；教师的指导不一定针对当前这条错误推理轨迹。为此，OPSD 使用了“特权教师”：学生只看到题目，并自己解题；教师除了看到题目，还能看到标准答案；教师根据标准答案和学生当前的推理前缀，为学生提供预测指导。这相当于让教师站在“知道正确解法”的位置上，帮助学生改进。3. 冻结教师为什么会失效为了保证训练稳定，原来的 OPSD 会把教师固定在初始模型状态，不让教师更新。论文认为，这种稳定性是以适应能力为代价的。训练过程中，学生可能逐渐学会：发现自己的计算错误；插入“等等，我需要检查一下”之类的反思；回到前面重新推导；放弃错误分支；重新建立正确的解法。但冻结教师不会自动获得这些新能力。论文通过固定错误轨迹进行分析，比较了训练中不断变化的学生和冻结的特权教师。结果显示：在错误推理的结尾，冻结教师给“结束生成”（EOS）的概率很高；但在实际发生反思的位置，教师给出反思 token 的概率较低；学生随着训练会越来越倾向于反思，因而逐渐和冻结教师产生不匹配。直观地说，冻结教师看到错误轨迹后更像是在说：“这段推理可以结束了。”而训练后的学生逐渐学会：“这里可能错了，应该回头检查。”这说明教师虽然拥有标准答案，却未必能有效指导“如何从错误状态恢复”。4. DCE 的核心动机：让教师继承学生的新能力为了解决上述不匹配，论文提出Dynamic Co-Evolution（动态协同进化）。它的基本思想是：当前模型先作为学生接受训练；更新后的模型不仅成为下一轮学生；同时也成为下一轮特权教师的基础；教师仍然可以看到标准答案，但自身参数会不断继承学生已经学到的能力。这样，某一轮训练中获得的反思和回溯能力，就能在下一轮转化成更强的教师指导。例如：第 1 轮中，学生学会在某类错误后进行回溯；更新后的模型成为第 2 轮教师；第 2 轮教师就更可能识别类似错误，并指导学生生成回溯行为；学生再进一步学习更有效的修正方式。这形成了一个递归式的自我改进过程。5. DCE 带来的新问题：推理可能变得太长DCE 增强模型的反思能力后，也可能导致另一个问题：模型检查得更多；回溯次数增加；反复验证和重算；输出包含很多“失败的尝试”和“自我批评”。这些行为有时能提高正确率，但也会造成很高的推理成本。因此，论文认为，只增强“会反思”还不够，还要让模型学会：在正确的地方反思，但不要把已经无用的过程全部保留下来。6. SRCL 的作用：学习短而正确的解法论文提出Self-Refined Concise Learning（自精炼简洁学习）来解决冗长问题。SRCL 让模型对自己已经生成的解题过程进行重写，并筛选出满足以下条件的版本：比原始解法更短；答案仍然正确；推理结构完整；能自然结束；不包含明显的重复反思或重新开始。然后，模型用这些“短而正确”的结果继续训练。需要注意的是，SRCL 不是直接强迫模型尽早结束，也不是简单地给 EOS 更高奖励。它训练的是一种更具体的能力：保留真正有用的推理；删除失败分支；删除重复计算；删除无效的自我评论；用更直接的方式到达正确答案。因此，DCE 和 SRCL 分工明确：机制主要解决的问题DCE模型如何识别错误并进行有效修正SRCL模型如何保留修正能力，同时减少无谓长度7. 本章列出的主要贡献本章最后总结了论文的三项主要贡献。第一，提出 DCEDCE 是一个递归式的在策略自蒸馏框架。每次更新后的模型都会同时初始化：下一轮学生；下一轮能够看到标准答案的特权教师。在四个竞赛级数学基准上，DCE 相比 OPSD 的 Average@12 准确率提升了：8B 模型：35.41 个百分点；4B 模型：37.15 个百分点；1.7B 模型：12.98 个百分点。这说明动态教师带来的提升并不只出现在单一模型规模上。第二，提出 SRCLSRCL 用经过筛选的、较短的自我改写结果训练模型。在最低的 8K 评测预算下，DCE+SRCL 达到：35.07% Average@12 准确率；平均每个回答约7,500 个 token。相比用于对照的 OPSD 测试时扩展方法：准确率提高6.60 个百分点；每个回答少生成约692 个 token。这说明性能提升不能简单归因于“让模型生成更多内容”。第三，验证教师确实学会了更强的纠错指导作者进一步分析了教师在固定错误轨迹上的行为变化：教师在错误结尾处预测 EOS 的概率从90.4% 降到 41.3%；教师预测实际反思 token 的概率从32.8% 升到 77.4%。这意味着教师逐渐从“看到错误就结束”转向“识别错误并引导修正”。8. 本章在全文中的作用Introduction 还没有详细介绍训练公式、数据处理和实验设置，它主要完成三件事：说明现有结果奖励和过程监督之间的矛盾；找到 OPSD 的关键瓶颈：特权教师被冻结；提出全文的双核心方案：DCE 提升纠错能力，SRCL 控制推理成本。后面的章节会分别回答：DCE 和 SRCL 具体怎样实现；它们在什么实验设置下训练；性能提升是否真的来自教师协同进化；输出变短是否会损害正确率；哪些设计选择最重要。一句话总结第 1 章指出，冻结的特权教师跟不上学生逐渐形成的纠错能力，因此论文通过让教师动态进化，并训练模型学习更短的正确解法，试图同时提升推理质量和效率。第 2 章 Related Work（相关工作）核心结论本章通过回顾三条研究路线，说明本文方法处在它们的交汇点：推理后训练中的反思与验证：模型可以学会回溯和检查，但结果奖励通常不能精确教会模型如何修错。在策略蒸馏与特权自蒸馏：教师可以对模型自己的推理轨迹提供逐 token 指导，但传统 OPSD 的教师被冻结，难以跟上学生的发展。自我精炼与高效推理：模型可以利用自己的生成结果构造训练数据，也可以通过增加测试时计算提升准确率，但这不等于学会用更短的方式完成正确推理。因此，本文的定位是：用 DCE 解决“如何获得更强的纠错指导”，再用 SRCL 解决“如何在保持正确的同时减少冗余推理”。2.1 推理后训练中的反思与验证2.1.1 结果奖励能够诱导反思行为这一部分首先回顾了基于结果奖励的强化学习方法。例如，GRPO、DAPO 和 DeepSeek-R1 等工作表明，即使没有为每个中间步骤提供人工标签，只要最终答案可以自动验证，模型也可能逐渐出现：重新检查；回溯；自我修正；发现“关键转折点”；生成更长、更复杂的推理过程。这说明最终答案奖励并不只是训练模型背答案，也可能激发模型原本潜在的推理行为。此外，相关研究还把这类方法扩展到了：内容审核；开放式环境；不容易直接验证最终答案的任务；同时需要客观推理和主观对齐的任务。2.1.2 这些反思行为可能并非完全新学来的本章接着指出，模型在强化学习后出现反思，不一定代表它从零学会了反思。一些研究发现：某些基础模型在训练前就已经具备少量反思能力；强化学习可能只是把这种原本很少触发的能力放大；输出变长和正确率提升之间不一定有稳定关系；有些模型会生成很长的检查过程，但并没有真正提高纠错能力。因此，结果奖励可能更像是在放大模型已有的行为倾向，而不是明确教会模型：“面对这个具体的错误前缀，下一步应该怎样修正。”2.1.3 模型知道自己可能错，却不一定会修正本节还强调了一个重要区别：模型可能在内部状态中已经表现出“答案可能不对”的迹象；但它生成出来的文字不一定会利用这种信息；直接提示模型“请重新检查”甚至可能降低准确率。也就是说，模型具备“意识到错误”的潜在信号，并不意味着它能完成有效修复。这正是本文要解决的问题：DCE 不只训练模型识别错误，而是利用密集的 token 级教师信号，直接训练“从错误推理转向成功修正”的过程。2.2 在策略蒸馏与特权自蒸馏2.2.1 OPD：在模型自己的轨迹上提供密集监督OPD 的特点是：学生模型生成自己的回答；教师模型在同一条生成轨迹上提供下一个 token 的预测；学生逐位置学习教师的概率分布。它与只看最终答案的强化学习不同，因为它可以在生成的每个位置提供指导。但普通 OPD 依赖一个独立而更强的外部教师。外部教师虽然通常能力更强，却不一定看到当前题目的验证答案，也不一定能准确判断学生当前前缀应该怎样修正。2.2.2 OPSD：让教师看到标准答案OPSD 取消了外部教师，改为使用同一个基础模型的两个角色：学生：只看到题目，生成自己的解题过程；特权教师：除了题目，还能看到已经验证过的标准答案。教师在学生每个生成前缀处，给出下一个 token 的概率分布，学生学习靠近这个分布。论文用以下符号描述这一过程：xxx：题目；ggg：标准答案或验证过的参考解；yty_{t}yt​：学生在第ttt个位置之前已经生成的前缀；pθp_\thetapθ​：学生对下一个 token 的预测分布；qqq：特权教师的预测分布；Δ(q,p)\Delta(q,p)Δ(q,p)：教师和学生预测之间的差异。标准 OPSD 的目标可以概括为：Lfixed=E[1∣y∣∑tΔ(qθ0(⋅∣x,g,yt), pθ(⋅∣x,yt))]. \mathcal{L}_{\text{fixed}} = \mathbb{E} \left[ \frac{1}{|y|} \sum_t \Delta\big(q_{\theta_0}(\cdot\mid x,g,y_{t}),\, p_\theta(\cdot\mid x,y_{t})\big) \right].Lfixed​=E[∣y∣1​t∑​Δ(qθ0​​(⋅∣x,g,yt​),pθ​(⋅∣x,yt​))].它的含义是：在学生自己生成的每个位置上，让学生的下一 token 分布尽量接近看到标准答案的教师分布。其中关键问题在于，教师使用的是初始参数θ0\theta_0θ0​，并且训练期间保持不变。2.2.3 本文与 OPSD 的区别本章指出，本文的 DCE 与传统 OPSD 有两个关键不同。第一，教师参数会随训练轮次更新传统 OPSD：教师始终是初始模型；学生不断变化；教师无法吸收学生后续学会的反思能力。DCE：每轮更新后的模型都会成为下一轮教师的基础；教师仍然看到标准答案；但教师本身也继承最新模型的能力。这就是“动态协同进化”的来源。第二，标准答案的放置方式不同本文将标准答案放在教师的助手上下文中，使其更像教师自己已经推导出的参考思路，然后再要求它根据当前前缀继续生成。作者认为，这种组织方式有助于让模型把标准答案作为内部推理背景，而不是简单看成用户提供的一段外部材料。因此，本文不仅改变了“教师是否更新”，还研究了“标准答案应该放在什么位置”。2.3 自我精炼与高效推理2.3.1 自训练：用模型自己的结果构造数据这一部分回顾了利用模型自身生成内容进行训练的方法。典型思想包括：模型生成推理过程；筛选出答案正确的样本；用这些样本继续训练模型；反复生成、筛选和再训练。例如，STaR 会保留能得到正确答案的推理过程，并通过答案条件化等方式挖掘更多训练样本；ReST 则生成、过滤并重复利用模型样本。这些工作说明，模型不一定需要人工为每个样本编写新的推理过程，它可以利用自己的生成结果逐渐改进。2.3.2 SRCL 与已有自我精炼方法的区别本文的 SRCL 同样属于自我训练，但目的不同。SRCL 不是单纯寻找更多正确答案，而是让当前模型：读取自己原来的解题过程；在不看标准答案的情况下进行重写；生成更短、更直接的版本；只保留通过正确性和结构检查的结果。它关注的是：删除失败分支；删除重复计算；删除多余的“等等”“重新检查”等表达；保留足以支撑最终答案的必要推理。所以，SRCL 的作用不是替代 DCE，而是补充 DCE：DCE 训练模型如何在错误轨迹中进行修正；SRCL 训练模型如何把成功的推理压缩得更简洁。2.3.3 与 Reflexion 等方法的区别本章还提到了 Reflexion 一类方法。这类方法通常把模型之前得到的文字反馈保存下来，在下一次尝试时作为额外提示，但不一定更新模型参数。而 SRCL 会直接把筛选后的短解法作为训练目标，真正改变模型的参数。因此，两者的区别是：Reflexion 主要依赖外部记忆或提示；SRCL 通过参数更新让模型学会更简洁的推理模式。2.3.4 测试时扩展不等于训练出更好的推理能力本节最后讨论Test-Time Scaling（测试时扩展）。测试时扩展通常通过以下方式提高正确率：多次采样；延长生成长度；搜索多个推理分支；根据题目难度动态分配计算量；用“继续思考”提示阻止模型过早结束。这些方法可以在推理阶段临时投入更多计算，但它们并不一定改变模型本身的能力。本文的 SRCL 采取了不同思路：不是每次回答时都强迫模型生成更多内容，而是在训练阶段让模型学会用更少 token 保留正确推理。因此，论文后续会设置严格的计算预算对照实验，检验 DCE+SRCL 的效果是否只是由于输出更长。2.4 本章对全文的铺垫虽然本章主要是文献综述，但它实际上完成了一个很重要的理论定位：结果奖励能诱导反思，却缺少局部纠错指导；OPD 能提供局部指导，却依赖外部教师；OPSD 使用特权教师，却把教师冻结；自我训练能够利用模型自己的生成结果；测试时扩展能用更多计算换准确率，但不一定改善模型本身；因此，需要一种同时具备动态教师、密集纠错和简洁学习的训练框架。DCE+SRCL 正是针对这些缺口组合出来的方案。一句话总结第 2 章表明，现有工作分别解决了“结果奖励”“密集蒸馏”“自我训练”或“额外计算”等问题，但没有同时解决教师停滞和推理冗长，因此本文用 DCE 和 SRCL 将这些方向结合起来。第 3 章 Method（方法）核心结论本章正式定义了论文的方法框架：在每一轮训练中，模型先生成自己的解题轨迹，然后同时接受两种监督：DCE 监督：让模型模仿一个“看过标准答案”的动态教师，从而学会在错误轨迹上进行反思和修正；SRCL 监督：让模型学习自己生成的、更短且经过验证的正确改写，从而减少重复检查和无效推理。两种损失共同更新模型。更新后的模型又会成为下一轮的学生和特权教师，由此形成递归式的自我改进循环。3.1 Dynamic Co-Evolution：动态协同进化3.1.1 每轮先生成模型自己的推理轨迹设第kkk轮训练时模型参数为θk\theta_kθk​。给定一道题xxx，当前模型先按照自己的分布生成回答：y(k)∼pθk(⋅∣x). y^{(k)} \sim p_{\theta_k}(\cdot \mid x).y(k)∼pθk​​(⋅∣x).这里的关键是“在策略”：训练使用的是模型当前真实会生成的回答，而不是人工预先写好的理想轨迹。这使得教师会直接面对模型实际可能犯的错误。论文从生成回答中保留一段长度为mmm的 token 序列，用于计算训练目标。在每个位置ttt，学生和教师都对同一个已有前缀进行预测。3.1.2 学生和教师看到的内容不同在第