文章主要内容和创新点主要内容本文提出了一种名为UloRL（Ultra-Long Output Reinforcement Learning）的方法，旨在解决大型语言模型（LLMs）在处理超长输出（如128k tokens）时的强化学习效率低和熵崩溃问题，从而提升模型的推理能力。研究背景：现有带可验证奖励的强化学习（RLVR）虽能通过延长输出序列提升推理能力，但传统强化学习框架在处理超长输出时存在两大挑战：一是长尾序列分布导致训练效率低下（需等待最长序列完成解码）；二是训练中易出现熵崩溃（模型输出多样性过早下降）。核心方法：分段滚动（Segment Rollouts）：将超长输出解码拆分为多个短片段，完成解码的片段立即进入训练池，未完成的继续解码，提升训练效率；适配分段设置的重要性采样：提出分段感知重要性采样（SAIS）和伪在线重要性采样（POIS），确保训练稳定性；动态掩码已掌握正令牌（DMMPTs）：当模型熵低于阈值时，掩码已充分掌握的正令牌（MPTs），避免熵崩溃；生成式验证器与数据清洗：用生成式模型判断答案等价性，结合数据预处理（如删除多子问题、简化答案）提升奖励计算准确性。实验结果：在Qwen3-30B-A3B模型上，UloRL使训练速度提升2.06倍；128k token输出训练后，模型在AIME2025数据集