📖标题：Where Does Staleness Accumulate? Pool Aware Effective Staleness Control for Asynchronous RL in LLM Post-Training🌐来源：arXiv, 2609.36830v1🛎️文章简介🔸研究问题：在大语言模型强化学习后训练中，完全异步执行虽然能提升资源利用率，但会导致训练数据过时（Staleness），如何在不牺牲异步速度优势的前提下，有效控制这种滞后并稳定提升模型性能？🔸主要贡献：论文提出了PACE算法，通过将数据滞后分解为生成滞后和等待滞后，利用池占用率动态调整拒绝预算，并结合前缀感知评分筛选轨迹，显著提升了数学推理任务的准确率并大幅节省GPU时间。📝重点思路🔸分解滞后来源：论文将轨迹的过时程度分解为两部分。一是生成滞后（Generation Staleness），即轨迹生成过程中因策略更新产生的版本差异；二是等待滞后（Waiting Staleness），即轨迹生成完成后在队列中等待训练时产生的额外滞后。🔸基于池占用的自适应拒绝：发现等待滞后主要源于完成轨迹在池中的积压。PACE利用池占用率作为反馈信号，当池中积压过多时，自动增加拒绝预算，剔除多余轨迹以减少等待时间；当数据不足时则放松限制，确保训练不中断。🔸前缀感知的有效滞后评分：为避免单纯按时间长短惩罚长难样本，引入前缀遗忘分数（Prefix Forgetting Score）。该分数衡量当前策略对已生成前缀的概率变化，若变化小则说明数据仍有效。最终的有效滞后评分结合了完整的等待滞后和经前缀分数加权后的生成滞后，从而更精准地判断数据价值。🔎分析总结🔸性能显著提升：在单轮数学推理任务中，PACE相比未过滤的异步强化学习，在相同墙钟时间下平均验证准确率提升了18.7%；相比同步强化学习，在达到同等性能时节省了47.1%的GPU时