【免费下载链接】SkillRL[NeurIPS26] SkillRL: Evolving Agents via Recursive Skill-Augmented Reinforcement Learning项目地址https://gitcode.com/gh_mirrors/sk/SkillRL点击查看免费下载SkillRL 是 NeurIPS26 收录的递归技能增强强化学习Recursive Skill-Augmented RL智能体训练框架它通过技能库Skill Bank让 LLM 智能体从经验中提炼可复用策略。本文将带你完整对比 SkillRL 内置的三种优势估计器Advantage EstimatorGRPO、GiGPO 与 DAPO帮你在多轮智能体任务中快速做出正确选择。什么是优势估计器为什么它决定训练效果在强化学习中优势Advantage是告诉模型这一步比平均水平好多少的学习信号。SkillRL 基于 verl 训练框架三种算法共用同一个训练入口verl.trainer.main_ppo只需要切换一个参数algorithm.adv_estimator就能互换算法枚举定义见 verl/trainer/ppo/ray_trainer.py优势计算调度逻辑在 compute_advantage。简单理解三者的差别GRPO把同一问题的 N 条轨迹分成一组用组内平均奖励做基线比组内平均好的轨迹被强化——不需要 critic 网络GiGPO在 GRPO 的轨迹级对比之上增加步骤级对比——把不同轨迹中相同的观测状态聚成锚定状态组判断单步动作的优劣DAPO沿用轨迹级优势但改进了优化过程——上下分离的裁剪阈值 动态采样过滤无效组专为长思维链和大模型设计。三种优势估计器速览对比维度GRPOGiGPODAPO优势粒度轨迹组级轨迹级 步骤级双层轨迹组级核心机制组内均值/标准差归一化锚定状态分组 步级信用分配分离裁剪Clip-Higher 动态采样过滤典型场景单轮问答、通用 Agent RL多轮决策类 Agent 任务长思维链、难任务、追高上限计算开销低中额外状态分组CPU 端完成偏高需补采样直到凑够有效组切换方式algorithm.adv_estimatorgrpoalgorithm.adv_estimatorgigpogrpo clip/filter 配置GRPO默认的组相对优势估计器GRPO 是 SkillRL 论文实验的默认算法也是上手成本最低的选择。它的工作流程是每个任务采样一组 N 条轨迹env.rollout.n脚本默认 8用组内平均奖励作为基线归一化得到优势通过 KL 损失而非奖励内 KL约束策略不偏离参考模型。以带技能库的 ALFWorld 训练脚本为例关键配置在 examples/grpo_trainer/run_alfworld_skills.shalgorithm.adv_estimator: grpo env.rollout.n: 8 # 组采样数 actor_rollout_ref.actor.use_kl_loss: true actor_rollout_ref.actor.kl_loss_type: low_var_kl技能注入通过env.skills_only_memory系列参数开启与具体算法无关完整参数表可参考 README.md。更详细的原理与配置项说明见 docs/algo/grpo.md。GiGPO面向多轮智能体任务的步骤级优势多轮任务ALFWorld、WebShop中 GRPO 有个痛点整条轨迹只拿到一个最终奖励模型很难知道具体是哪一步决策起了作用。GiGPO 的解法是双层优势回合级Episode-Level与 GRPO 相同的组内归一化步骤级Step-Level通过build_step_group把所有轨迹中相同的观测状态聚成锚定状态组在同一个局面下比较不同动作的回报支持文本相似度聚类再与回合级优势按权重step_advantage_w加权合并。核心实现集中在 gigpo/core_gigpo.py其中 compute_gigpo_outcome_advantage 负责双层优势合并build_step_group 负责锚定状态分组。配置示例见 examples/gigpo_trainer/run_alfworld.shalgorithm.adv_estimator: gigpo algorithm.gamma: 0.95 # 步级折扣回报 algorithm.gigpo.step_advantage_w: 1.0 # 步骤级优势权重 algorithm.gigpo.mode: mean_std_norm # 或 mean_normDAPO分离裁剪与动态采样DAPO 针对长思维链训练后期容易卡住的问题提出两项关键改进在 SkillRL 中同样以配置项落地详见 docs/algo/dapo.md分离裁剪Clip-Higherclip_ratio_low0.2、clip_ratio_high0.28对概率上升的动作放宽裁剪上限让高潜力探索走得更远动态采样Dynamic Sampling开启algorithm.filter_groups.enableTrue后自动过滤掉全对或全错的无信息组并持续补采样直到凑够有效组上限max_num_gen_batches。SkillRL 的 DAPO 训练脚本 examples/dapo_trainer/run_alfworld.sh 展示了完整用法algorithm.adv_estimator: grpo actor_rollout_ref.actor.clip_ratio_low: 0.2 actor_rollout_ref.actor.clip_ratio_high: 0.28 algorithm.filter_groups.enable: true algorithm.filter_groups.max_num_gen_batches: 10 进阶玩法SkillRL 还提供了GiGPO DAPO 组合脚本 examples/gigpo_dynamic_trainer/run_alfworld.sh同时享受步骤级优势与动态采样适合追求更高上限的多轮任务。GRPO vs GiGPO vs DAPO一分钟决策指南单轮短回答任务如 Search 问答、数学推理→ 直接选GRPO简单稳定开销最小多轮 Agent 任务ALFWorld、WebShop 购物→ 优先GiGPO步骤级信用分配能显著加快多步决策的收敛计算预算充足、追求上限→ 用DAPO或 GiGPODAPO 组合注意动态采样会增加 rollout 开销2 卡小显存机器上建议调小gen_batch_size显存紧张→ 三种算法都不需要 critic 网络可配合fsdp_config.param_offloadTrue进一步省显存参考 run_alfworld_skills.sh。三种算法均可与 SkillRL 的核心特色叠加技能库注入claude_style_skills.json 训练中动态技能更新enable_dynamic_updateTrue算法与技能进化相互独立可自由组合。关键配置参数速查表参数所属算法默认值说明algorithm.adv_estimator通用gaegrpo/gigpo切换env.rollout.n通用1每个任务的组采样数建议 8algorithm.gammaGiGPO1.0步级折扣因子多轮任务建议 0.95algorithm.gigpo.step_advantage_wGiGPO1.0步骤级优势权重actor.clip_ratio_low / highDAPO0.2 / 0.2DAPO 建议 0.2 / 0.28algorithm.filter_groups.enableDAPOFalse动态采样过滤开关所有默认值定义在 verl/trainer/config/ppo_trainer.yaml。上手方式git clone https://gitcode.com/gh_mirrors/sk/SkillRL cd SkillRL pip install -r requirements.txt pip install -e .安装完成后按任务类型选择对应脚本即可开始训练GRPO 技能模式在 examples/grpo_trainer/GiGPO 在 examples/gigpo_trainer/DAPO 在 examples/dapo_trainer/。更多算法基线数据可查阅 docs/algo/baseline.md。赞分享【免费下载链接】SkillRL[NeurIPS26] SkillRL: Evolving Agents via Recursive Skill-Augmented Reinforcement Learning项目地址https://gitcode.com/gh_mirrors/sk/SkillRL点击查看免费下载相关推荐StashBase三大Agent对比指南Claude、Codex与免费Default Agent新手到底该怎么选StashBase三大Agent对比指南Claude、Codex与免费Default Agent新手到底该怎么选 StashBase 是一款开源、本地优先碰撞检测算法怎么选react-native-reanimated-dnd三大算法完整对比碰撞检测算法怎么选react native reanimated dnd三大算法完整对比 在 React Native 应用里做拖拽最怕的就是手感不对Patter三种语音模式怎么选Realtime、Pipeline、Hybrid深度对比与选型指南Patter三种语音模式怎么选Realtime、Pipeline、Hybrid深度对比与选型指南 Patter 是一个开源 Voice AI SDKVapi上一篇Apache APISIX server-info 插件服务实例信息自动上报与查询实战指南下一篇PaddleOCR完全手册从零开始构建智能文档处理系统创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考