【免费下载链接】qwen3.8-max-glm5.2-kimi-k3-distillation项目地址https://ai.gitcode.com/hf_mirrors/r0b0tlab/qwen3.8-max-glm5.2-kimi-k3-distillation点击查看免费下载qwen3.8-max-glm5.2-kimi-k3-distillation是一套多教师蒸馏训练数据集它用 Qwen3.8-Max、GLM-5.2、Kimi Code K3 三个前沿模型的真实轨迹覆盖数学、代码、推理、工具调用等 9 大领域共 57,937 条数据。除了常见的 SFT 配置外它内置了一个确定性工具强化学习环境rl_env/配合rl_tool_prompts数据视图和奖励合约reward contract让你可以在不依赖真实沙箱的情况下直接做 GRPO / RLVR 强化学习。本文带新手完整拆解这套从 SFT 到 GRPO 的训练路径。一、项目定位一份能直接开训的蒸馏数据集这个项目不是模型权重而是一份训练数据工程包核心价值有三个模块内容说明24 个 Parquet 配置视图sft_balanced、sft_tools、rl_tool_prompts等不同训练目标直接加载不同视图三 tokenizer 精确再分词GLM-4.7-Flash / Qwen3-0.6B / Llama-3.1-8B零 mask 失败支持预分词训练确定性工具 RL 环境rl_env/内置执行器 奖励合约可离线跑 GRPO数据按领域分布均衡地设计数学 26.0%、代码 25.4%、推理 18.1%、指令 14.7%、工具 Agent 10.3%详见 MIXTURE.md。二、从 SFT 到 GRPO官方课程表怎么排项目自带一份多阶段课程表 curriculum_stages.json把SFT 打底 → RL 拔高的路径写得很明确阶段配置方法目的Asft_balancedSFT1 epoch通用能力打底重平衡采样权重Bsft_toolssft_agentSFT0.5 epoch工具/Agent 专项强化C可选sft_reasoning_specialistSFT0.5 epoch 低学习率推理能力加推D可选rl_tool_promptsGRPO / RLVR可验证工具任务的强化学习关键思路是SFT 阶段教会模型怎么调用工具RL 阶段用可验证的任务让它把工具调对。阶段 D 明确标注了适用边界——只用于可验证的工具任务不适合开放式对话。新手建议直接从阶段 A 开始用默认的sft_balanced配置重平衡采样权重会把工具类任务的有效占比从 10.3% 提到 37.5%训练脚本可参考 recipes/transformers_sft.py 和 recipes/trl_sft.py。三、rl_tool_prompts数据视图RL 的题库 判分标准rl_tool_prompts是从 5,909 条真实工具调用轨迹中派生出的强化学习视图data/rl_tool_prompts/每行包含五个关键字段字段作用family任务家族如file_ops、sqlite、code_debugprompt_messages_jsonSystem User 消息RL 的 prompttools_json工具定义OpenAI 风格 function calling schemaexpected_terminal_oracle_json正确终态的标准答案reward_contract_json奖励合约如何判定任务完成这套设计的好处是GRPO 组内采样同一 prompt 生成多个候选动作时每个候选都能被确定性判分奖励信号完全可复现不会像让 LLM 当裁判那样出现打分漂移。四、确定性工具 RL 环境不连真沙箱也能 RL这是本项目最有意思的部分。rl_env/environment.py 定义了DeterministicToolEnvironment它只暴露三个方法reset()根据任务行重建内存态工作区返回初始消息和工具定义step(name, arguments)执行一次工具调用返回结果finalize(answer)按奖励合约算出最终奖励背后是一个确定性执行器rl_env/deterministic_executor.py它从任务 prompt 中正则解析出 fixture 描述在内存里伪造出一套文件、SQLite 表、语料库、日历等状态然后提供 13 种工具的真实语义实现——read_file、patch_file、run_python、sqlite_query、json_transform、csv_transform、calculator、corpus_search、calendar_query等。八个任务家族覆盖了 Agent 训练中最常见的能力项file_ops 文件读写与补丁 code_debug 定位并修复代码 bug sqlite 数据库查询与更新 json_csv 结构化数据转换 corpus_search 语料检索multi_research planning 日历规划 recovery 错误恢复拼写错误、缺失表等为什么确定性很重要强化学习最怕奖励噪声。这里所有状态都是 ephemeral临时且按 seed 可复现的——同一 prompt、同一动作序列奖励永远一样。这对 GRPO 的组内相对优势估计非常关键advantage 只反映策略差异不混入环境随机性。五、奖励合约拆解终态预言机 答案合约奖励逻辑在 rl_env/environment.py 的finalize中采用双重合约设计concise 0 len(answer.strip()) 5000 # 答案合约简洁且非空 terminal self.terminal_oracle() # 终态预言机任务真的完成了吗 reward 1.0 if concise and terminal else 0.0终态预言机terminal_oracle按任务家族分别检查可观察的最终状态而不是看模型说了什么file_ops / recovery检查目标文件是否被patch_file成功打补丁code_debugAST 解析源码验证函数在输入[2,4,6]上是否返回契约要求的值sqlite检查事件流中是否存在成功执行的UPDATE语句multi_research要求至少检索到 2 篇不同文档且使用了calculatorplanning检查是否成功调用calendar_query的add_event这种看状态不看话术的判分方式天然免疫嘴上说完成了但实际没做的奖励黑客行为是 RLVRReinforcement Learning with Verifiable Rewards的教科书式实现。六、质量验证RL 环境是测过的项目不是把环境写出来就完事metadata/QUALIFICATION.json 中记录了完整验证结果八个任务家族全部reward: 1.0回放教师轨迹通过终态预言机terminal_oracle_passed: 7、answer_contract_passed: 7状态PASS兼容性标签deterministic_tool_rl: validated回放测试脚本 rl_env/test_environment.py 的思路也很直白取一条真实的agent_tool轨迹把其中每个 assistant 的tool_calls依次在环境里重放断言最终reward 1.0。你可以把它当作 GRPO 训练前的冒烟测试——如果教师轨迹都拿不到满分说明环境或数据有问题。七、训练实操要点先 SFT 后 RL直接在基座模型上做 GRPO工具调用格式正确率太低采样会大量浪费先用sft_balancedsft_tools打底。loss mask 要正确SFT 阶段项目提供双方法掩码prefix-differential / structural-redaction保证 loss 只算 assistant token实现见 adapters/semantic_labels.py 和 collators/assistant_only.py预分词用户可直接用glm47_native视图的labels列。采样权重是策略输入sampling_weight列配合 collators/weighted_sampler.py 构建可复现的加权采样器不是正确性标签。RL 只用于可验证任务课程表阶段 D 明确写了 not for open-ended dialogue开放式任务没有终态预言机请勿硬套。注意授权边界这是混合来源的受控非商业研究语料许可证为other商用前请审阅 PROVENANCE.md 和 QUALITY.md 中的条款说明。八、总结qwen3.8-max-glm5.2-kimi-k3-distillation把多教师蒸馏 SFT 数据和可离线验证的 GRPO 工具 RL 环境打包成了一条完整链路SFT 侧24 个配置视图 三 tokenizer 精确分词 零失败 loss mask开箱即训RL 侧rl_tool_prompts提供 prompt 奖励合约确定性执行器提供无噪声沙箱终态预言机提供抗作弊的 0/1 奖励工程侧课程表、canary 验证、回放测试一应俱全质量状态在 metadata/QUALIFICATION.json 中全程可审计。对想入门LLM 工具调用 强化学习方向的同学来说这个项目提供了一个少见的、判分逻辑完全透明的小型 RL 环境样本——读懂 rl_env/ 这不到千行代码基本就掌握了 GRPO/RLVR 中可验证奖励的落地方式。赞分享【免费下载链接】qwen3.8-max-glm5.2-kimi-k3-distillation项目地址https://ai.gitcode.com/hf_mirrors/r0b0tlab/qwen3.8-max-glm5.2-kimi-k3-distillation点击查看免费下载相关推荐4阶段课程训练法qwen3.8-max-glm5.2-kimi-k3-distillation从通用SFT到专项微调的epoch与学习率清单4阶段课程训练法qwen3.8 max glm5.2 kimi k3 distillation从通用SFT到专项微调的epoch与学习率清单 想用小模型低成本Transformers、TRL还是Unslothqwen3.8-max-glm5.2-kimi-k3-distillation框架兼容性实测与适配器方案Transformers、TRL还是Unslothqwen3.8 max glm5.2 kimi k3 distillation框架兼容性实测与适配器方案 如如何快速看懂 qwen3.8-max-glm5.2-kimi-k3-distillation5.7万条三教师蒸馏SFT数据集完全指南如何快速看懂 qwen3.8 max glm5.2 kimi k3 distillation5.7万条三教师蒸馏SFT数据集完全指南 想训练自己的大模型却不上一篇Wan2.2-Animate-14B零基础制作专业级AI动画的终极指南下一篇Verso 浏览器完整教程用 Rust 与 Servo 引擎从零跑通一款浏览器创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考