文章主要内容总结本文介绍了JT-Math-8B系列开源模型，该系列专为高级数学推理设计，包含基础模型（Base）、指令模型（Instruct）和思维模型（Thinking）三个版本，基于多阶段优化框架构建。预训练阶段：构建了210B token的高质量预训练语料库（JT-Math Corpus），通过专用数据管道（含模型验证）确保数据质量与多样性；预训练分为三个阶段（通用数学知识学习、推理与深度思考训练、长上下文扩展），逐步提升模型的领域知识与处理能力。微调阶段：采用双路径策略，针对不同场景优化：指令模型（Instruct）通过监督微调（SFT）和基于GRPO的强化学习（RL），优化直接、简洁的回答能力；思维模型（Thinking）基于长思维链（Long CoT）方法，结合SFT与多阶段RL课程（逐步增加任务难度和上下文长度至32K tokens），提升复杂问题解决能力。性能表现：JT-Math-8B在多个数学基准测试中表现优于同规模开源模型，甚至超过OpenAI的O1-mini和GPT-4o，尤其在竞赛级数学问题上表现突出。创新点高质量预训练数据管道：通过数据收集、清洗、去重、质量评估（含模型验证）构建210B token语料库，动态优化数据质量，确保多样性与难度分布。多阶段预训练策略/