【免费下载链接】UltraData-Math项目地址https://ai.gitcode.com/OpenBMB/UltraData-Math点击查看免费下载UltraData-Math 是面向数学推理的大规模高质量预训练数据集总计 290B tokens分为 L1170.5B 网页语料、L233.7B 质量精选、L388B 多格式精炼三个递进层级。其中 L2 层是整个数据管道最聪明的一步不靠人工规则而是用闭源大模型蒸馏出一个轻量分类器对海量网页数学语料逐篇打分筛选。本文将完整拆解这套大模型蒸馏轻量分类器的 L2 质量精选方法论帮你理解它为什么可行、怎么落地、效果有多好。L2 层在什么位置UltraData-Math 三级数据漏斗全景UltraData-Math 基于 UltraData 的 L0-L4 分级数据管理框架构建每一级都代表更高的数据纯度与数学价值数据集Tokens文档数定位UltraData-Math-L1170.5B85.6M启发式清洗后的网页数学语料UltraData-Math-L2-preview33.7B14.98M质量模型精选后的高质量语料UltraData-Math-L388B81.4M改写合成后的多格式精炼数据L1 经过格式修复、长度过滤、语言识别和文档去重虽然格式整洁但内容质量参差不齐——高价值数学内容与低质噪声混杂。L2 层要解决的正是这个问题从海量 L1 数据中识别出具有高价值的核心语料。为什么不用大模型直接全量打分质量精选的成本痛点最直觉的方案是直接用闭源大模型对每篇文档打分。但 L1 有8560 万篇文档、170.5B tokens全量调用大模型推理的成本和耗时都不可接受。UltraData-Math 的解法是知识蒸馏思路类似专家阅卷 让数学专家大模型认真批改一小部分试卷种子数据把评判标准教给一台自动阅卷机轻量 embedding 分类器之后由阅卷机完成全量批改。这套方法论只有三步下面逐步拆解。第一步闭源大模型多维度打分种子数据种子数据从 Nemotron-CC-Math、MegaMath、FineMath 等公开数学预训练语料中采样得到覆盖面广、分布贴近真实场景。标注方式使用闭源大模型对种子数据做多维度打分而非单一分数——从内容价值、数学深度等多个角度刻画质量差异。成本可控只标注一小部分种子数据大模型调用开销极低。这一步的本质是把什么算高质量数学内容的判断标准沉淀成可学习的监督信号。第二步蒸馏训练——轻量 embedding 分类器的诞生拿到标注数据后训练一个轻量级 embedding 分类器将文档通过 embedding 模型编码为向量表示在轻量分类头上学习向量 → 质量分的映射通过蒸馏对齐大模型的打分标准使其具备识别高价值数学内容的能力。为什么选 embedding 分类器而不是小型生成模型✅推理极快一次前向编码 轻量分类头比逐篇生成式打分快数量级才能支撑 8560 万文档的全量推理✅成本极低可在普通 GPU 集群上批量运行✅标准一致蒸馏目标直接对齐大模型的多维度打分保证筛选标准与专家判断一致。第三步全量推理——170B tokens 的保留与剔除标准训练好的分类器对 L1 全量数据逐篇打分与筛选核心标准非常明确操作典型内容✅保留包含详细解题步骤、数学概念解释、高水平学术讨论的内容❌剔除简单的名词堆砌、无意义的数字列表、低幼内容、非数学领域噪声经过这一轮精选数据量从 170.5B tokens 收敛到33.7B tokens、1498 万篇文档约保留 L1 的 17%产出的即 UltraData-Math-L2-preview共 138 个分片。想快速体验数据质量可直接加载from datasets import load_dataset ds load_dataset(openbmb/UltraData-Math, UltraData-Math-L2-preview)效果验证L2 质量精选到底提升了多少数学能力团队采用**衰减验证Decay Verification**方法评估在 MiniCPM-1.2B 基座模型上继续预训练约 100B tokens30% 目标数据 70% 通用数据用 OpenCompass 在 MATH500、GSM8K 等基准上评测。关键结果基于全量数据集的 L1/L2/L3 消融实验MATH500达到37.02pp相较 Nemotron-CC 4plus 提升3.62ppGSM8K达到61.79pp提升3.34pp⚖️ 同时保持代码生成与通用知识能力没有出现偏科消融实验清楚表明层级越高的数据数学推理能力增益越显著L2 这一层质量精选正是其中的关键中间环节。完整的评测设定见 README_ZH.md 的实验结果部分。总结三步走蒸馏方法论可复用到任意质量精选场景UltraData-Math L2 的方法论可以浓缩为一张清单同样适用于任何从海量文本中挑高质量语料的场景专家标注用强模型对少量种子数据做多维度打分成本极低但标准权威蒸馏轻量分类器把专家标准蒸馏进 embedding 分类器兼顾速度与一致性全量推理筛选用分类器对全量语料打分按明确的保留/剔除标准输出精选集。一句话概括用大模型的脑子定标准用轻量分类器的速度扛规模——这正是 UltraData-Math 能以 33.7B tokens 的高纯度语料支撑 MiniCPM 系列数学预训练的核心方法论。赞分享【免费下载链接】UltraData-Math项目地址https://ai.gitcode.com/OpenBMB/UltraData-Math点击查看免费下载相关推荐Windows 11 PL2303驱动终极解决方案3步告别黄色感叹号Windows 11 PL2303驱动终极解决方案3步告别黄色感叹号 还在为Windows 11系统中PL2303 USB转串口设备出现的黄色感叹号而烦恼吗驱动开发终极指南如何使用OLMo实现大模型高效知识蒸馏与轻量级部署终极指南如何使用OLMo实现大模型高效知识蒸馏与轻量级部署 OLMo作为一款功能强大的开源大模型提供了完整的建模、训练、评估和推理代码。本文将详细介绍如何通人工智能大模型预训练微调Qwen3-Omni-30B-A3B-Instruct模型蒸馏轻量级版本定制方法Qwen3 Omni 30B A3B Instruct模型蒸馏轻量级版本定制方法 Qwen3 Omni 30B A3B Instruct作为多语言全模态模型基础模型大模型多模态Qwen上一篇终极Windows系统优化指南用Win11Debloat打造纯净高效的PC环境下一篇揭秘Remote DOM工作原理从DOM Polyfill到双向通信机制创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考