【免费下载链接】UltraData-Math项目地址https://ai.gitcode.com/OpenBMB/UltraData-Math点击查看免费下载UltraData-Math是一个面向数学推理的大规模高质量预训练数据集其中L1 层收录了170.5B tokens、8560 万篇文档的网页数学语料。这一层的原始数据全部来自Common Crawl覆盖2014 年至 2024 年共 99 次网页快照。本文将带你彻底看懂 UltraData-Math L1 的目录组织、文件命名规范以及10 年时间跨度对数学预训练的真正价值。一、L1 在数据金字塔中的位置先搞懂毛坯层是什么UltraData-Math 采用L0-L4 分级数据管理框架每一层代表更高的数据纯度与数学价值层级定位规模L0原始网页解析与公式标准化LaTeX 化未公开L1启发式清洗 文档级去重后的过滤语料170.5B tokens / 85.6M 文档L2质量模型精选后的高质量语料33.7B tokens / 14.98M 文档L3QA、多轮对话等多格式精炼数据88B tokens / 81.4M 文档L1 是整个流水线的毛坯房它已经完成了解析和清洗格式整洁、可直接训练但内容质量尚未经过模型筛选。理解了 L1 的组织方式也就理解了整个数据集的地基。️二、目录组织按 Common Crawl 快照拆分的 99 个子目录L1 数据根目录为 data/UltraData-Math-L1/一级目录按 Common Crawl 的抓取快照snapshot划分命名为CC-MAIN-{年份}-{周号}data/UltraData-Math-L1/ ├── CC-MAIN-2014-15/ # 2014 年第 15 周抓取的快照 ├── CC-MAIN-2014-23/ ├── ... ├── CC-MAIN-2024-42/ └── CC-MAIN-2024-46/ # 2024 年第 46 周抓取的快照99 个快照目录的年度分布年份快照数年份快照数20147202092015102021920169202252017122023520181220249201912合计99这种一个快照一个文件夹的组织方式有两个直接好处来源可追溯任意一条语料都能定位到它出自哪一年的哪次网页抓取训练时可控采样可按年份/快照比例调配数据避免模型过拟合某一个时期的网页风格。三、文件命名规范part-XXXX-of-15.parquet 如何解读每个快照目录内是按parquet 格式分片的数据文件命名规则高度统一UltraData-Math-L1-CC-MAIN-2014-15-part-0001-of-15.parquet └────────┬────────┘ └─────┬─────┘ └──┬──┘ └────────┬────────┘ 数据集层级 来源快照 分片序号 分片总数以 UltraData-Math-L1-CC-MAIN-2014-15-part-0001-of-15.parquet 为例CC-MAIN-2014-15该分片内容全部来自 2014 年第 15 周的 Common Crawl 快照part-0001-of-15这是 15 个分片中的第 1 个便于分布式读取时按分片切分任务parquet 列式存储相比 CSVparquet 压缩率高、支持按列裁剪读取加载大字段文本时 IO 开销更小。大多数快照目录包含 15 个分片个别目录如 CC-MAIN-2017-47/ 仅存 7 个分片文件命名保证了看名字就知道数据从哪来、是第几块。四、时间跨度价值为什么值得覆盖 2014–2024 整整十年很多数学语料集只截取自少数几个时间点的网页而 UltraData-Math L1 横跨11 个年度、99 次快照这一时间跨度带来三类独特价值1. 覆盖数学网页表达的技术演进史10 年间网页中的数学公式经历了 MathML 主导期、MathJax 普及期到 KaTeX 上升期的更替。不同快照捕捉了不同渲染技术下的公式形态配合 L0 层统一LaTeX 标准化模型能学到跨越渲染技术演进的稳定数学语义而非背记某一时代的公式标记。2. 社区生态的长期沉淀十年跨度意味着语料同时包含老论坛如早期 TeX 问答社区中沉淀下来的经典解题讨论、竞赛题库的历史积累以及新平台的现代数学内容。经典问题的多角度讨论恰恰是数学推理训练最珍贵的部分。3. 分布多样性带来的泛化能力按快照分组后训练时可以灵活控制各年代的采样比例缓解模型偏向最新网页风格的偏置同时文档级去重在 99 个快照间执行有效抑制跨年代重复内容的干扰。官方实验也侧面印证了时间分布的处理L0 解析器对比实验特意选取2023-2024 分布的数据子集进行说明不同年份快照的页面结构差异显著需要专门验证解析策略在新快照上的有效性。五、L1 数据是怎么来的从原始网页到干净语料L1 并非原始抓取结果而是经过了 L0 → L1 两道工序L0解析与标准化——基于magic-html开发的数学专用解析器结合w3m布局保持渲染与多级回退策略把网页中的 MathML、KaTeX、AsciiMath 统一转换为LaTeX最大限度保留公式结构。L1启发式清洗与过滤——格式修复清理不可见字符、乱码与异常换行移除导航栏、页脚、广告弹窗等网页噪声✂️长度过滤移除缺乏上下文的过短片段语言识别保留高质量的中、英文数学内容文档去重文档级去重防止重复内容干扰训练。清洗后的 L1 再经 L2 质量模型精选、L3 多格式精炼逐级提纯。消融实验显示层级越高的数据对数学推理MATH500、GSM8K提升越显著而 L1 正是这一切的规模化基础六、快速上手加载 L1 数据的两种方式方式一直接从数据集平台加载Hugging Facefrom datasets import load_dataset # 加载 UltraData-Math-L1170.5B tokens ds load_dataset(openbmb/UltraData-Math, UltraData-Math-L1)方式二按快照直接读取本地 parquet 分片例如只想使用 2020 年的数据import glob, pyarrow.parquet as pq # 读取 CC-MAIN-2020-05 快照的全部 15 个分片 files glob.glob(data/UltraData-Math-L1/CC-MAIN-2020-05/*.parquet) table pq.read_table(files)更多字段与配置说明可参考项目文档 README_ZH.md 与 README.md。总结L1 组织设计的三个关键词关键词体现在可追溯一级目录 Common Crawl 快照命名含来源与分片信息可分片每个快照 15 个 parquet 分片天然适配分布式加载时间纵深99 个快照横跨 2014–2024覆盖数学网页十年的表达演进UltraData-Math L1 用快照分目录 分片命名的朴素结构把 10 年 Common Crawl 数学语料的来源信息完整保留了下来。对新手而言读懂这套目录就拿到了通往 170B tokens 数学预训练语料的完整地图。️赞分享【免费下载链接】UltraData-Math项目地址https://ai.gitcode.com/OpenBMB/UltraData-Math点击查看免费下载相关推荐深度解析 NumPy 文档构建autosummary attribute 模板与类属性文档页生成机制深度解析 NumPy 文档构建autosummary attribute 模板与类属性文档页生成机制 导读 Sphinx 的 autosummary 扩展是UltraData-Math 290B tokens 数学语料全景解析L1/L2/L3 三层数据架构深度解读UltraData Math 290B tokens 数学语料全景解析L1/L2/L3 三层数据架构深度解读 UltraData Math 是一个面向数学推理fastText 的 Common Crawl 语料预处理管线从原始爬虫数据到多语言词向量训练语料fastText 的 Common Crawl 语料预处理管线从原始爬虫数据到多语言词向量训练语料 本文以 fastText 仓库中 crawl/READMENLP机器学习上一篇深入解析Windows GPIO驱动编程通用输入输出控制器终极指南下一篇如何使用Electron.NET创建高效系统托盘应用完整开发指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考