数据集AI 评测模型评测人工智能OCR【免费下载链接】olmOCR-bench项目地址https://ai.gitcode.com/hf_mirrors/allenai/olmOCR-bench点击查看免费下载olmOCR-bench 是一个专门评测PDF → Markdown转换能力的 OCR 基准数据集。它的两大数学测试集arxiv_math2,927 条公式用例与old_scans_math458 条公式用例合计 3,385 个数学公式识别测试是观察数学公式识别到底难在哪的最佳窗口 先认识 olmOCR-benchOCR 的综合体检表olmOCR-bench 由 1,403 个单页 PDF 和 7,010 个单元级测试用例组成覆盖 7 个测试类正文文本、页眉页脚、多栏阅读顺序、表格、数学公式等。其中数学类用例就占了3,385 条是体量最大的考核项。 总览见 README.md各子任务定义见 eval.yaml其中arxiv_math与old_scans_math是两个独立的评测任务。测试类PDF 数用例数数据来源arxiv_math5222,927arXiv 论文old_scans_math36458Internet Archive 旧书扫描其余 5 类8453,625国会图书馆 / 内部仓库等数学公式为什么是 OCR 的最难题和普通文字识别不同公式识别难在四个层面不是认字符而是认布局——$\int$ 必须在 $x$ 左边、分数线上下位置不能错顺序和相对位置都算信息结构层次多——上下标、矩阵、分式、分段函数一条公式就是一棵结构树载体状态差——旧扫描件的模糊、倾斜、噪点会进一步放大识别误差零容错——数据里的max_diffs: 0字段意味着对符号偏差几乎不容忍。arxiv_math 测试集来自 arXiv 最新论文的数字公式arxiv_math 取自 522 篇 arXiv 论文的指定页每条记录对应页面上的一个公式。文件命名一目了然2503.07228_pg12.pdf arXiv 编号 页码例如 2503.07228_pg12.pdf。用例数据存放在 bench_data/arxiv_math.jsonl每行一个公式格式如下节选自 第 1 行{pdf: arxiv_math/2503.07228_pg12.pdf, page: 1, id: 2503.07228_pg12_math_000, type: math, max_diffs: 0, math: 0 \\leq k \\leq 2^{N}-1}这个子集的特点公式是数字 PDF 原生矢量内容没有扫描噪点专考结构还原能力标注通过**动态规划对齐Dynamic programming alignment**自动提取2,927 条中 126 条带有checked: verified人工复核标记公式平均长度约 51 个字符也包含矩阵、cases 分段函数等长结构。old_scans_math 测试集旧书扫描件里的模糊公式如果说 arxiv_math 考的是结构old_scans_math 考的就是抗压能力。它来自 36 页 Internet Archive 旧书扫描PDF 存于 bench_data/pdfs/old_scans_math/如 1_pg72.pdf用例数据在 bench_data/old_scans_math.jsonl。同样的一页扫描第 72 页能切出多条连续公式用例节选自 第 1 行{pdf: old_scans_math/1_pg72.pdf, id: 1_pg72_equation_00, type: math, checked: verified, math: \\therefore \\int \\frac{dx}{(a^{2}x^{2})^{n}}\\frac{1}{a^{2}} \\frac{x}{(2 n-2)(a^{2}x^{2})^{n-1}}}这个子集的特点458 条用例全部经过人工规则 脚本生成并逐条 verified是全场标注最实的子集扫描年代久远墨色不均、笔画粘连、页面倾斜模型必须在看不清楚的情况下还原分式与积分号平均公式长度约 40 个字符多为推导过程中的连等式。两组测试集对比一张表看懂维度arxiv_mathold_scans_mathPDF 页数52236公式用例数2,927458来源arXiv数字 PDFInternet Archive旧书扫描件标注方法动态规划对齐脚本生成 人工规则全部 verified主要难点上下标/矩阵/多行结构还原模糊、倾斜、粘连下识别平均公式长度≈51 字符≈40 字符公式认对没是怎么判分的olmOCR-bench 对公式采用Math Formula Accuracy指标不直接逐字符比对而是匹配符号布局——例如验证积分号 $\int$ 是否出现在 $x$ 的左侧。判断基于公式渲染后的 bounding box 和符号相对位置。换句话说输出必须是可被渲染的结构化 LaTeX位置对 符号对才算过。最新跑分顶级模型也只有约 75 分README 中的基准结果很能说明难度数学两列ArXiv / OldMath模型arxiv_mathold_scans_mathMistral OCR API77.267.5GPT-4oNo Anchor51.575.5Marker v1.6.224.322.1olmOCRAnchored75.675.1两个有趣结论 最强模型也没能超过 78 分公式识别远未解决 擅长数字公式的模型如 Mistral OCR在旧扫描件上明显失分反之亦然——这正是两个数学子集成对设计的用意。快速上手数学测试集文件索引用例数据bench_data/arxiv_math.jsonl、bench_data/old_scans_math.jsonl源 PDFbench_data/pdfs/arxiv_math/、bench_data/pdfs/old_scans_math/评测任务配置eval.yaml数据集说明与跑分README.md数据集采用 ODC-BY-1.0 协议适合研究与教学用途。想给自家 OCR / 文档解析模型补考数学从这两个 jsonl 入手就对了 ✍️赞分享数据集AI 评测模型评测人工智能OCR【免费下载链接】olmOCR-bench项目地址https://ai.gitcode.com/hf_mirrors/allenai/olmOCR-bench点击查看免费下载相关推荐olmOCR-bench数据结构全解析7大类别测试集与JSONL字段逐行讲解olmOCR bench数据结构全解析7大类别测试集与JSONL字段逐行讲解 olmOCR bench 是 AI2 开源的 OCR 评测基准数据集 包含 1数据集AI 评测模型评测人工智能OCROpenDataLab/MinerU公式识别LaTeX数学公式完美转换OpenDataLab/MinerU公式识别LaTeX数学公式完美转换 还在为学术论文、技术文档中的数学公式提取而头疼吗传统的OCR工具对复杂数学公式束手无人工智能大模型多模态计算机视觉OCRAI 应用olmOCR-bench评测标准深度解读文本存在、阅读顺序、表格、公式5大测试项背后原理olmOCR bench评测标准深度解读文本存在、阅读顺序、表格、公式5大测试项背后原理 olmOCR bench 是 Allen Institute for数据集AI 评测模型评测人工智能OCR上一篇深度解析QQ音乐API逆向工程Python爬虫技术实战指南下一篇SRWE完整教程免费Windows窗口编辑器终极指南轻松调整任意程序窗口创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考