lift-oQ4性能深度解析100 tokens/s背后混合注意力架构与benchmark解读【免费下载链接】lift-oQ4项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/lift-oQ4lift-oQ4 是一个面向文档结构化提取的 9B 视觉语言模型基于 Qwen3.5qwen3_5架构打造能够把发票、财报、合同等 PDF 和图片直接转成符合 JSON Schema 的规整 JSON。它最亮眼的性能指标是在 Apple Silicon 上以约 4.6 bit 的混合精度量化运行模型体积仅 5.6 GB生成速度却高达100 tokens/s。本文将从混合注意力架构、oQ4 量化原理和全系 benchmark 数据三个维度为你深度拆解这套性能组合拳。一、lift-oQ4 是什么为结构化信息提取而生的视觉语言模型 lift-oQ4 是 mlx-community 对 Datalab 开源的lift模型的 MLX 社区转换版本专攻一个场景文档到结构化数据的自动提取。与通用多模态大模型不同它不满足于看懂图片而是强调输出结果的结构化与可解析性。典型应用场景包括 发票信息抽取发票号、金额、明细行 财报与表格数据还原 合同、单据、证照的关键字段提取 配合 RPA / 财务自动化 / 知识库流水线使用模型本身是纯模型权重仓库library 类型为 mlx配合 mlx-vlm 推理框架在 Apple Silicon 上运行无需 GPU 云服务器即可完成本地部署。二、混合注意力架构解析24 层线性注意力 8 层全注意力 ⚡100 tokens/s 的生成速度首先来自模型底层的混合注意力架构。打开仓库里的config.json可以看到语言模型部分共 32 层 Transformer其中24 层是线性注意力linear_attention8 层是全注意力full_attention两者按每 4 层插入 1 个全注意力层的规律交替排布full_attention_interval: 4。两种注意力分工明确模块数量技术要点职责线性注意力层24 层Mamba 风格 SSM 一维卷积conv1dkernel 416 个 key 头、32 个 value 头以近似线性的复杂度处理超长序列全注意力层8 层标准 self-attention16 头、head_dim 256、GQA4 个 KV 头负责全局信息建模与精准对齐线性注意力层用上了 Mamba 家族的 A_log、dt_bias、门控投影in_proj_a/b/z等部件把计算复杂度从 O(n²) 压到接近 O(n)而保留的 8 层全注意力则确保了文档中跨区域的信息抽取精度不会丢失。两者叠加模型把上下文窗口做到了惊人的262144 token约 26 万长文档也能整篇放入。视觉侧同样不弱视觉塔 27 层、隐藏维度 1152patch 16、时序 patch 2输出对齐到语言模型的 4096 维。三、oQ4 量化揭秘平均 4.6 bit 的逐层混合精度方案 oQ4中的 oQ 代表oMLX 数据驱动量化它不是一个简单的全部压到 4 bit而是逐层混合精度以 4 bitgroup_size 64、affine 模式为基线同时对敏感层自动提升到 5 bit。从config.json的quantization字段可以看到精细的按层覆盖规则线性注意力的关键投影in_proj_a/b/z、out_proj在浅层普遍保留 5 bit部分全注意力层的 q/k/o 投影提升到 5 bit如第 11、15 层部分层的 MLP down_proj 也单独保留 5 bit深层的大部分权重则维持 4 bit这种浅层精、深层简的数据驱动分配让平均位宽落在约 4.6 bit比标准 4bit 量化多花约 15% 的体积却显著保护了对输出质量最敏感的权重。最终权重文件两个 safetensors 分片合计约 60.3 亿字节约 5.6 GiB配合model.safetensors.index.json索引加载。四、全系 benchmark 解读oQ4 是速度与精度的甜点位 lift 家族提供了从 bf16 到 oQ3 的完整量化梯度官方在同一台 MacBook Pro M5 Max128GB / 40 GPU 核心上做了单图发票抽取的参考测试版本量化方式约 bpw模型大小峰值内存生成速度lift-bf16完整 bf161618 GB19.9 GB31 t/slift-oQ8oQ≈8.69.7 GB12.3 GB58 t/slift-oQ6oQ≈67.7 GB9.4 GB73 t/slift-oQ5oQ≈56.7 GB8.4 GB83 t/slift-oQ4oQ≈4.65.6 GB7.2 GB100 t/slift-oQ3.5oQ≈4.04.9 GB6.5 GB109 t/slift-oQ3oQ≈3.54.6 GB6.2 GB119 t/s解读这组数据oQ4 的定位非常清晰相对 bf16速度提升约 3.2 倍31 → 100 t/s峰值内存下降约 64%19.9 → 7.2 GB相对 oQ3速度只慢约 19%但精度余量明显更足属于少牺牲精度换速度的稳健选择若继续压到 oQ3.5 / oQ3虽然能到 109~119 t/s但位宽已逼近模型鲁棒性边界需要特别说明以上数据官方标注为Indicative, not a benchmark仅供参考非正式基准测试。质量层面上游 FP16 版 lift 在 Datalab 225 份文档基准上达到90.2% 字段级 / 20.9% 整文档准确率oQ4 等量化版本未在大规模基准上重新评测但已通过简单发票提取测试说明没有出现模型崩溃。对于更困难或对抗性的文档低比特位宽的精度退化风险仍需自行验证。五、在 Apple Silicon 上快速部署的 3 步走 第一步获取模型仓库git clone https://gitcode.com/hf_mirrors/mlx-community/lift-oQ4第二步命令行直接生成uvx --from mlx-vlm mlx_vlm.generate \ --model mlx-community/lift-oQ4 \ --image invoice.png \ --prompt Extract the invoice as JSON. \ --max-tokens 800第三步启动 OpenAI 兼容服务开启 JSON Schema 结构化输出uvx --from mlx-vlm mlx_vlm.server --model mlx-community/lift-oQ4 --port 8080服务通过 llguidance 在解码阶段强制遵循 JSON Schema保证输出必定合法、类型正确。调用时只需在请求中带上response_format{type: json_schema, ...}并设置temperature0.0即可拿到可稳定解析的结构化结果非常适合直接接入业务流水线。六、使用避坑指南与注意事项 ⚠️eos token 修复本仓库的generation_config.json特意将eos_token_id设为[248044, 248046]。上游只配置了 248044而对话回合以|im_end|248046收尾若不修复MLX 服务端会永远不停止生成、疯狂输出|im_end|。如果你从源头重新转换记得重新应用这一修复。低比特风险oQ3 以下位宽在困难文档上的抽取精度可能明显下降生产环境建议以 oQ4 起步并做真实样本验证。许可证约束代码为 Apache-2.0权重为修改版 OpenRAIL-M——研究、个人使用及营收低于 500 万美元的初创公司免费但不能用于与 Datalab 的 API 直接竞争的业务。七、总结lift-oQ4 适合谁 如果你是Mac 用户、想把文档抽取能力本地化、需要稳定结构化 JSON 输出或正在搭建财务/RPA 自动化lift-oQ4 的 5.6 GB 体积与 100 tokens/s 速度几乎是为这类场景量身定做——它就是当前性价比最均衡的文档提取量化方案。【免费下载链接】lift-oQ4项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/lift-oQ4创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
