人工智能模型量化本地部署多模态大模型【免费下载链接】d1a-e2b-it-qat-4bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/d1a-e2b-it-qat-4bit点击查看免费下载d1a-e2b-it-qat-4bit 是 D1A 决策模型的 4-bit 量化新版本基于 QAT量化感知训练权重、面向 Apple Silicon 的 MLX 构建。官方宣布它以 11% 的推理提速取代 D1A-E2B-it v0.6却在 transfer-v4 场景下滑 5.2 分——哪些场景该换、哪些该留3 分钟看懂。两个版本分别是什么一张表看懂D1A 是一个决策模型给它一段文本或图片、语音、视频加几个问题它在一次前向计算中为每个选项输出校准后的概率不生成任何自由文本因此每个答案都保证是合法选项。维度D1A-E2B-it v0.6旧版d1a-e2b-it-qat-4bit新版基座权重Gemma 4 E2B-itbf16Gemma 4 E2B-it QATint4 量化感知训练体积较大bf16 权重2.7 GB 主干 1.0 GB 视觉/音频编码器决策速度基准快 11%延迟比 0.89聊天能力无有关闭 adapter 即为原版 Gemma 4 E2B-it QAT多模态图/音/视频支持支持14/14 演示请求全部回答p50 1.6 s官方定位旧版默认2026-10-25 起官方推荐版本量化细节可在 config.json 中确认276 个 int4 线性层均为 4-bit、group_size 32 的 affine 量化且逐位与 Google 官方 QAT 检查点一致——反量化误差为 0不是从 bf16 二次量化而来。性能对比11% 提速从何而来官方在 Apple M1 Max 上、以 22 个评测套件17,418 个问题对比两版实际服务状态结果如下Δ 为分数点括号内为 95% 配对置信区间场景4-bit QAT 版 vs v0.6是否显著总体22 套件汇总0.40 [−0.21, 1.02]不显著PR severity较新 PR3.5[1.4, 5.7]✅ 显著胜出PR labels1.7[0.4, 2.9]✅ 显著胜出hard-v1困难决策2.2 [−0.1, 4.5]趋势向好transfer-v4训练外任务−5.2[−7.9, −2.6]⚠️显著变差速度方面单次决策延迟比 0.89即每个决策快 11%——这来自 4-bit 权重在 Apple Silicon 上的天然优势。校准概率的可靠性整体更好校准温度 1.55见 d1a_config.json将期望校准误差 ECE 从 0.064 降到 0.018但在个别套件上校准变差PR labels 的 ECE 0.019 → 0.038transfer-v4 0.057 → 0.124。多模态侧28 个答案中 25 个与 v0.68-bit一致3 处差异全部出现在语音片段上。为什么 4-bit 版反而更强QAT 重训是关键直接换权重其实会掉分。旧版 v0.6 的 adapter 若原样搬到 QAT 主干上不重训成绩是套件v0.6 adapter bf16 主干发布版v0.6 adapter QAT 主干未重训hard-v10.6890.669devtools-v10.7090.683documents-v10.8620.857原因QAT 权重与 bf16 权重并不相同余弦相似度 0.992还有 9.6% 的明确答案会发生翻转。所以官方在新 QAT 主干上重训了 D1A adapterLoRA rank 16约 97 MB见 adapter/adapter_config.json配方沿用 v0.623,427 条记录、11 个数据源、主干冻结、学习率 2e-5、共 2,929 步在 M1 Max 上训练 12.5 小时。重训单独贡献了多少对比同一 QAT 主干上的 v0.6 adapter总体2.13 [1.36, 2.89]8 项显著胜出、0 项显著变差。也就是说——4-bit 版的优势主要来自重训而 transfer-v4 的下降则来自 4-bit 主干本身重训只影响 −0.2。这些场景仍要固定 D1A-E2B-it v0.6 ⚠️按 D1A 的发布规则transfer-v4 的 −5.2 本应一票否决这次替换最终是作者以例外方式发布D1A 自有任务权重更高。因此以下场景建议固定d1a-e2b-itv0.6transfer-v4 类任务模型从未训练过的任务类型整体 −5.2 分blast-radius影响面评估线上标签回放中准确率 64.3 → 59.2规则组合型留出问题transfer-v4 内部的重训弱点4 次修复对 13 次破坏符号检验 p0.049其他远离 D1A 自有任务分布的自定义任务。一句话原则D1A 自己的活PR 打标、路由、困难决策、聊天、多模态→ 用新版训练分布外的任务 → 固定 v0.6。快速上手一条命令启动 4-bit 决策服务在支持 MLX 的 Apple Silicon 机器上安装 d1a 运行时需要其服务化分支后启动python -m d1a.serving.serve --run mlx-community/d1a-e2b-it-qat-4bit --port 8009服务启动后提供三类能力端点用途/v1/systemone文本决策传入状态 若干问题是否题/选择题/打分题返回每个选项的校准概率/v1/systemone/media照片JPEG/PNG/WebP、语音≤30 s、视频≤32 MB决策/v1/chat/completions聊天OpenAI 兼容格式、支持流式此时自动关闭决策 adapter例如官方示例传入鞋子迟到两周且尺码不对卡上还看到两笔扣款模型会给出returns / shipping / billing三个团队的概率分布并命中support0.67单次约 109 ms。版本选择建议三步判断法你的任务在 D1A 自有分布内吗PR 标签、路由、困难决策、客服分派→ 是升级 d1a-e2b-it-qat-4bit白得 11% 提速 聊天能力 更小的体积你的任务是训练集之外的类型吗transfer-v4、blast-radius 或自造任务→ 是固定 v0.6避免 −5.2 分的显著退化检查使用限制问题必须是英文文档可英/日自行编码请求的应用需在开头补bosleading_ids 为 2整个模型仍属实验性质。相关配置文件速查量化参数 config.json、决策头与校准温度 d1a_config.json、视觉/音频编码器 media/config.json、权重索引 model.safetensors.index.json。总结d1a-e2b-it-qat-4bit 用 4-bit QAT 权重 重训 adapter在 D1A 自有任务上全面不输甚至更强还更快、更小、能聊天但它对训练外任务的 −5.2 分退化是真实的。把它当作 D1A 主力给 v0.6 留一个训练外任务专用的位置就是当前最优的版本组合。赞分享人工智能模型量化本地部署多模态大模型【免费下载链接】d1a-e2b-it-qat-4bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/d1a-e2b-it-qat-4bit点击查看免费下载相关推荐该选哪款D1Ad1a-e2b-it-8bit对比E2B v0.6与E4B v0.6severity差4.3分背后的取舍该选哪款D1Ad1a e2b it 8bit对比E2B v0.6与E4B v0.6severity差4.3分背后的取舍 D1A 是面向 Apple Sili人工智能大模型模型量化本地部署NLPd1a-e2b-it-qat-4bit配置字段速查手册config.json、d1a_config.json与adapter_config.json详解d1a e2b it qat 4bit配置字段速查手册config.json、d1a_config.json与adapter_config.json详解 d1人工智能模型量化本地部署多模态大模型透过d1a-e2b-it-qat-4bit看懂Gemma 4 E2B架构滑动注意力、131K上下文与双量化策略透过d1a e2b it qat 4bit看懂Gemma 4 E2B架构滑动注意力、131K上下文与双量化策略 想真正读懂 Gemma 4 E2B 的架构设计人工智能模型量化本地部署多模态大模型上一篇Lightdash 地图可视化的 GeoJSON 数据源内置区域边界数据与自定义地图配置指南下一篇wagmi Tempo dex.useWatchOrderCancelledReact 中监听稳定币 DEX 订单取消事件的完整指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考