人工智能大模型本地部署模型量化模型推理服务【免费下载链接】Jev-Style-0.8B-Decision-v3-mlx-8bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Jev-Style-0.8B-Decision-v3-mlx-8bit点击查看免费下载Jev-Style-0.8B-Decision-v3-mlx-8bit 是一款面向 Apple Silicon 的 8-bit MLX 量化决策模型0.8B 参数约 990MB 显存占用用于 LLM 路由、意图判断与 guardrails 等System-1快速决策场景。本文揭秘它的 G5 Parity 验证体系以及为什么 8-bit 权重与 PyTorch float32 参考实现相比top-1 判定能保持 100% 一致。一、这是什么为 Apple Silicon 打造的 8-bit 决策小模型 ⚡Jev-Style-0.8B-Decision-v3-mlx-8bit 由 chaoliangUNSW/Jev-Style-0.8B-Decision-v3 转换而来底层是 Qwen3.5-0.8B 文本模型24 层18 层 Gated DeltaNet 线性注意力 6 层全注意力752M 参数采用 MLX 框架的affine 8-bit 量化group 64平均每权重 8.25 bit。量化配置见 config.json 中的quantization字段转换过程记录在 conversion_metadata.jsonmlx-lm 0.31.3仅耗时 4.76 秒。它不是通用聊天模型而是一个判决式verdict决策器给定一段上下文state和一组选项模型只回答每个选项是否成立并输出校准后的概率分布。实测性能Apple M1 / 8GB见 benchmark_results.json指标8-bit 实测值生成速度52.23 tokens/s首 token 延迟TTFT19.15 ms峰值内存919.3 MB 8GB 统一内存的 M1 就能流畅运行这是它最大的卖点之一。二、G5 Parity 验证top-1 100% 一致是怎么测出来的 量化后模型行为是否漂移是转换类仓库最让人担心的问题。本项目的回答是G5 Parity 测试定义于 release_config.json 的g5_parity字段参考基准PyTorch float32相同权重、相同渲染输入测试集240 条非封存训练分布样本覆盖 22 个类别英文 215 条 / 中文 25 条四项门槛top-1 一致率 ≥ 0.9916-bit/ ≥ 0.988-bit、|ΔNLL| ≤ 0.02、无 NaN、参考行全部完成打分4-bit 仅为报告项report-only不作发布门槛七个格式全部通过核心结果如下格式top-1 一致率ΔNLL门槛结论gguf-f16100%0.000024top1≥0.99✅ 通过gguf-q8_0100%−0.000031top1≥0.98✅ 通过gguf-q4_k_m100%0.006188仅报告✅仅记录mlx-bf16100%0.000310top1≥0.99✅ 通过mlx-bf16-f32act100%0.000157top1≥0.99✅ 通过mlx-8bit本仓库100%0.000232top1≥0.98✅ 通过mlx-4bit98.75%0.010326仅报告未发布240/240 行全部与 float32 参考实现判定一致NaN 行为 0——这就是标题中top-1 100% 一致的出处。三、为什么 8-bit 能做到 top-1 100% 一致四个关键原因1️⃣ 判决读出verdict readout天然抗扰动模型不生成自由文本而是在每个选项末尾的 -槽位上计算score logit( yes) − logit( no)这一步用最终层 hidden state 与共享词表嵌入行tied embeddings做点积并强制以 float32 计算见 jev_style_decision_mlx.py 的_scores方法。8-bit 量化引入的微小噪声相对 float32 最大分数差约 0.083远小于选项间的真实分差因此 argmax 几乎不可能翻转。2️⃣ 8-bit affine 量化本身足够温和group 64 的 affine 量化保留 per-group 缩放因子平均 8.25 bit/权重ΔNLL 仅 0.000232比 4-bit 的 0.0103 小了整整一个数量级。这也解释了为什么 4-bit 版本top-1 98.75%只做报告、未发布。3️⃣ 校准温度随模型一起交付概率通过softmax(scores / T)得到温度 T 由 readout_config.json 提供不传 category 时用全局温度 0.880传--category则按家族 × 题型 × 选项数桶匹配 20 个拟合好的分组温度。这套温度在 15,655 行校准池上拟合把期望校准误差ECE从 0.0329 降到0.0114见 release_config.json 的calibration.fit_quality。参考实现与 MLX 运行时使用同一份温度文件从源头排除概率口径不一致。4️⃣ 输入渲染逐 token 对齐三个运行时PyTorch / llama.cpp / MLX共享完全相同的核心代码渲染、读出、校准输入模板macjev-render-v1保证所有后端对同一问题产生逐 token 相同的序列。runtime_parity协议在 244 行含 4 行对抗性特殊 token / Unicode 样本上验证渲染 token 与参考渲染器 244/244 完全一致8-bit 运行时与同后端参考的概率最大差异为0.0、top-1 变化为 0。四、快速上手在 Apple Silicon 上跑一次决策安装 MLX 工具链后直接使用仓库自带的自包含运行时 jev_style_decision_mlx.pypip install mlx-lm tokenizers python3 jev_style_decision_mlx.py \ --state Refund still missing after 3 weeks \ --question Which team should handle this ticket? \ --options {billing: payments, refunds, tech: bugs, crashes} \ --category theme_routing输出为 JSON包含answer、probabilities、scores、temperature等字段可直接接入下游路由逻辑。两个硬性预算值得注意整段输入 ≤ 25,600 tokens、问题选项读出区 ≤ 2,048 tokens超限直接报错、绝不静默截断抛出InputBudgetError这对决策场景的正确性至关重要。该模型同时支持mlx_lm.chat/mlx_lm.generate以通用方式加载详见 README.md 的 Quick Start 章节。五、关键文件资料索引 文件作用release_config.json发布清单G5 Parity 结果、运行时对齐记录、温度校准质量readout_config.json判决读出配置槽位 token ID、校准温度分组jev_style_decision_mlx.pyMLX 运行时bf16 / 8-bit含渲染、读出、CLIjev_style_decision.pyPyTorch 参考运行时G5 的比对基准config.json模型架构与 8-bit 量化参数affine, group 64model.safetensors.index.json权重分片索引约 800MB752M 参数benchmark_results.jsonM1 8GB 实测52.23 tokens/s、919.3MB 峰值内存conversion_metadata.json转换命令、mlx-lm 版本与耗时六、小结把质量变成可复算的证据 ✅Jev-Style-0.8B-Decision-v3-mlx-8bit 给转换类模型仓库提供了一个很好的质量范式量化不靠感觉8-bit affine group-64ΔNLL 仅 0.000232Parity 门槛写在配置里top-1 ≥ 0.98、|ΔNLL| ≤ 0.02、无 NaN240 行全部通过top-1 一致率 100%运行时二次验证干净子进程中 24 行固定夹具 两条 25K 长文与参考打分器逐位比对概率差异 0.0预算不截断超限即报错决策永不建立在残缺输入上。对于需要在 Mac 本地做意图路由、主题分派或 guardrails 的团队这是一个质量可审计、占用近 1GB、首 token 仅 19ms的务实选择。赞分享人工智能大模型本地部署模型量化模型推理服务【免费下载链接】Jev-Style-0.8B-Decision-v3-mlx-8bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Jev-Style-0.8B-Decision-v3-mlx-8bit点击查看免费下载相关推荐Jev-Style-0.8B-Decision-v3-mlx-8bit Python API教程JevStyleDecisionMLX类与decide/decide_many完整代码示例Jev Style 0.8B Decision v3 mlx 8bit Python API教程JevStyleDecisionMLX类与decide/dec人工智能大模型本地部署模型量化模型推理服务如何本地构建LLM路由与GuardrailsJev-Style-0.8B-Decision-v3-mlx-8bit终极应用场景如何本地构建LLM路由与GuardrailsJev Style 0.8B Decision v3 mlx 8bit终极应用场景 想在自己的 Mac 上跑一个轻人工智能大模型本地部署模型量化模型推理服务置信度为什么会骗人揭秘Jev-Style-0.8B-Decision-v3-mlx-16bit分组温度校准ECE从3.3%降到1.1%的秘密置信度为什么会骗人揭秘Jev Style 0.8B Decision v3 mlx 16bit分组温度校准ECE从3.3%降到1.1%的秘密 Jev Sty人工智能本地部署大模型NLP模型安全创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考