【免费下载链接】XYZ-Aquila-mini-OptiQ-4bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/XYZ-Aquila-mini-OptiQ-4bit点击查看免费下载XYZ-Aquila-mini-OptiQ-4bit 是 XYZAILab/XYZ-Aquila-mini 的OptiQ 混合精度量化版本专为 Apple SiliconM 系列芯片打造基于 MLX 框架运行。它是总参数约34.7B 的混合专家MoE多模态模型支持文本、图片与视频输入。通过「按需分配 4-bit / 8-bit」的量化策略它在 Mac 上以约4 GB 常驻内存即可流畅推理是体验大参数 MoE 多模态大模型的低门槛之选。这是什么模型一分钟概览一句话这是一个装在 Mac 上就能跑的「大模型全家桶」——34B 级总参数、视觉多模态、支持思考模式与工具调用还做了精细化的量化瘦身。它由三部分构成语言主干qwen3_5_moe稀疏 MoE 架构40 层每层由 256 个专家中只激活 8 个外加 1 个共享专家总参数大、单次计算小视觉编码器独立存放在 optiq/optiq_vision.safetensors保持 bfloat16 高精度共 333 个张量负责看图、看视频OptiQ 量化方案按层敏感度动态分配 4-bit / 8-bit 位宽而不是一刀切全 4-bit。关键规格数值总参数34.66Bmodel.safetensors.index.json语言模型层数40 层30 层线性注意力 10 层全注意力专家规模256 个专家 / token 激活 8 个 1 个共享专家上下文长度256K tokenstokenizer_config.json平均精度约 5.0 bit/权重94 组 8-bit 296 组 4-bit常驻内存约 4 GB专家权重从 SSD 流式加载核心特性为什么它适合跑在 Mac 上 稀疏 MoE34B 的参数迷你的算力模型总参数约 347 亿但每个 token 只路由激活 8 个专家num_experts: 256、num_experts_per_tok: 8见 config.json。也就是说单次前向的激活计算量远小于 34B 稠密模型这是它能在消费级 Mac 上运行的根本原因。 专家流式加载常驻内存仅约 4 GBoptiq serve启动时会自动把专家权重从 SSD 流式换入/换出而不是一次性把 36 GB 权重全部塞进统一内存。因此即使 Mac 只有 16GB 内存也能从容运行这是 MoE 大模型在端侧落地的关键优化。️ 多模态输入文本 图片 视频视觉塔与语言模型解耦部署词表中内置了|image|、|video|等特殊视觉 token见 tokenizer.json可直接喂入图片和视频片段。 思考模式可开关在模型 ID 后追加:think/:no-think即可控制是否启用思考通道对应聊天模板中enable_thinking的行为见 chat_template.jinja。OptiQ 混合精度量化聪明地给模型瘦身传统量化要么全 4-bit省空间但精度有损要么全 8-bit精度好但体积翻倍。OptiQ 的思路是先测量每一层的敏感度再逐层决定给 4-bit 还是 8-bit——该省的省该保的保。量化结果记录在 optiq_metadata.jsonmethod: optiq_mixed_precision, achieved_bpw: 4.993893567050467, n_high_bits: 94, // 94 组 8-bit n_low_bits: 296 // 296 组 4-bit项目数值说明量化方法optiq_mixed_precision数据驱动的逐层位宽分配目标精度4.5 bit/权重实际达成约 4.99 bit8-bit 层94 组词表嵌入、lm_head、各层路由门控与专家 FFN4-bit 层296 组注意力投影、共享专家等相对不敏感的权重量化模式affinegroup_size 64每 64 个权重共享一组缩放参数从 config.json 可以看到词表嵌入embed_tokens与lm_head都被特意保留在 8-bit——这两个模块对输出质量影响最大是混合精度策略的典型保精度选择。注意力也做了混合精度KV Cache 量化模型 40 层中每 4 层有 1 层是全注意力层full_attention_interval: 4其余 30 层是线性注意力Mamba 式几乎不产生 KV 缓存压力。对 10 个全注意力层的 KV 缓存kv_config.json 给出了逐层的 4-bit / 8-bit 分配全注意力层371115192327313539KV bits4448844444这样既压低了长上下文缓存的内存占用又在第 15、19 层保留了更高精度——依然是敏感度优先的思路。仓库文件都装了什么文件 / 目录作用README.md模型说明与启动方式config.json架构 逐层量化配置optiq_metadata.jsonOptiQ 量化方案元数据kv_config.jsonKV Cache 逐层量化位宽model.safetensors.index.json权重分片索引共 7 片约 36.3 GBoptiq/optiq_vision.safetensors视觉编码器bfloat16 高精度侧车文件chat_template.jinja对话 / 工具调用 / 思考模板tokenizer.json / tokenizer_config.json词表与分词配置262K 上下文model-00001-of-00007.safetensors~model-00007-of-00007.safetensors七个分片按索引文件组织推理框架会按需读取。快速上手3 步在 Mac 上跑起来pip install mlx-optiq optiq serve --model mlx-community/XYZ-Aquila-mini-OptiQ-4bit就这两条命令完整说明见 README.md。optiq serve会自动拉取模型权重并校验 OptiQ 量化配置以流式方式把 MoE 专家放进出内存常驻约 4 GB启动本地服务与 Lab UI并提供 OptiQ Code agent。进阶玩法思考模式--model ...:think开启深度思考...:no-think关闭工具调用聊天模板内置了完整的 function calling 协议chat_template.jinja可以接上自己的工具库多模态在消息中直接附图片 / 视频路径即可视觉塔由 optiq/optiq_vision.safetensors 提供。常见问题 FAQQ1没有 64GB 大内存的 Mac 能跑吗可以。得益于 MoE 稀疏激活 专家流式加载常驻内存仅约 4 GB。Q2为什么叫4bit实际却不是全 4-bit4bit 是基线位宽OptiQ 会按敏感度把关键层提升到 8-bit最终平均约 5.0 bit在体积与质量间取得平衡。Q3它和普通量化模型的区别普通量化一刀切OptiQ 是逐层决策每一组权重的位宽都能追溯到 optiq_metadata.json 的per_layer字段。Q4视觉部分为什么单独放一个文件视觉编码器保持 bfloat16 精度不参与压缩以sidecar侧车形式挂载保证图文理解质量不损失。写在最后XYZ-Aquila-mini-OptiQ-4bit 展示了端侧大模型的一条务实路线稀疏 MoE 管算力混合精度管体积流式加载管内存——三招组合让 34B 多模态模型在 Apple Silicon 上真正跑得动、跑得起。如果你的 Mac 正在闲置不妨花 5 分钟把它跑起来试试。赞分享【免费下载链接】XYZ-Aquila-mini-OptiQ-4bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/XYZ-Aquila-mini-OptiQ-4bit点击查看免费下载相关推荐Hemmingway-1-OptiQ-4bit苹果芯片上的写作型本地大模型18GB装下27B的完整解析Hemmingway 1 OptiQ 4bit苹果芯片上的写作型本地大模型18GB装下27B的完整解析 Hemmingway 1 OptiQ 4bit 是一5分钟看懂Qwen3.8-27B-Quark-AWQ-MXFP44bit量化如何把27B多模态大模型装进AMD显卡5分钟看懂Qwen3.8 27B Quark AWQ MXFP44bit量化如何把27B多模态大模型装进AMD显卡 Qwen3.8 27B Quark AWQ大模型模型量化多模态本地部署拆解Hemmingway-1-OptiQ-4bit混合精度量化为什么219层留8bit、279层压4bit拆解Hemmingway 1 OptiQ 4bit混合精度量化为什么219层留8bit、279层压4bit Hemmingway 1 OptiQ 4bit 是上一篇freqtrade 策略回调Strategy Callbacks全解析从下单价格到止损 ROI 的完整控制指南下一篇《Hello 算法》“本书について关于本书”全解析从动画图解到一键运行的开源算法教程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考