【免费下载链接】gemma-4-e2b-it-OptiQ-4bit-decision项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/gemma-4-e2b-it-OptiQ-4bit-decision点击查看免费下载本文带你逐字段读懂gemma-4-e2b-it-OptiQ-4bit-decision这个 Gemma-4 E2B 决策模型的全部配置文件config.json 的 4-bit 混合精度量化策略、joint_head 联合头参数、optiq_metadata.json 的位宽元数据以及 LoRA 适配器与 KV 缓存配置是 Apple Silicon 上运行该模型的完整配置指南。 模型是什么这个模型把 gemma-4-e2b-it-OptiQ-4bit 底座改造成了类型化决策模型Typed Decisions在骨干上加一层 LoRA并新增一个 joint schema 头一次前向同时回答 noul、choice、score 三类问题。运行环境Apple Silicon MLX OptiQoptiq serve对外暴露/v1/systemone接口磁盘体积约 5.4 GB4-bit 骨干 视觉 sidecar LoRA 适配器 决策头训练方式仅用基准测试自带的训练集1,080 条记录3 epochsLoRA rank 16实测表现400 个用例2,000 次决策上 Accuracy0.802、Brier0.039p50 延迟 0.99 sM3 Max更多评测明细见 README.md。 文件清单先看仓库里有什么文件作用config.json主模型配置架构、量化、文本/视觉/音频三塔参数model.safetensors语言主干权重4/8-bit 混合精度1096 个张量model.safetensors.index.json权重分片索引总计 4.63B 参数 / 约 4.0 GBoptiq/optiq_vision.safetensors视觉音频塔 sidecar1411 个张量bfloat16optiq_metadata.json混合精度量化的逐层位宽元数据adapters.safetensorsLoRA 适配器权重adapter_config.jsonLoRA 超参数rank 16 等joint_head.safetensors决策联合头权重joint_head_config.json决策联合头结构参数decision_config.json决策温度参数kv_config.jsonKV 缓存逐层量化位宽generation_config.json默认采样参数tokenizer.json / tokenizer_config.json分词器与特殊 tokenchat_template.jinjaGemma 4 官方对话模板⚙️ config.json 逐字段清单这是整个仓库信息量最大的文件2400 行可按四块理解1️⃣ 顶层标识字段值含义architecturesGemma4ForConditionalGeneration条件生成架构多模态model_typegemma4模型家族dtypebfloat16默认计算精度tie_word_embeddingstrue输入/输出词表共享权重省显存transformers_version5.5.0.dev0打包时的 transformers 版本2️⃣ 多模态特殊 tokenconfig.json字段ID说明boi_token_id255999图像开始image_token_id258880图像占位audio_token_id258881音频占位eoi_token_id258882图像结束eoa_token_id258883音频结束video_token_id258884视频占位vision_soft_tokens_per_image280每张图映射成 280 个软 token3️⃣ quantization混合精度量化核心config.json 中quantization定义了默认规则默认位宽bits: 4group_size: 64mode: affine仿射分组量化每 64 个元素共享一组 scale/zero-point逐张量覆盖文件随后用上千行 JSON 为每个投影矩阵单独指定 4-bit 或 8-bit例如embed_tokens保持 8-bit、第 0 层全部投影 8-bit、第 1 层起 MLP 降为 4-bit。这一份覆盖清单与 optiq_metadata.json 的per_layer严格对应4️⃣ 三塔结构参数配置块关键参数解读text_confighidden_size1536、35 层、8 注意力头GQAKV 头仅 1、head_dim 256、intermediate_size 6144、上下文131072、词表 262144语言主干每 5 层插入一次full_attention其余为 512 窗口的sliding_attention长文本下大幅省 KV 显存vision_confighidden 768、16 层、patch_size 16、12 头视觉塔权重放在 sidecar 文件audio_confighidden 1024、12 层、8 头、silu 激活、conv_kernel 5音频塔同样在 sidecar 文件optiq_vision块config.json声明了 sidecar 的位置sidecar: optiq/optiq_vision.safetensors共 1411 个张量来自 bf16 底座用于在 4-bit 主干上保留视觉/音频的高精度。 joint_head决策联合头怎么配置joint_head_config.json 只有 6 个字段却定义了模型最核心的决策大脑字段值含义hidden_size1536与语言主干 hidden_size 对齐直接接收主干输出width512头内部的工作宽度routing_layers2用于把 noul / choice / score 三类问题路由到不同打分通道的层数layers4头的总层数heads8内部注意力头数feedforward2048前馈子层宽度权重存放在 joint_head.safetensors。这个头让模型无需生成自然语言文本而是一次前向直接输出三类问题的结构化答案这也是它 p50 延迟只有 0.99 s 的关键。配套的 decision_config.json 提供三组温度[1.071, 0.983, 1.026]分别校准三类问题各自的概率温度用于让输出置信度更接近真实概率直接影响 Brier 与 KL 指标。 optiq_metadata.json 逐字段清单这份文件记录 OptiQ 混合精度量化的完整配方字段不多但全是干货字段值含义methodoptiq_mixed_precision量化方法OptiQ 混合精度base_modelgoogle/gemma-4-e2b-it量化前的官方底座referencebf16以 bf16 为参考精度评估误差target_bpw5.0目标平均位宽bits per weightachieved_bpw5.258实际平均位宽略超目标是精度优先的代价n_high_bits134被提升为 8-bit 的敏感张量数n_low_bits142保持 4-bit 的张量数threshold0.0位宽分配阈值per_layer逐层映射每个投影矩阵的bitsgroup_size例如第 0 层全部 8-bit、第 34 层全部 8-bit、中间多数 MLP 4-bit规律很清晰越靠近首尾的层第 0 层与第 34 层越敏感全部保留 8-bit中间层的q_proj、k_proj等注意力投影多为 8-bitMLP 的gate/up/down_proj大量 4-bit。 其余配置文件速览adapter_config.jsonfine_tune_type: lora、decision_model: true、num_layers: 35LoRA 参数rank: 16、scale: 1.0、dropout: 0.0注入键覆盖q/k/v/o_proj、MLP 三个投影及linear_attn投影kv_config.jsonKV 缓存的逐层量化表layer_idx0–14bits4 或 8group_size: 64长上下文推理时进一步压缩缓存显存generation_config.json默认temperature: 1.0、top_k: 64、top_p: 0.95、do_sample: trueeos_token_id为[1, 106, 50]三个候选tokenizer_config.json处理器为Gemma4Processor左填充padding_side: left内置response_schema定义了工具调用解析规则call:(?Pname\w)...正则支持 thinking、tool_calls 结构化输出chat_template.jinjaGoogle 官方 Gemma 4 对话模板处理多轮闭合、工具调用循环与 thinking 内容顺序 快速上手pip install -U mlx-optiq optiq serve --model mlx-community/gemma-4-e2b-it-OptiQ-4bit-decision如果需要在其他目录本地克隆该仓库做实验git clone https://link.gitcode.com/i/a1c9c83a3495af5b03284f157e230c82 小结这个仓库的配置设计有三个值得学习的点混合精度而非一刀切默认 4-bit 敏感张量提升 8-bit实测 5.258 bpw 换来了接近全精度骨干的决策精度sidecar 分离多模态塔4-bit 语言主干与 bf16 视觉/音频塔分文件存放用optiq_vision字段声明装配关系决策头替代文本生成joint head 一次前向输出类型化决策配合三路温度校准把延迟压到 1 秒以内读懂上面的清单后你就可以自由校验任意一份 OptiQ 4-bit 决策模型的完整性——只要quantization、per_layer与kv_config三者位宽一致模型就是健康的。赞分享【免费下载链接】gemma-4-e2b-it-OptiQ-4bit-decision项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/gemma-4-e2b-it-OptiQ-4bit-decision点击查看免费下载相关推荐ClawGUI配置参考config.json全字段说明与最佳实践ClawGUI配置参考config.json全字段说明与最佳实践 ClawGUI 是一个「构建、评测、部署 GUI Agent」一体化的开源框架其中 ClaPhi-4-mini NPU部署配置参考config.json 与 genai_config.json 逐项拆解指南Phi 4 mini NPU部署配置参考config.json 与 genai_config.json 逐项拆解指南 Phi 4 mini instru如何选对Gemma 4模型gemma-skills入门选型完整清单从E2B到31B全覆盖如何选对Gemma 4模型gemma skills入门选型完整清单从E2B到31B全覆盖 gemma skills 是 Google 开源的 Gemma创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考