【免费下载链接】LFM2.5-24B-A2B-Preview-mxfp4项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/LFM2.5-24B-A2B-Preview-mxfp4点击查看免费下载LFM2.5-24B-A2B-Preview-mxfp4是 Liquid AI 出品的 LFM2.5-24B-A2B-Preview 混合专家MoE文本生成模型在 AppleMLX平台上的 mxfp4 量化版本。本文作为完整配置参考对 config.json 与 generation_config.json 中的每个字段逐项说明帮助你快速读懂这份 MLX 模型配置、正确加载并调优生成参数。 模型速览24B 总参数只有约 2B 激活在逐项讲解之前先建立整体认知项目说明模型类型MoE混合专家因果语言模型架构为Lfm2MoeForCausalLM参数量总参数约 24B每 token 只激活约 2BA2B 即 Active 2B量化格式mxfp44-bit 权重量化group size 32权重体积共约12.74 GB拆分为 3 个 safetensors 分片上下文长度131,072 tokens128K 长上下文多语言支持英文、中文、阿拉伯文、法文、德文、日文、韩文、西班牙文、葡萄牙文、意大利文许可LFM Open License v1.0见 LICENSE 与 NOTICE仓库文件构成如下均可在仓库根目录直接查看文件作用config.json模型结构与默认生成配置本文主角之一generation_config.json独立生成的默认参数本文主角之二conversion_info.json量化转换记录源模型、工具版本、验证结果model.safetensors.index.json权重分片索引映射每个张量到具体分片model-00001-of-00003.safetensors 等 3 个分片mxfp4 量化权重tokenizer.json / tokenizer_config.json分词器词表 128000chat_template.jinja对话模板支持 system 提示与工具调用️ config.json 逐项说明模型架构部分1️⃣ 身份与类型标识字段值说明architectures[Lfm2MoeForCausalLM]加载时使用的模型类名表明这是 MoE 因果语言模型model_typelfm2_moe模型族标识加载器据此选择对应实现transformers_version5.12.1导出时使用的 Transformers 版本仅供参考2️⃣ MoE 专家路由核心参数这是理解 LFM2.5 高效的关键——每层内部藏着一组专家路由器每个 token 只挑选其中几个来工作字段值说明num_experts64每个 MoE 层共 64 个专家num_experts_per_tok4每个 token 激活 top-4 个专家是2B 激活的来源moe_intermediate_size1536单个专家的 FFN 中间维度num_dense_layers2第 0、1 层为稠密 FFN无专家路由其余 38 层均为 MoE 层use_expert_biastrue启用专家负载均衡偏置expert bias防止个别专家被刷爆norm_topk_probtrue对选中的 top-k 专家权重做归一化保证输出稳定routed_scaling_factor1.0专家输出前的路由缩放系数1.0 表示不缩放intermediate_size11776稠密层前 2 层的 FFN 中间维度3️⃣ 层结构与注意力机制LFM2.5 采用卷积层conv为主、注意力层full_attention为辅的混合架构这是它长上下文高效的重要设计字段值说明num_hidden_layers40共 40 层layer_types40 项序列每 4 层出现 1 个full_attention第 2、6、10…38 层共 10 个其余 30 层为convconv_L_cache3卷积层的缓存长度控制推理时的状态大小conv_biasfalse卷积不使用偏置项hidden_size2048隐藏层维度num_attention_heads32查询头数num_key_value_heads8KV 头数采用 GQA分组查询注意力显著节省 KV 缓存max_position_embeddings131072最大上下文 128K tokensrope_parametersrope_theta1e7,rope_typedefault默认 RoPE 位置编码基频 1000 万适配长上下文initializer_range0.02权重初始化标准差norm_eps1e-05归一化层 epsilon小贴士layer_types中的conv层用局部卷积替代全局注意力长文本时计算量远低于全注意力层这也是 128K 上下文能在消费级硬件上跑起来的关键。4️⃣ 词表与特殊 Token字段值说明vocab_size128000词表大小bos_token_id124894句首begin of sequencetokeneos_token_id[124900]句末 token生成到它即停止pad_token_id124893填充 tokentie_word_embeddingstrue输入嵌入与输出层共享权重节省约 2048×128000 个参数dtypebfloat16未被量化的浮点权重如归一化层、嵌入保留为 BF165️⃣ 量化配置解读mxfp4 策略quantization与quantization_config两者内容一致描述了权重量化策略这是理解 -mxfp4 后缀的核心quantization_config: { group_size: 32, bits: 4, mode: mxfp4, language_model.model.layers.2.feed_forward.gate: { group_size: 64, bits: 8 } // …第 2 至 39 层的 feed_forward.gate 均如此 }字段值说明modemxfp4Microscaling FP4 格式4-bit 权重 每 32 个权重一个缩放因子bits4主体权重 4-bit 量化仅量化权重激活仍用全精度group_size32每 32 个权重共享一个缩放因子精度与压缩率平衡逐层覆盖项第 2–39 层feed_forward.gateMoE 路由器投影单独使用 8-bit 仿射量化group size 64因为路由器对精度敏感4-bit 会损害路由质量完整量化记录含转换工具、RTN 方法、硬件为 Apple M3 Ultra、严格重载校验等见 conversion_info.json。6️⃣ 其他字段字段值说明use_cachetrue默认启用 KV/卷积缓存加速解码do_sample/temperature/top_ktrue/0.1/50顶层默认采样参数与generation_config内嵌块及独立文件保持一致generation_config内嵌对象模型配置中内嵌的生成默认值与 generation_config.json 相同vision_config{}空对象占位本模型为纯文本生成模型⚙️ generation_config.json 逐项说明生成参数默认值这个文件在推理时独立加载决定开箱即用时的生成行为字段值说明_from_model_configtrue标记该配置从模型配置中同步而来bos_token_id124894起始 tokeneos_token_id[124900]停止 tokenpad_token_id124893填充 tokendo_sampletrue启用采样非纯贪心解码temperature0.1温度极低 → 输出高度确定、保守稳定适合知识问答top_k50每步只在概率最高的 50 个 token 中采样进一步抑制幻觉repetition_penalty1.05轻微惩罚重复词减少啰嗦复读use_cachetrue启用缓存加速自回归解码output_attentionsfalse不返回注意力矩阵省内存output_hidden_statesfalse不返回隐状态transformers_version5.12.1版本标记参数调优建议默认配置偏向准确优先。写创意内容时可适当调高temperature如 0.7–0.9注意该模型会先输出推理过程再给出最终答案因此max-tokens建议预留充足如 1024 以上。 如何使用这份配置本模型需在 MLX-VLM 的 LFM2.5 支持版本上运行导出时实测 MLX 0.32.3、Transformers 5.17.0见 conversion_info.jsonpip install mlx-vlm python -m mlx_vlm generate \ --model LFM2.5-24B-A2B-Preview-mxfp4 \ --prompt What is the capital of France? Answer briefly. \ --max-tokens 512 \ --temperature 0.1建议直接使用仓库自带的 chat_template.jinja 组织对话支持 system 提示词与工具调用并配合 tokenizer.json 完成分词。❓ 常见问题问12.74 GB 权重显存/内存要留多少答权重约 12.74 GB加上 KV 缓存、卷积缓存和临时分配建议预留16–24 GB统一内存如 M 系列芯片 16GB 起步、24GB 更从容长上下文时缓存占用会明显增加。问为什么路由器权重要单独用 8-bit答MoE 路由器决定每个 token 交给哪些专家是模型能力的调度中枢。4-bit 精度下路由误差会被放大因此第 2–39 层feed_forward.gate单独保留 8-bit这是 mxfp4 版本在压缩率与路由稳定性之间的折中设计。问两个配置文件字段不一致怎么办答以generation_config.json为生成行为的独立默认值config.json内嵌的generation_config块与之一致_from_model_config标记同步来源实际推理时命令行参数优先级最高。✅ 小结config.json描述了40 层、64 专家 top-4 路由的 MoE 架构混合卷积/注意力设计 GQA 支撑 128K 长上下文mxfp4 量化主体 4-bitgroup 32路由器 8-bit 保护是精度关键generation_config.json默认temperature0.1、top_k50稳定保守按需可调全部原始依据config.json、generation_config.json、conversion_info.json、README.md赞分享【免费下载链接】LFM2.5-24B-A2B-Preview-mxfp4项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/LFM2.5-24B-A2B-Preview-mxfp4点击查看免费下载相关推荐Sphinx 远程 Logo 与 Favicon 配置实战从 test-remote-logo 测试夹具理解 html_logo / html_favicon 的 URL 支持Sphinx 远程 Logo 与 Favicon 配置实战从 test remote logo 测试夹具理解 html_logo / html_favicon如何读懂 LFM2.5-24B-A2B-Preview-5bitconfig.json、index.json 与量化字段逐项精解如何读懂 LFM2.5 24B A2B Preview 5bitconfig.json、index.json 与量化字段逐项精解 LFM2.5 24B A2BLFM2.5-24B-A2B-Preview-mxfp4 生态地图mlx-community 与 nativ-community 双渠道及 MLX-VLM 移植完整指南LFM2.5 24B A2B Preview mxfp4 生态地图mlx community 与 nativ community 双渠道及 MLX VLM 移上一篇WorkBuddy 安装与登录完整指南Windows / macOS 从下载到跑通第一个任务下一篇TscanCode实战指南构建企业级C/C/Lua代码安全防线创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考