深入解析Kimi-K2.5-Eagle3-FP8Eagle3 MTP单层草稿模型架构与fcmidlayer设计原理【免费下载链接】Kimi-K2.5-Eagle3-FP8项目地址: https://ai.gitcode.com/hf_mirrors/amd/Kimi-K2.5-Eagle3-FP8Kimi-K2.5-Eagle3-FP8 是一个由 AMD 基于 Quark 工具链量化发布的Eagle3 MTP 单层草稿模型draft model专门用于配合 Kimi-K2.5 主模型做投机解码Speculative Decoding推理加速。它最引人注目的设计是仅用1 层 Transformermidlayer fc 特征连接层就实现了最高2.00 倍的吞吐加速并把 fp8 量化精确地限定在 midlayer 的注意力与 MLP 投影上fc与lm_head则刻意保持 BF16 精度。这篇文章将带你从零看懂它的架构原理、量化取舍与部署要点。什么是 Eagle3 MTP 草稿模型先理解投机解码大模型逐 token 生成时每一步都要把整条序列跑一遍主模型成本极高。投机解码的思路是先用一个小而快的草稿模型draft model一次性预测未来多个 token再由主模型验收通过则整批采纳。这样既保证了输出质量又大幅减少了主模型的调用次数。Eagle3 正是为 Kimi-K2.5 量身定制的草稿模型采用 DeepSeek 提出的MTPMulti-Token Prediction多 token 预测思路草稿模型直接复用目标模型Kimi-K2.5的隐藏状态而不是从零开始计算整条序列因此开销极小。本仓库config.json中的architectures: [LlamaForCausalLMEagle3]即标明其 Eagle3 架构身份而num_hidden_layers: 1则直白地宣告整个草稿模型只有一层 Transformer。Eagle3 MTP 架构核心fc midlayer 单层设计原理打开 model.safetensors.index.json 的权重清单整个模型的参数一览无余只有 5 个模块模块作用精度embed_tokens.weight共享词表嵌入163840 词BF16fc.weight特征连接层把主模型隐藏状态映射进草稿模型空间BF16不量化midlayer.*唯一的单层 Transformer注意力 MLP 两层 LayerNormFP8 量化norm.weight输出归一化BF16lm_head.weight输出词表概率BF16不量化fc主模型与草稿模型之间的翻译官投机解码中草稿模型需要读取目标模型如 Kimi-K2.5每层的隐藏状态。但主模型的隐藏维度与草稿模型输入维度往往不一致fcfully connected层就承担了这个特征对齐职责将主模型最后输出的隐藏状态线性投影到草稿模型可用的特征空间。没有这层翻译草稿模型就无法高效复用主模型的语义信息也就谈不上 MTP 加速。midlayer真正的大脑只有一层midlayer是 Eagle3 草稿模型中唯一的 Transformer 层结构完全对标标准 Decoder Layer包含midlayer.input_layernorm/midlayer.post_attention_layernorm两层 RMSNorm 归一化midlayer.self_attn.{q,k,v,o}_proj64 头、head_dim128 的多头自注意力投影midlayer.mlp.{gate,up,down}_projSwiGLU 门控 MLPhidden_size7168intermediate_size12288为什么 1 层就够用因为草稿模型不需要自己理解语义它只是基于主模型已经算好的隐藏状态预测下一个 token 大概是什么。主模型负责深度理解草稿模型只负责快速猜测二者各司其职。单层结构让它的前向计算极轻量这正是它能成为加速器的根本原因。所有关键超参都可以在 config.json 中查到hidden_size 7168、64 头、最大序列长度 262144。一次完整的草稿预测流程主模型Kimi-K2.5计算出当前 token 的隐藏状态fc层将该状态映射到草稿模型特征空间midlayer单层 Transformer 快速加工特征norm归一化后由lm_head输出候选 token 概率分布一次预测多个 token默认num_speculative_tokens6交由主模型统一验收。FP8 量化的精确取舍为什么 fc 和 lm_head 不量化本模型由AMD Quarkv0.12从 BF16 版lightseekorg/kimi-k2.5-eagle3逐文件量化而来file-to-file无需校准数据集。量化策略的精妙之处在于分层取舍权重量化FP8 E4M3静态static、per-channel、对称量化层仅为midlayer.self_attn.{q,k,v,o}_proj和midlayer.mlp.{gate,up,down}_proj激活量化FP8 E4M3动态dynamic、per-channel、对称刻意豁免fc与lm_head保持 BF16不参与量化。为什么这样设计fc层承接主模型的高精度隐藏状态是特征对齐的第一道关口lm_head直接决定候选 token 的排名质量两者都是预测准确率的敏感点。量化它们会引入误差、拉低草稿接受率反而拖累整体吞吐。而midlayer内的投影矩阵参数量最大、量化收益最高是 fp8 量化的最佳落点。完整的量化参数记录在 config.json 的quantization_config中exclude: [re:.*fc.*, re:.*lm_head.*]就是这份豁免名单的明文证据。实测性能FP8 草稿模型最高提速 2.00 倍根据 README.md 中的基准测试单节点 AMD Instinct MI355XTP4ISL/OSL1K/1KFP8 版 Eagle3 草稿模型在所有并发度下都持平或超越 BF16 草稿模型并发数无投机 (tok/s/GPU)BF16 草稿 (倍速)FP8 草稿 (倍速)482.7157.0 (1.90x)165.2 (2.00x)8142.2269.1 (1.89x)270.1 (1.90x)16220.5399.6 (1.81x)412.7 (1.87x)32342.2627.6 (1.83x)633.8 (1.85x)64533.3901.6 (1.69x)936.6 (1.76x)可以看到低并发下 FP8 草稿模型相对无投机基线最多带来2.00 倍的吞吐提升高并发下依然保持约 1.76 倍。FP8 量化让草稿模型占用更少显存、计算更快同时不牺牲预测质量性价比非常突出。快速上手vLLM 部署配置要点想复现这套加速方案需要三件套目标模型amd/Kimi-K2.5-MXFP4、BF16 版草稿模型以及本 FP8 版草稿模型。源码可以通过以下命令获取git clone https://gitcode.com/hf_mirrors/amd/Kimi-K2.5-Eagle3-FP8部署时的关键配置项详见 README.md 的 Serving 示例投机解码配置通过--speculative-config指定草稿模型与算法{model:amd/Kimi-K2.5-Eagle3-FP8,method:eagle3,num_speculative_tokens:6,draft_tensor_parallel_size:1}注意 exclude 正则格式Quark 导出的config.json若把exclude记录成普通字符串[fc, lm_head]vLLM 无法识别需改为正则形式[re:.*fc.*, re:.*lm_head.*]本仓库的 config.json 已使用正确格式运行环境建议 AMD Instinct MI355X ROCm 7.0.0 vLLM ROCm 版FP8 草稿路径会走 vLLM 的RowWiseTorchFP8ScaledMMLinearKernel即torch._scaled_mm执行行式缩放 FP8 GEMM。总结Kimi-K2.5-Eagle3-FP8 用事实证明了小而精的价值fc midlayer 的单层草稿架构把计算量压缩到极致fp8 量化把显存与带宽成本降到最低而fc 与 lm_head 不量化的精确取舍保住了预测准确率最终换来最高 2 倍的推理加速。对想深入了解 Eagle3 MTP 实现细节的读者modeling_kimi_k25.py 与 modeling_deepseek.py 中保留了完整的注意力与 MLP 前向逻辑configuration_kimi_k25.py 则定义了配套的配置类配合 README.md 中的量化与基准测试说明可以拼出这幅加速方案的全貌。【免费下载链接】Kimi-K2.5-Eagle3-FP8项目地址: https://ai.gitcode.com/hf_mirrors/amd/Kimi-K2.5-Eagle3-FP8创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考