授权与合规声明本文为技术经验分享所有示例均运行于作者自建的隔离测试环境不涉及任何未授权系统。文中数据如未标注来源均来自公开文档或作者实测引用请注明出处涉及版本与命令请以官方最新文档为准文中示例仅供学习参考。第1章 什么是投机解码从一个反直觉的现象说起1.1 自回归生成的天然瓶颈大模型生成文本时默认是自回归的每输出一个 token都要把前面所有内容重新送进模型跑一次前向再预测下一个 token。这个过程天然是串行的——你永远得等上一个 token 算完才能算下一个。请求越长、模型越大这种一次只迈一步的节奏就越明显吞吐也容易被卡住。1.2 投机解码在解决什么投机解码Speculative Decoding的思路很巧妙与其让大模型每一步都慢工出细活不如先让一个小模型快速猜一串再由大模型一次性验证这串猜测对不对。猜得准就整段采纳猜错也只退回到第一个分歧点。名字里的投机就是指小模型在投机地预判大模型的下一步。第2章 核心原理草稿模型猜、目标模型验2.1 草稿模型并行猜出若干 token我们准备一个比目标模型大模型小得多的草稿模型draft model。给定当前上下文草稿模型连续采样出若干个 token比如一次猜出后续 4 个。因为草稿模型参数量小、单次前向极快猜这一串的耗时远低于大模型逐个生成。2.2 目标模型一次性并行校验把原上下文 草稿串一起交给目标模型做一次前向。目标模型会同时给出对这整段草稿的下一个 token 概率分布。也就是说原本要分 4 步串行完成的事现在合并成了 1 次并行校验。2.3 命中采纳、回退到第一个分歧点校验时按一个形式化的接受准则从左到右逐个比对草稿 token 与目标模型的分布命中草稿 token 落在目标模型的可接受范围内直接采纳分歧某位置出现分歧则只采纳分歧点之前的全部命中 token并在分歧点用目标模型的真实分布采样一个 token 接管未命中段落分歧点之后的草稿全部丢弃不浪费。关键点在于回退只退到第一个分歧点前面猜对的部分一个都不浪费。# ⚠️ 代码待验证投机解码接受准则的示意算法非可执行命令仅表达逻辑defspeculative_accept(draft_tokens,target_probs):accepted[]foridx,tokeninenumerate(draft_tokens):ptarget_probs[idx][token]ifrandom_uniform()p/draft_probs[idx][token]:accepted.append(token)# 命中采纳else:accepted.append(sample(target_probs[idx]))# 分歧点接管break# 仅回退到第一个分歧点returnaccepted第3章 为什么能加速且质量无损3.1 串行解码变成并行验证普通自回归每生成一个 token 都要跑一次大模型前向投机解码把生成 N 个 token压缩成一次前向 一次小模型前向。只要草稿命中率足够高原本需要 N 步的活儿现在一两步就搞定步数显著下降端到端延迟和吞吐都会看到明显改善。具体提速幅度取决于命中率本文不给出固定倍数仅作定性描述。3.2 形式化的接受准则保证分布不变这是投机解码最容易被误解的地方它不会让输出偏离大模型的分布。接受准则在数学上是精心设计的——被采纳的 token 与分歧点接管的 token组合起来在统计意义上与目标模型的自回归分布保持一致。换句话说加速是免费的质量是无损的只是换了一种更高效的采样顺序。维度普通自回归投机解码解码节奏串行一步一前向草稿并行猜一次前向验多步步数与输出 token 数线性相关命中率高时显著减少输出分布目标模型分布与目标模型分布一致无损额外成本无引入草稿模型前向开销第4章 草稿模型怎么选4.1 同族更小模型最常见的做法是选与目标模型同族的更小版本。例如用同系列的 7B 模型给 70B 模型当草稿权重分布接近、行为相似命中率往往更理想。这种组合通常无需额外训练开箱即用成本最低。4.2 训练专用草稿模型在追求极致命中率的场景下也可以训练一个专用草稿模型针对性地贴合目标模型的输出习惯。代价是需要额外的训练与维护适合长期、大规模、分布稳定的生产负载。4.3 命中率决定收益上限草稿模型与目标模型分布越接近命中率越高加速越明显反之如果两者分布差异大大量草稿会在第一个分歧点就被丢弃不仅没省下步数还白白多付了草稿前向的开销。命中率是整个方案收益的天花板。草稿模型来源上手成本命中率潜力适用阶段同族小模型低几乎免训练中到高快速验证、通用场景训练专用草稿高需训练维护高稳定生产、极致优化无关小模型低低易负收益不推荐第5章 主流框架怎么开启示意以下代码片段仅作结构示意参数名与默认值请以官方文档为准未实际运行使用时请对照你所处环境的版本核查。5.1 vLLMvLLM 通过启动参数指定草稿模型与草稿长度逻辑上等价于目标模型 草稿模型成对加载。# ⚠️ 代码待验证vLLM 投机解码启动参数示意参数名以官方文档为准python-mvllm.entrypoints.openai.api_server\--modeltarget_model_name\--speculative-model draft_model_name\--num-speculative-tokens45.2 llama.cppllama.cpp 在推理命令中通过草稿相关参数开启思路同样是先加载草稿再设定每轮草稿数量。# ⚠️ 代码待验证llama.cpp 投机解码参数示意参数名以官方文档为准./llama-server\--modeltarget_model_path\--draft-model draft_model_path\--draft45.3 TGIText Generation InferenceTGI 通过环境变量或启动参数启用投机解码核心字段仍是草稿模型标识与草稿 token 数。# ⚠️ 代码待验证TGI 投机解码环境变量示意以官方文档为准 MODEL_IDtarget_model_name SPECULATIVE_MODEL_IDdraft_model_name NUM_SPECULATIVE_TOKENS4框架草稿模型参数示意草稿长度参数示意vLLMspeculative_modelnum_speculative_tokensllama.cppdraft_modeldraftTGIspeculative_model_idnum_speculative_tokens这份资料是什么把第 5 章三家框架的投机解码参数整理成一张可对照的速查卡方便你上线前逐项核对开关。放在资料包里扫码即可获取第6章 适用场景与失效边界6.1 收益大的场景高吞吐离线生成批量、长文本场景下步数下降带来的收益会被放大草稿命中率高的任务如格式稳定的代码补全、模板化摘要草稿容易猜得准目标模型大而草稿模型小两者前向成本差越大草稿开销越可忽略。6.2 收益小甚至负收益的场景随机性高、分布发散每次输出差异大草稿频繁在第一个分歧点被丢弃草稿与目标分布差异大例如草稿模型与目标模型并非同族命中率上不去极短输出生成 token 很少时节省的步数有限草稿开销反而拖后腿。场景特征收益预期长文本、高吞吐、命中率高通常可观测到显著提速格式稳定、模板化任务收益较大高随机、分布发散收益小可能负收益极短输出收益有限第7章 落地建议与常见误区7.1 上线前该验证什么先测命中率在真实业务样本上统计草稿采纳比例这是收益的直接先行指标对照基线用相同负载对比开/关投机解码的延迟与吞吐确认是正向收益而非负优化核对质量用固定输入比对输出分布确认无损特性在你的数据上成立查官方文档参数名与默认值随版本变化截至 2026-10-30主流推理框架已普遍支持投机解码但具体开关请以你所用版本为准。7.2 常见误区误以为草稿模型越强越好草稿模型过大自身前向变慢反而抵消收益误以为一定提速在命中率低的任务上可能不升反降误以为会改变输出质量在正确实现下输出分布与目标模型一致质量无损。误区正确认知草稿越大越强越好草稿需小而快前向开销要可忽略投机解码必然提速收益取决于命中率可能负收益会偏离大模型分布形式化准则下输出分布一致无损这份资料是什么把第 7 章的落地检查清单与误区对照整理成一份上线前自查表照着勾一遍能少踩很多坑。放在资料包里扫码即可获取附表 A本文引用事实与出处对照表编号事实出处本文位置1投机解码由公开研究提出核心是用小模型草稿 大模型并行校验公开技术文献具体论文标题/年份待验证第2章2在形式化接受准则下输出分布与目标模型自回归分布一致质量无损公开技术文献结论精确表述待验证第3章3vLLM、llama.cpp、TGI 等推理框架支持投机解码参数名随版本变化各框架官方文档参数名以官方为准第5章4草稿模型与目标模型分布越接近命中率越高、加速越明显公开文献与社区实践经验具体数字待验证第4章5加速收益取决于草稿命中率无固定倍数低命中率场景可能负收益定性结论benchmark 数字待验证第6章附表 B术语速查表术语一句话解释投机解码 / Speculative Decoding小模型先猜、大模型并行验以此减少大模型前向步数的推理加速方法草稿模型 / draft model体积小、速度快、用来并行猜后续 token 的辅助模型目标模型 / target model真正决定输出质量的大模型负责一次性并行校验草稿接受准则 / acceptance criterion决定每个草稿 token 是否被采纳的形式化规则保证分布无损命中率 / acceptance rate草稿 token 被大模型采纳的比例直接决定加速收益分歧点 / divergence point草稿与目标模型首次不一致的位置回退只退到这里写在最后这篇用到的资料写这篇文章时围绕主题整理了一些配套内容顺手也放在资料包里全套 AGI 大模型学习路线覆盖大模型应用 / 面试 / 前端 / 后端的能力图谱与学习顺序。Claude Skills 全指南知识库截图把常用 Skills 的玩法整理成了可检索的知识库。LangGraph MCP 智能体实战视频目录网盘截图从 0 到 1 跑通一个智能体的完整录像。资料是我自己整理的放在下面这个码上扫码即可获取资料较多建议先看「全套 AGI 大模型学习路线」再挑一个实战项目跟练。