DFlash草稿模型与主模型搭配表20组合一次看全【免费下载链接】dflashDFlash: Block Diffusion for Flash Speculative Decoding项目地址: https://gitcode.com/GitHub_Trending/df/dflashDFlash 是一款专为**推测解码Speculative Decoding**设计的轻量级块扩散Block Diffusion草稿模型它与主模型配对后可以显著加速大语言模型的生成速度。本文一次整理DFlash 草稿模型与主模型的 20 组官方搭配清单并附上选择建议和 4 种后端的使用方式帮你快速找到适合自己模型的那一对。DFlash 是什么为什么需要草稿模型 主模型一句话理解主模型负责写得对草稿模型负责猜得快。⚡ 大模型逐字生成很慢。DFlash 的思路是让一个更小的草稿模型并行猜测接下来的一整块Block内容再由主模型一次性验证猜对的直接采纳猜错的回退重算。这样既保留了主模型的输出质量又大幅提升了生成速度。几个关键概念看懂即可术语通俗解释主模型Target你平时使用的完整大模型如 Qwen3.5-27B草稿模型DraftDFlash 官方为每个主模型训练好的配套小模型命名带-DFlash后缀块扩散Block Diffusion草稿模型并行生成一整块 token而非逐字生成投机长度每次猜测的 token 数量常见配置为 15~16 核心原则草稿模型必须与主模型严格配对使用不能随意混搭。比如Qwen3.5-27B主模型就要搭配Qwen3.5-27B-DFlash草稿模型。DFlash 草稿模型与主模型完整搭配表20 组合以下为官方支持的完整搭配清单数据来源README.md 的 Supported Models 章节共20 个可用组合 3 个即将上线。1️⃣ Qwen 系列10 组覆盖最全主模型DFlash 草稿模型备注Qwen3.6-27Bz-lab/Qwen3.6-27B-DFlashQwen3.6-35B-A3Bz-lab/Qwen3.6-35B-A3B-DFlashMoE 架构Qwen3.5-4Bz-lab/Qwen3.5-4B-DFlash小显存友好Qwen3.5-9Bz-lab/Qwen3.5-9B-DFlashQwen3.5-27Bz-lab/Qwen3.5-27B-DFlashQwen3.5-35B-A3Bz-lab/Qwen3.5-35B-A3B-DFlashMoE 架构Qwen3.5-122B-A10Bz-lab/Qwen3.5-122B-A10B-DFlash大参数 MoEQwen3-Coder-Nextz-lab/Qwen3-Coder-Next-DFlash代码模型Qwen3-4B非思考模式z-lab/Qwen3-4B-DFlash-b16b16 表示块大小 16Qwen3-8B非思考模式z-lab/Qwen3-8B-DFlash-b16b16 表示块大小 16Qwen3-Coder-30B-A3Bz-lab/Qwen3-Coder-30B-A3B-DFlash代码 MoE2️⃣ Gemma 系列2 组主模型DFlash 草稿模型备注gemma-4-31B-itz-lab/gemma-4-31B-it-DFlashvLLM 需专用构建gemma-4-26B-A4B-itz-lab/gemma-4-26B-A4B-it-DFlash官方 Docker 快速启动示例3️⃣ MiniMax 系列2 组主模型DFlash 草稿模型备注MiniMax-M2.7z-lab/MiniMax-M2.7-DFlashPreviewMiniMax-M2.5z-lab/MiniMax-M2.5-DFlashPreview4️⃣ Kimi 系列2 组主模型DFlash 草稿模型备注Kimi-K2.6z-lab/Kimi-K2.6-DFlashPreviewKimi-K2.5z-lab/Kimi-K2.5-DFlash5️⃣ 其他开源模型4 组主模型DFlash 草稿模型备注gpt-oss-20bz-lab/gpt-oss-20b-DFlashgpt-oss-120bz-lab/gpt-oss-120b-DFlash大参数版Llama-3.1-8B-Instructz-lab/LLaMA3.1-8B-Instruct-DFlash-UltraChat仅 Transformers 后端支持 即将上线Coming Soon主模型状态DeepSeek-V4-Flash预告中DeepSeek-V4-Pro预告中GLM-5.1预告中官方表示如果找不到你的模型可以提交 Issue 请求支持训练配方也将开源届时你可以为自己的模型训练专属 DFlash 草稿模型。如何挑选合适的主模型 草稿模型组合给新手的 3 条选择建议① 显存够不够先定主模型草稿模型本身很小主要看主模型单卡显存有限优先Qwen3.5-4B/Qwen3.5-9B有 24G 显存可上Qwen3.5-27B多卡部署再考虑Qwen3.5-122B-A10B这类 MoE 大模型。② 场景决定系列 写代码Qwen3-Coder-Next或Qwen3-Coder-30B-A3B 通用对话/推理Qwen3.6或Qwen3.5系列 MacApple Silicon本地跑Qwen3.5-4B、gemma-4-31B-it均有 MLX 实测支持③ 注意版本细节带b16后缀的草稿模型块大小为 16Qwen3-4B/8B仅支持非思考模式non-thinking带 Preview 标记的MiniMax、Kimi-K2.6属于预览版生产环境请留意稳定性。四种后端快速上手vLLM / SGLang / Transformers / MLXDFlash 提供 4 种推理后端安装配置见 pyproject.toml后端适用场景特点vLLMv0.20.1生产级服务部署核心 DFlash 支持已内置Gemma4 需用官方 Docker 镜像SGLang高吞吐服务通过--speculative-algorithm DFLASH启用Transformers快速验证/研究仅支持 Qwen3 与 LLaMA-3.1 系列MLXMac Apple Silicon官方已提供简单高效实现实测 M5 Pro Qwen3/Qwen3.5/Gemma-4以最常用的 vLLM 为例核心就是给主模型加一段投机配置草稿模型名 投机 token 数示例取 15。完整启动命令可直接参考 README.md 的 Quick Start 章节。 想验证加速效果项目内置基准测试脚本支持 gsm8k、math500、humaneval、mbpp、mt-bench 等数据集覆盖上述 4 种后端详见 dflash/benchmark.py。相关文件指引想深入 DFlash 源码核心文件不多按路径查即可 官方文档与支持列表README.md 草稿模型核心实现块扩散 推测生成dflash/model.py MLX 版草稿模型与流式生成dflash/model_mlx.py 四后端基准测试dflash/benchmark.py 依赖与安装配置pyproject.toml小结DFlash 的价值就在于**开箱即用的加速**从搭配表中找到你的主模型配上对应-DFlash草稿模型选一个熟悉的后端启动就能让生成速度明显起飞。建议新手从Qwen3.5系列入手组合最成熟、示例最齐全。【免费下载链接】dflashDFlash: Block Diffusion for Flash Speculative Decoding项目地址: https://gitcode.com/GitHub_Trending/df/dflash创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考