【免费下载链接】gemma-4-31B-it-qat-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/gemma-4-31B-it-qat-GGUF点击查看免费下载本指南带你完成 gemma-4-31B-it-qat-GGUF 的多GPU部署与高级调优用 KV 缓存量化压缩 256K 长上下文的显存占用通过 MTP 推测解码并指定设备来加速生成一条命令即可跑通 Gemma 4 31B QAT 量化模型。 一句话总结这个仓库把 31B 主模型、MTP 推测解码 drafter 和视觉投影文件打包在一起配合 llama.cpp 即可实现「Q4 的显存、BF16 的精度」多卡环境还能进一步压榨吞吐。 仓库文件速览部署前先认识这些文件文件作用gemma-4-31B-it-qat-UD-Q4_K_XL.gguf主模型30.7B 参数的 QAT 量化版Unsloth Dynamic Q4_K_XLmtp-gemma-4-31B-it.ggufMTP 推测解码 draftersmart Q4_0几乎无损-hf可自动发现mmproj-BF16.gguf、mmproj-F16.gguf、mmproj-F32.gguf视觉投影文件启用图像理解能力MTP/README.md其他精度 drafter 文档Q4_0 / Q8_0 / BF16 / F16config.json模型结构配置60 层、256K 上下文、混合注意力README.md官方模型卡能力、基准与最佳实践⚙️ 环境准备构建支持 MTP 的 llama.cpp最快方法MTP 推测解码能力于2026-06-07合入 llama.cpp因此你必须使用该日期之后构建的版本旧版无法加载gemma4-assistant架构的 drafter。克隆 llama.cpp 官方仓库后按 GPU 架构编译即可# CUDA 构建89 RTX 409090 H100100 B200 cmake -B build -DGGML_CUDAON -DCMAKE_CUDA_ARCHITECTURES90 cmake --build build --config Release -j --target llama-server⚠️ 常见坑加载 drafter 报架构不识别基本都是 llama.cpp 版本太旧重新构建即可。⚡ 一键启动 MTP 推测解码-hf 自动发现 drafter新版 llama.cpp 会自动从仓库根目录发现mtp-开头的 drafter 文件无需手动传--model-draft./build/bin/llama-server \ -hf unsloth/gemma-4-31B-it-qat-GGUF:UD-Q4_K_XL \ --spec-type draft-mtp --spec-draft-n-max 4 \ -ngl 999 -fa on这个 drafter 是原生 4 位 QAT 量化版约 97% 的权重精确落在 int4 网格上相比高精度版本体积约为其一半而精度几乎无损。它共享主模型的 KV 缓存且主模型会对每个草稿 token 逐一验证因此不会改变最终输出。官方在 B200 上实测草稿接受率高达0.79加速非常可观。显式指定 drafter自选精度版本老版本构建或想换精度时可先下载文件再显式指定Q8_0 / BF16 / F16 版本见 MTP/ 目录hf download unsloth/gemma-4-31B-it-qat-GGUF gemma-4-31B-it-qat-UD-Q4_K_XL.gguf --local-dir . hf download unsloth/gemma-4-31B-it-qat-GGUF MTP/mtp-gemma-4-31B-it-Q8_0.gguf --local-dir . ./build/bin/llama-server \ -m gemma-4-31B-it-qat-UD-Q4_K_XL.gguf \ --model-draft MTP/mtp-gemma-4-31B-it-Q8_0.gguf \ --spec-type draft-mtp --spec-draft-n-max 4 \ -ngl 999 -fa on精度怎么选显存紧张选 Q4_0推荐近乎无损显存充裕且追求更高接受率选 Q8_0。drafter 可与 31B QAT 主模型的任意量化版本搭配使用。️ 多GPU部署指定推测解码设备与层切分多卡环境下官方推荐组合是--spec-draft-device-sm layer./build/bin/llama-server \ -hf unsloth/gemma-4-31B-it-qat-GGUF:UD-Q4_K_XL \ --spec-type draft-mtp --spec-draft-n-max 4 \ --spec-draft-device CUDA1 -sm layer \ -ngl 999 -fa on参数作用-sm layer按「层」为单位把主模型拆分到多张 GPU切分粒度更细、显存更均衡--spec-draft-device CUDA1指定 drafter 运行在哪张卡上与主模型分开调度--spec-type draft-mtp启用 MTP 推测解码模式--spec-draft-n-max 4每步最多起草 4 个 token 实用技巧把 drafter 放到显存有余量的那张卡如 CUDA1主模型则通过层切分散布在全部卡上。官方文档明确说明量化后的 KV 缓存与 MTP drafter 完全兼容多卡 KV 量化可以同时使用。 KV 量化256K 长上下文省显存的关键开关31B 支持256K 上下文长上下文场景下 KV 缓存是第一显存大户。这个模型的架构本身就为省显存而生可从 config.json 验证混合注意力滑窗注意力层1024 token 局部窗口与全局注意力层交替每 6 层才出现一个全局层统一 Keys 和 Values全局层attention_k_eq_v开启KV 头仅 4 个KV 占用大幅缩减Proportional RoPE进一步为长上下文位置编码优化内存。在此之上再开启 KV 缓存量化即可把 256K 长文本塞进有限的显存./build/bin/llama-server \ -hf unsloth/gemma-4-31B-it-qat-GGUF:UD-Q4_K_XL \ --spec-type draft-mtp --spec-draft-n-max 4 \ --cache-type-k q8_0 --cache-type-v q8_0 \ -ngl 999 -fa onKV 精度相对显存适用场景F16默认1x短对话、显存充裕q8_0推荐约 0.5x长上下文主力配置精度损失极小q4_0约 0.25x极限长文本配合多卡层切分 长上下文实战推荐参数清单参数推荐值说明--spec-typedraft-mtp启用 MTP 推测解码--spec-draft-n-max4官方示例值接受率与加速的平衡点-ngl999全部层卸载到 GPU-faonFlash Attention降低注意力显存-c262144按需要开启 256K 上下文temperature/top_p/top_k1.0/0.95/64官方推荐的采样参数组合--mmprojmmproj-BF16.gguf启用视觉输入图片放在文本之前❓ 常见问题排查加载 drafter 失败确认 llama.cpp 构建于 2026-06-07 之后加速不明显检查日志中草稿接受率可尝试调高--spec-draft-n-max或换更高精度 drafter显存仍不够叠加 KV 量化q8_0 多卡-sm layer层切分图像理解不生效启动时记得传--mmproj指定投影文件。✅ 延伸阅读完整模型卡与最佳实践README.mdMTP drafter 详细说明MTP/README.md模型结构配置层数、注意力类型、RoPE 等config.json赞分享【免费下载链接】gemma-4-31B-it-qat-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/gemma-4-31B-it-qat-GGUF点击查看免费下载相关推荐128K长上下文实测gemma-4-E2B-it-GGUF处理超长文档的KV缓存优化指南128K长上下文实测gemma 4 E2B it GGUF处理超长文档的KV缓存优化指南 gemma 4 E2B it GGUF 是 Unsloth 基于 Ggemma-4-31B-it-GGUF一文读懂谷歌31B多模态大模型的20个量化版本完整选型指南gemma 4 31B it GGUF一文读懂谷歌31B多模态大模型的20个量化版本完整选型指南 gemma 4 31B it GGUF 是谷歌 Gemma从单卡到多卡gemma-4-31B-it-GGUF 大显存部署与 llama-server API 服务完整教程从单卡到多卡gemma 4 31B it GGUF 大显存部署与 llama server API 服务完整教程 本教程教你把 gemma 4 31B it上一篇SQLPad 开发者指南从源码构建、前后端联调开发到测试与 Docker 镜像发布的完整实战手册下一篇Koodo Reader主题定制终极指南打造你的专属阅读空间创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考