本地部署 Qwen3.8-27B-FP8 DFlash296GB 总显存实测提速 2.89 倍保姆级教程Agent 一键安装提示词如果不想手动执行下面的命令可以把这篇文章连同下面这段提示词交给能够操作 Linux 终端的 AI Agent 或者让codex、opencode之类的工具通过ssh连接服务器安装。Agent 会先检查机器是否满足条件再安装和验证。复制下面整段内容请在这台 Linux 机器上部署 Qwen3.8-27B-FP8 DFlash2并使用 SGLang 提供 OpenAI 兼容 API。请自主完成检查、安装、下载、启动和验证但严格遵守下面的要求。 【目标配置】 - Target 模型Qwen/Qwen3.8-27B-FP8 - DFlash2 模型z-lab/Qwen3.8-27B-DFlash2 - SGLang0.5.18 稳定版 - Python3.12 - 推荐运行时CUDA 12.9 - 默认上下文131072稳定运行后可测试 262144 以获得更长上下文能力 - 默认静态显存比例0.80 - DFlash block size8 - API 默认监听0.0.0.0:8002 - 模型目录优先使用空间充足的 SSD如果没有指定使用 $HOME/models 【第一步只检查不修改】 1. 检查操作系统、CPU架构、内存、磁盘空间、Conda、NVIDIA驱动、GPU型号、GPU数量、单卡显存、总显存、空闲显存和Compute Capability。 2. 使用nvidia-smi确认驱动正常确认GPU原生支持FP8。若GPU不适合运行该FP8模型停止安装并说明原因不要强行继续。 3. 确认至少有100GB可用SSD空间。空间不足时停止不要删除已有模型或文件。 4. 检查8002端口和现有SGLang进程。端口被占用或GPU正在运行其他模型时只报告占用者不要自行kill进程。 5. 根据实际参与推理的GPU数量确定TP_SIZE。单卡为1、双卡为2、四卡为4同时确认该TP值能被模型结构支持。多卡型号或显存不同要先提示风险。 6. 先汇总检查结果、拟使用的目录、TP_SIZE、上下文长度和预计磁盘占用再继续安装。 【环境安装】 1. 创建全新的Conda环境qwen38-fp8-dflash2不复用、不覆盖其他环境。 2. 按本文“准备Conda环境”章节安装Python 3.12、uv、SGLang 0.5.18及CUDA 12.9对应的PyTorch、SGLang Kernel和DeepGEMM wheel。 3. 不要因为系统显示了更高版本CUDA就擅自改用CUDA 13nvidia-smi显示的是驱动支持能力不等于当前Python环境的CUDA运行时。 4. 不要修改系统CUDA、NVIDIA驱动、系统Python或其他Conda环境。确实需要升级驱动时先停止并说明原因。 5. 安装后必须验证torch.cuda.is_available()为True、torch.version.cuda为12.9、GPU数量正确、SGLang版本为0.5.18并确认launch_server帮助中存在DFLASH参数。 6. 如果指定版本或cu129 wheel无法下载不要静默换版本保留完整错误并说明下一步建议。 【模型下载】 1. 从魔塔下载Qwen/Qwen3.8-27B-FP8和z-lab/Qwen3.8-27B-DFlash2到独立目录。 2. 使用可断点续传的下载方式。下载后检查目录大小、配置文件、Safetensors索引和所有权重分片不能只看到目录存在就认为下载成功。 3. 确认Target与Draft模型匹配。不要用GGUF、其他量化版、微调版或名字相似的模型替换。 4. 检查Target模型的lm_head.weight是否为BF16/FP16/FP32。若被量化并出现“DFlash2 selector requires a dense ... lm_head”停止并报告不要随意增加转换参数。 【启动原则】 1. 第一次先以前台方式启动保留完整日志方便看到加载和CUDA错误。 2. 使用SGLang默认通信和计算内核。不要预先修改SGLang源码也不要默认添加以下特定机器兼容参数 --disable-custom-all-reduce --cuda-graph-backend-decodedisabled --mm-feature-transport cpu 3. DFlash使用--speculative-algorithm DFLASH、正确的Draft路径和block size 8不要启用DP AttentionPP size保持1。 4. 先使用131072上下文和0.80静态显存比例。不要第一次启动就直接拉满256K。 5. 如果OOM按顺序处理确认无其他GPU进程降低context length将mem fraction从0.80降到0.75必要时将DFlash block size从8降到4。每次只修改一项并记录结果。 6. 如果FlashInfer在当前GPU上不兼容再尝试--attention-backend triton和--sampling-backend pytorch不要把兼容回退当成默认配置。 7. 如果出现内核、NCCL或多卡通信错误先保存完整日志和GPU拓扑信息不要直接修改site-packages源码。 【验收项目】 1. 等待日志出现“The server is fired up and ready to roll!”。 2. 验证GET /health返回HTTP 200。 3. 验证GET /model_info能返回正确模型信息。 4. 调用/v1/chat/completions完成一次短对话确认返回内容正常。 5. 检查日志中DFLASH确实启用而不是只启动了纯FP8模型。 6. 短请求稳定后再逐步测试长上下文测试256K时要预留输出token输入和输出总和不能超过262144。 7. 最后给出实际启动命令、环境版本、模型路径、TP_SIZE、上下文、显存占用、日志路径和API地址。 【端口与安全】 1. 本机验证通过前不要开放防火墙端口。 2. 如果需要局域网访问确认服务监听0.0.0.0后只开放TCP 8002并验证实际连通性。 3. 不要把无认证的SGLang接口直接暴露到公网。公网使用必须增加带身份认证和HTTPS的反向代理。 【最终输出格式】 - 环境检查结果 - 实际执行的安装命令 - 安装版本验证结果 - 两个模型的下载及完整性检查结果 - 最终启动命令和参数说明 - health、model_info、chat completions测试结果 - 显存占用和可用KV/上下文信息 - 遇到的问题、采取的处理以及仍存在的风险 任何步骤失败时先诊断并保留错误信息不要删除环境、模型、日志或已有服务也不要为了“继续执行”而静默更换模型、CUDA、PyTorch或SGLang版本。一、写在前面最近想在本地跑一个参数量比较大的 Qwen 模型真正开始部署后才发现模型文件下载下来只是第一步显存、推理框架、量化格式、上下文长度和启动参数每一项都可能影响最后能不能跑起来。这篇文章把我实际跑通的方案整理出来使用SGLang Qwen3.8-27B-FP8 DFlash2最终提供一个兼容 OpenAI 接口的本地模型服务。如果你只是想在本地聊天先看第二节的硬件要求如果硬件符合再按后面的步骤一步一步执行即可。本文最终实现的效果使用约 96GB 总显存运行 Qwen3.8-27B使用官方 FP8 模型模型文件约 31GB使用 DFlash2 加速生成支持单请求最长约 256K 上下文提供/v1/chat/completions接口可以被 Open WebUI、Cherry Studio 或自己写的程序调用。如果第一次接触本地大模型先记住下面几个词名称简单解释FP8用 8 位浮点数保存大部分模型权重可以减少显存占用token模型处理文字时使用的基本单位不完全等于“一个汉字”或“一个单词”上下文模型一次能够读取的输入、历史对话和输出总长度KV Cache模型生成时保存在显存中的上下文缓存上下文越长占用越大API让聊天软件或其他程序调用本地模型的接口二、先确认硬件够不够2.1 推荐环境硬件/软件推荐配置GPU支持 FP8 的 NVIDIA GPU例如 RTX 4090、L40S、H100、H200 或更新型号GPU 总显存80GB 起步推荐 96GB 以上系统Ubuntu 22.04/24.04 或其他常用 Linux 发行版CPU建议 16 核以上不是硬性要求内存64GB 起步建议 128GB硬盘SSD至少预留 100GBNVIDIA 驱动至少满足 CUDA 12.x 要求建议使用当前稳定驱动CUDA 运行时推荐 CUDA 12.9Python3.12判断能否部署时先看参与推理的 GPU总显存不需要限定显卡数量和型号。例如一张 H100 80GB 就按 80GB 判断四张 24GB GPU 就按 96GB 判断。后文的TP_SIZE要设置为实际参与推理的 GPU 数量。开始前还需要满足两个条件Linux 中执行nvidia-smi能看到准备使用的 GPUConda 已经安装并能正常创建环境。本文选择 CUDA 12.9是因为 SGLang 官方为它提供了完整的 PyTorch、SGLang Kernel 和 DeepGEMM wheel适合更多已经部署 CUDA 12 系列驱动的机器。SGLang 当前默认安装路径已经使用 CUDA 13但没有必要为了本文专门把一台稳定运行的 CUDA 12 服务器升级到 CUDA 13。这里说的 CUDA 12.9 主要是 Python 环境中安装的运行时版本不要求系统预先安装完整的 CUDA ToolkitNVIDIA 驱动需要能够支持该运行时。2.2 按总显存选择配置可用总显存建议24GB 左右不建议运行本文的 27B 方案优先选择 7B/14B 模型48GB 左右可以尝试 27B FP8但 DFlash2 和长上下文空间较紧建议从 32K/64K 开始64GB80GB可以尝试 FP8 DFlash2建议先设为 64K/128K再逐步增加上下文80GB 以上基本具备运行本文方案的显存条件建议先从 128K 上下文开始96GB 及以上可以直接参考本文的 256K 参数本文已在 96GB 总显存上验证通过显存可以来自一张或多张 NVIDIA GPU。例如一张 80GB H100 的总显存就是 80GB四张 24GB GPU 的总显存就是 96GB。本文启动命令中的张量并行数量需要改成实际参与推理的 GPU 数量。总显存适合用来快速判断硬件是否够用但多张显卡不会自动变成一整块显存还需要 SGLang 通过张量并行拆分模型。多卡机器最好使用相同型号、相同显存容量的 GPU。2.3 磁盘空间不要估少至少要给以下内容留空间Qwen3.8-27B-FP8约 31GBDFlash2 草稿模型约数 GBConda 环境、缓存和日志建议预留 20GB下载过程中的临时文件最好再留 20GB。实际部署时建议准备100GB 以上 SSD 空间。模型放在机械硬盘上也能运行但启动和读取权重会明显变慢。三、DFlash2 到底是什么正常的模型推理是模型生成一个 token再生成下一个 token。DFlash2 的思路是增加一个较小的草稿模型先快速猜一小段内容再让 Qwen3.8-27B 一次性检查这些猜测。可以简单理解为用户提问 ↓ DFlash2 草稿模型快速猜几个 token ↓ Qwen3.8-27B一次性验证并接受正确的 token ↓ 继续生成DFlash2 不会改变最终使用的目标模型回答仍然由 Qwen3.8-27B 决定。它能加速多少取决于草稿模型猜得准不准数学、格式固定的任务通常收益较高代码生成收益中等开放式聊天、写作类任务收益可能较低如果目标模型换成了差异很大的微调版本DFlash2 的接受率可能下降。四、本文最终效果在 96GB 总显存2 × RTX 4090 48GB、TP2、256K 上下文、相同提示词和相同输出长度的条件下实测结果如下。不同 GPU、CUDA 和 SGLang 版本的结果会有差异测试任务纯 FP8FP8 DFlash2加速比数学推导8.86 token/s38.80 token/s4.38 倍Python 代码8.91 token/s21.09 token/s2.37 倍中文说明8.99 token/s17.48 token/s1.94 倍平均8.92 token/s25.79 token/s2.89 倍需要注意DFlash2 会占用一部分额外显存所以它不是“速度和容量同时无条件增加”纯 FP8 的 KV Cache 容量更大适合更多并发请求FP8 DFlash2 的单请求生成速度更快但并发能力会下降如果你主要是自己聊天或写代码优先考虑 FP8 DFlash2如果你要给很多人同时提供服务建议分别测试两套配置。五、准备 Conda 环境5.1 创建一个全新的环境这套配置使用独立的 Conda 环境conda create-nqwen38-fp8-dflash2python3.12-yconda activate qwen38-fp8-dflash2 python-mpipinstall--upgradepip python-mpipinstalluv5.2 安装 SGLang 和全部依赖本文使用 SGLang0.5.18稳定版。先安装 SGLang、ModelScope 和 Safetensorsuv pipinstall--prereleaseallow\sglang0.5.18\modelscope1.39.1\safetensors0.8.0然后按照 SGLang 官方的 CUDA 12 安装方式将 PyTorch 和计算内核切换到 CUDA 12.9 版本uv pipinstall--force-reinstall\torch2.13.0torchaudio2.11.0 torchvision\--index-url https://download.pytorch.org/whl/cu129 uv pipinstall--force-reinstall\sglang-kernel0.4.6.post1\--index-url https://docs.sglang.ai/whl/cu129/ uv pipinstall--force-reinstall\sgl-deep-gemm0.1.5.post3\--index-url https://docs.sglang.ai/whl/cu129/\--no-deps这些命令会自动安装相应的 Python 和 CUDA 运行库依赖不需要手动逐个安装nvidia-*包。安装完成后检查版本python -PY import sys import torch import sglang import transformers import flashinfer import modelscope print(Python:, sys.version.split()[0]) print(PyTorch:, torch.__version__) print(PyTorch CUDA:, torch.version.cuda) print(CUDA available:, torch.cuda.is_available()) print(GPU count:, torch.cuda.device_count()) print(SGLang:, sglang.__version__) print(Transformers:, transformers.__version__) print(FlashInfer:, flashinfer.__version__) print(ModelScope:, modelscope.__version__) PY其中PyTorch CUDA应显示12.9CUDA available应为True。如果这里显示False先处理 NVIDIA 驱动或 PyTorch 安装问题不要继续下载和启动模型。本文推荐的核心版本如下软件推荐版本Python3.12PyTorch2.13.0CUDA 12.9 wheelSGLang0.5.18Transformers5.12.1Triton3.7.1FlashInfer0.6.17SGLang Kernel0.4.6.post1ModelScope1.39.1Safetensors0.8.0最后检查 SGLang 是否带有 DFlash 参数python-msglang.launch_server--help|grep-Especulative-(algorithm|dflash)能看到下面两个参数说明当前版本已经包含本文需要的功能--speculative-algorithm --speculative-dflash-block-size六、下载模型6.1 创建模型目录模型放在哪里都可以只要磁盘空间足够。下面以/data/models为例exportMODEL_ROOT/data/modelsmkdir-p$MODEL_ROOT如果你没有/data目录可以改成自己的路径例如exportMODEL_ROOT$HOME/modelsmkdir-p$MODEL_ROOT6.2 下载官方 Qwen3.8 FP8 模型本文使用的目标模型是Qwen/Qwen3.8-27B-FP8魔塔模型页面Qwen/Qwen3.8-27B-FP8使用 ModelScope 下载modelscope download\Qwen/Qwen3.8-27B-FP8\--revisionmaster\--local-dir$MODEL_ROOT/Qwen3.8-27B-FP8\--max-workers8下载完成后检查大小du-sh$MODEL_ROOT/Qwen3.8-27B-FP8本文下载完成后约为 30.89GB。如果只有几个小文件说明下载没有完成不要直接启动。6.3 下载 DFlash2 草稿模型本文使用的草稿模型是z-lab/Qwen3.8-27B-DFlash2魔塔模型页面z-lab/Qwen3.8-27B-DFlash2下载命令modelscope download\z-lab/Qwen3.8-27B-DFlash2\--revisionmaster\--local-dir$MODEL_ROOT/Qwen3.8-27B-DFlash2\--max-workers8检查目录du-sh$MODEL_ROOT/Qwen3.8-27B-DFlash2find$MODEL_ROOT/Qwen3.8-27B-DFlash2-maxdepth1-typef|sort6.4 为什么官方 FP8 可以配合 DFlash2DFlash2 要求目标模型的输出头lm_head保持为普通的 FP16、BF16 或 FP32不能被压成不支持的量化格式。官方Qwen/Qwen3.8-27B-FP8的主体权重是 FP8但lm_head.weight保留为 BF16因此可以直接使用 DFlash2。如果启动时出现DFlash2 selector requires a dense FP16/BF16/FP32 target lm_head通常说明下载的模型版本不匹配或者lm_head被额外量化了。不要先修改启动参数先换回官方 FP8 权重并检查文件是否完整。七、启动 FP8 DFlash27.1 先查看 GPU 是否空闲nvidia-smi --query-gpuindex,name,memory.total,memory.used,memory.free\--formatcsv nvidia-smi --query-gpumemory.total--formatcsv,noheader,nounits|\awk{sum $1} END {printf GPU 总显存%.1f GB\n, sum/1024}重点看所有参与推理的 GPU总显存。启动前还要确认没有其他大模型占用这些 GPU否则总容量足够也可能在加载过程中 OOM。7.2 设置路径把下面的路径改成你自己的实际路径exportMODEL_ROOT/data/modelsexportMODEL$MODEL_ROOT/Qwen3.8-27B-FP8exportDRAFT_MODEL$MODEL_ROOT/Qwen3.8-27B-DFlash2exportTP_SIZE2exportCONTEXT_LENGTH131072exportMEM_FRACTION0.80exportPORT8002exportLOG_FILE$HOME/sglang-qwen38-fp8-dflash2.logTP_SIZE是参与推理的 GPU 数量按自己的机器修改单张 H100 80GBTP_SIZE1两张 GPUTP_SIZE2四张 GPUTP_SIZE4。多卡时建议使用同型号、同显存容量的 GPU。首次启动建议使用CONTEXT_LENGTH131072也就是 128K 上下文。总显存达到 96GB 并确认运行稳定后可以改成262144启用完整 256K 上下文。7.3 启动命令python-msglang.launch_server\--model-path$MODEL\--speculative-algorithm DFLASH\--speculative-draft-model-path$DRAFT_MODEL\--speculative-dflash-block-size8\--tp-size$TP_SIZE\--host0.0.0.0\--port$PORT\--context-length$CONTEXT_LENGTH\--mem-fraction-static$MEM_FRACTION\--reasoning-parser qwen3\--tool-call-parser qwen3_coder\21|tee$LOG_FILE第一次启动需要加载几十 GB 权重并初始化 CUDA通常需要等待几分钟。看到下面这句话才表示服务真正启动完成The server is fired up and ready to roll!第一次部署建议先在前台运行方便直接看到错误信息。需要停止服务时在这个终端按CtrlC。确认配置稳定后再使用tmux、screen或系统服务让它长期运行。7.4 参数简单说明参数作用--model-pathQwen3.8 FP8 模型目录--speculative-algorithm DFLASH开启 DFlash 推测解码--speculative-draft-model-pathDFlash2 草稿模型目录--speculative-dflash-block-size 8每轮草稿长度本文使用 8--tp-size参与张量并行的 GPU 数量由TP_SIZE指定--host 0.0.0.0允许其他设备通过网络访问--port 8002API 端口--context-length单条请求的最大总长度由CONTEXT_LENGTH指定--mem-fraction-staticSGLang 使用的静态显存比例由MEM_FRACTION指定八、检查服务是否启动成功8.1 健康检查在另一个终端执行curlhttp://127.0.0.1:8002/health返回 HTTP 200说明服务已经可以接受请求。启动过程中返回 503 不一定是错误先查看日志并等待初始化完成。8.2 查看模型信息curlhttp://127.0.0.1:8002/model_info8.3 发起第一条对话请求curlhttp://127.0.0.1:8002/v1/chat/completions\-HContent-Type: application/json\-d{ model: Qwen3.8-27B-FP8, messages: [ {role: user, content: 你好请用一句话介绍自己} ], temperature: 0.7, max_tokens: 128 }能看到 JSON 格式的模型回复就说明本地模型已经跑起来了。这个接口与 OpenAI 接口格式兼容因此很多客户端只需要填写接口地址http://127.0.0.1:8002/v1 模型名称Qwen3.8-27B-FP8 API Key可以留空客户端强制要求时填写一个本地占位值如果要从其他机器访问把127.0.0.1换成运行服务的 Linux 服务器地址。九、如何使用 256K 上下文Qwen3.8 的配置中最大位置长度是262144tokens也就是通常所说的 256K 上下文。本文已经实际验证过 250000 个输入 token 的请求可以正常返回结果。需要注意输入和输出共用这 262144 个 token最大总长度 输入长度 输出长度例如准备生成 4096 个 token 时输入最好不要超过262144 - 4096 258048 tokens256K 是单条请求的上限并不代表可以同时运行很多条 256K 请求。并发数量还会受到显存和 KV Cache 容量影响。十、开放 API 端口10.1 本机访问先试试http://127.0.0.1:8002/v1如果能访问就不需要额外设置端口转发。10.2 Linux 服务器开放端口启动命令已经使用--host 0.0.0.0因此服务会监听所有网卡。先查看服务器地址hostname-I如果系统启用了 UFW 防火墙开放 8002 端口sudoufw allow8002/tcpsudoufw status局域网内的其他设备即可通过下面的地址访问http://Linux服务器IP:8002/v1云服务器还需要在云平台的安全组中放行 TCP 8002。不要把没有身份验证的接口直接开放到公网公网服务应在前面配置带认证和 HTTPS 的反向代理。十一、纯 FP8 和 FP8 DFlash2 怎么选如果想做对比只需要去掉 DFlash2 的相关参数。其他参数保持不变python-msglang.launch_server\--model-path$MODEL\--tp-size$TP_SIZE\--host0.0.0.0\--port8002\--context-length$CONTEXT_LENGTH\--mem-fraction-static$MEM_FRACTION\--reasoning-parser qwen3\--tool-call-parser qwen3_coder两套服务不能同时占用同一组 GPU。正确做法是启动纯 FP8预热后测试停止纯 FP8确认显存释放启动 FP8 DFlash2使用完全相同的提示词和输出长度测试对比 token/s、首 token 延迟和显存占用。十二、常见问题1. 启动时报显存不足先执行nvidia-smi确认没有其他模型占用显存。仍然不足时可以依次尝试继续降低 --context-length例如从 131072 改成 65536 把 --mem-fraction-static 0.80 改成 0.75 把 --speculative-dflash-block-size 8 改成 4每次只改一个参数方便判断是哪一项起作用。2./health返回 503如果刚启动服务通常是模型还在加载。查看启动终端或日志等出现The server is fired up and ready to roll!如果等待很久仍然没有这句话再检查模型目录和显存。3. 出现lm_head相关错误检查是否使用了官方Qwen/Qwen3.8-27B-FP8以及模型文件是否下载完整。不要把其他量化模型目录直接替换进来。4. FlashInfer 兼容性错误SGLang 默认使用 FlashInfer。对于较旧或暂时没有适配的 GPU可以在启动命令中加入--attention-backend triton --sampling-backend pytorch这是 SGLang 官方提供的兼容回退方案速度可能低于默认内核但适用范围更广。5. 升级 SGLang 后突然不能启动SGLang 更新较快新版本可能改变参数或依赖。本文固定使用0.5.18建议先在新的 Conda 环境中验证升级不要直接覆盖正在使用的环境。