大模型基础模型模型量化模型优化本地部署DeepSeek【免费下载链接】DeepSeek-V4-Pro-NVFP4项目地址https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-V4-Pro-NVFP4点击查看免费下载本教程带你手把手复现DeepSeek-V4-Pro-NVFP4的 GSM8K 评测结果。该模型是 AMD 官方用 AMD Quark 量化的 NVFP4 版本 DeepSeek-V4-Pro本教程将演示如何用 lm-eval-harnesslm-evaluation-harness vLLM 完整跑通评测流程拿到与官方一致的 94.77 分。一、先搞懂DeepSeek-V4-Pro-NVFP4 是什么一句话概括这是 AMD 针对 AMD GPUROCm 平台优化的NVFP4 量化版大语言模型架构为DeepseekV4ForCausalLM属于 MoE 稀疏专家模型。项目说明量化方案Routerexperts量化为NVFP4shared_experts和attn为FP8-E4M3量化工具AMD Quark v0.12.0支持硬件AMD MI355 / MI350 / MI300仿真运行环境ROCm 7.2.3、PyTorch 2.11.0、Transformers 5.13.1推理引擎vLLM / SGLang模型结构细节可参考仓库中的 config.json61 层、384 个路由专家、1M 上下文和 inference/config.json。官方 GSM8K 评测成绩README 给出的基准结果如下复现目标就是第二列的数字基准测试DeepSeek-V4-Pro原版DeepSeek-V4-Pro-NVFP4Recovery恢复率GSM8K (flexible-extract)95.3894.7799.36%可以看到 NVFP4 量化后数学推理能力几乎无损这就是我们需要复现验证的核心结论。二、环境准备硬件与依赖清单评测基于官方 Docker 镜像完成环境版本已固定照抄即可。依赖版本Docker 镜像vllm/vllm-openai-rocm:v0.29.0lm-evaluation-harness0.4.12GPU 数量8 卡--tensor-parallel-size 8操作系统LinuxAMD ROCm 驱动第一步下载模型文件模型共 64 个分片约 200 GB务必启用 Git LFSgit lfs install git clone https://gitcode.com/hf_mirrors/amd/DeepSeek-V4-Pro-NVFP4下载后可核对 model.safetensors.index.json 确认分片齐全tokenizer 配置见 tokenizer.json。⚠️ 提示如果拉下来的model-*.safetensors只有几百字节说明 LFS 未生效请执行git lfs pull补拉。三、一键启动 vLLM 推理服务评测采用「API 服务 远程评测」模式先用 vLLM 起一个 OpenAI 兼容服务再由 lm-eval-harness 通过 HTTP 调用。进入容器后执行VLLM_ROCM_USE_AITER1 \ VLLM_ROCM_USE_AITER_MOE1 \ vllm serve amd/DeepSeek-V4-Pro-NVFP4 \ --host localhost \ --port 8001 \ --dtype auto \ --kv-cache-dtype fp8 \ --tensor-parallel-size 8 \ --max-num-seqs 512 \ --max-num-batched-tokens 8192 \ --distributed-executor-backend mp \ --trust-remote-code \ --gpu-memory-utilization 0.9 \ --tokenizer-mode deepseek_v4 \ --reasoning-parser deepseek_v4 \ --tool-call-parser deepseek_v4 \ --enable-auto-tool-choice \ --compilation-config {mode: 3, cudagraph_mode: FULL_DECODE_ONLY}关键参数速查参数作用VLLM_ROCM_USE_AITER1启用 ROCm 平台的 AITER 加速算子VLLM_ROCM_USE_AITER_MOE1MoE 专家层走 AITER 融合内核性能关键--kv-cache-dtype fp8KV Cache 用 FP8 存储显著降低显存占用--tensor-parallel-size 88 卡张量并行单卡放不下时必改此项--tokenizer-mode deepseek_v4使用 DeepSeek-V4 专用 tokenizer 模式--reasoning-parser deepseek_v4解析think推理块保证输出格式正确服务启动成功的标志是日志出现Uvicorn running on http://localhost:8001。✅四、用 lm-eval-harness 跑 GSM8K 评测服务起来后新开一个终端不要关掉服务。第二步安装评测框架pip install lm-eval[api]注意官方复现用的版本是0.4.12建议锁定版本以保证结果一致pip install lm-eval[api]0.4.12第三步执行评测命令lm_eval \ --model local-completions \ --model_args modelamd/DeepSeek-V4-Pro-NVFP4,tokenizeramd/DeepSeek-V4-Pro-NVFP4,base_urlhttp://127.0.0.1:8001/v1/completions,num_concurrent32,max_retries10,max_gen_toks2048,timeout60000 \ --batch_size auto \ --tasks gsm8k \ --num_fewshot 8 \ --output_path . \ 21 | tee -a eval.log参数逐项解读参数含义--model local-completions通过本地 Completions API 调用已启动的 vLLM 服务base_url指向第三步服务的/v1/completions端点num_concurrent32并发请求数32 是比较稳的吞吐/稳定性平衡点max_gen_toks2048每题最多生成 2048 tokenGSM8K 题目足够用timeout60000单次请求超时毫秒长思考题不会轻易被判失败--tasks gsm8k只跑 GSM8K 数学基准--num_fewshot 88-shot少样本提示必须与官方一致才能对齐分数--batch_size auto自动选择批量大小运行过程中可用tail -f eval.log实时观察进度整份 GSM8K1319 题在 8 卡上通常几十分钟跑完。五、如何看懂评测结果评测结束后终端会打印汇总表同时结果文件写入--output_path指定的目录本例为当前目录。核心看这两个数字指标官方参考值gsm8k,exact_match,flexible-extract94.77相对原版 95.38 的 Recovery99.36%分数落在94.5 ~ 95.0区间即可认为复现成功——评测存在少量随机性温度采样、并发调度不必追求逐位相同。若分数明显偏低如低于 90优先检查num_fewshot是否为 8、vLLM 是否使用了--reasoning-parser deepseek_v4、KV Cache 是否为 fp8。六、常见问题 FAQQ1显存不够 / OOM模型是 8 卡张量并行的。卡数不足时可改--tensor-parallel-size但单卡显存需 ≥ 1/8 模型占用建议配合降低--gpu-memory-utilization之外的--max-num-batched-tokens。Q2评测一直超时或大量重试调大timeout、调小num_concurrent如 16并确认服务终端没有 OOM 报错。Q3想在非 ROCm 平台部署本模型面向 AMD GPU 优化VLLM_ROCM_USE_AITER系列环境变量为 ROCm 专用NVIDIA 平台请参考官方基础模型deepseek-ai/DeepSeek-V4-Pro的部署文档。Q4仓库里 inference/ 目录是干什么的那是 DeepSeek 原生的参考推理代码含权重的 NVFP4↔FP8 无损转换脚本与 lm-eval 评测流程无关了解即可。相关文件inference/README.md、inference/convert.py、inference/generate.py。七、总结步骤关键动作产出1git lfs install clone 模型仓库完整模型文件2vLLM 起服务8 卡、FP8 KV Cache、AITER 加速8001 端口 API 服务3pip install lm-eval[api]0.4.12评测框架就绪4lm_eval --tasks gsm8k --num_fewshot 8评测分数与日志5对比官方值 94.77 / Recovery 99.36%复现验证完成 ✅整套流程的关键在于版本对齐lm-eval 0.4.12、8-shot、completions 接口、deepseek_v4tokenizer/reasoning 解析四者一致时你的分数就应该稳定落在 94.77 附近——这意味着 NVFP4 量化对 GSM8K 数学能力的损伤不足 1 个百分点量化收益显存减半、推理提速基本「白赚」。更多部署与量化细节可继续查阅仓库根目录的 README.md 及 LICENSE。赞分享大模型基础模型模型量化模型优化本地部署DeepSeek【免费下载链接】DeepSeek-V4-Pro-NVFP4项目地址https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-V4-Pro-NVFP4点击查看免费下载相关推荐如何复现99.61%的GSM8K精度Qwen3.6-35B-A3B-w4a16-llmcompressor完整评估教程lm-evaluation-harness实操如何复现99.61%的GSM8K精度Qwen3.6 35B A3B w4a16 llmcompressor完整评估教程lm evaluation harne大模型模型量化本地部署如何复现Qwen3.6-35B-A3B-Quark-UINT4-G128的评测lm-eval-harness全流程实操教程如何复现Qwen3.6 35B A3B Quark UINT4 G128的评测lm eval harness全流程实操教程 Qwen3.6 35B A3B Q如何用lm-evaluation-harness评测Phi-4-reasoning-plus-w4a16-asym-torchao-v0.17.0MMLU与GSM8K复现教程如何用lm evaluation harness评测Phi 4 reasoning plus w4a16 asym torchao v0.17.0MMLU与G上一篇BlenderMCP架构深度解析AI驱动的3D建模协议实现机制下一篇推荐一款神奇的工具cx_Freeze - Python脚本转为独立可执行程序的利器创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考