【免费下载链接】Qwen3.8-Flash-Next-NVFP4项目地址https://ai.gitcode.com/hf_mirrors/RadixArk/Qwen3.8-Flash-Next-NVFP4点击查看免费下载Qwen3.8-Flash-Next-NVFP4 是一个用NVFP4 量化W4A4、双级缩放处理过的开源大模型检查点。它把约 180B 参数、360 GB 的 BF16 源模型压缩到 135 GB约 2.7 倍瘦身同时把精度稳稳留在 BF16 参考区间内。本文带你用新手友好的方式拆解三件事NVFP4 量化具体动了哪些权重、W4A4 的双级缩放到底怎么工作以及为什么只量化 MoE 的 routed experts专家路由。一句话结论这是一次外科手术式量化——只切掉体积最大的专家权重其余关键部分逐字节保留原样并用真实激活做校准最后用多层审计证明没搞坏。 先看结果360 GB 怎么变成 135 GB在深入细节前先看这张前后对比表心里有个底项目BF16 源模型NVFP4 检查点总参数~180B~180B不变体积360 GB135 GB约 2.7× 压缩量化范围全 BF16仅 48 层 MoE 的 routed experts分片数—206 个权重分片192 routed 4 BF16 10 PLE-FP8张量总数—296,475 个模型本体是一个混合架构多模态 MoE48 个 decoder 层每层 512 个 routed expertstop-10 路由 1 个 shared expert外加 1 层 MTPmulti-token prediction。完整介绍见 README.md。 第一步NVFP4 量化到底动了谁量化最怕一锅端把不该动的也动坏。这个检查点用了一份显式的排除清单ignore / exclude_modules把不动的部分白纸黑字写进了 hf_quant_config.json 和 config.json。✅ 被量化成 NVFP4 的唯一的主角48 个主模型 MoE 层的routed experts即融合后的gate_up_proj/down_proj共294,912 个量化张量条目。️ 保持 BF16、逐字节与源一致的配角一个都不动注意力self_attn/linear_attn含 GDN 线性注意力稀疏注意力 QSA、多流 mHChyper_connectionshared expert共享专家与 routermlp.gate、shared_expert_gate词嵌入embed_tokens、输出头lm_head视觉塔model.visual、PLE n-gram 相关部分全部 31 个 MTP 张量 特殊处理取中间值PLE n-gram 嵌入表直接采用上游Qwen/Qwen3.8-Flash-Next-FP8的FP8F8_E4M3版本128 个分片 每表一个标量 scale加载时反量化回 BF16。这份排除清单就是只量化专家路由这句话的落地配置*.mlp.gate*、*.mlp.shared_expert.*、*.self_attn.*、*.linear_attn.*、*hyper_connection*、*.ple.*、lm_head、mtp.*等全部被ignore掉。 核心W4A4 双级缩放机制拆解W4A4 指权重 4-bitW4 激活 4-bitA4两者都用 NVFP4 数值格式E2M1。而双级缩放是 NVFP4 的精髓一个数值不是一刀切地缩放而是分两级、粗细搭配地缩放。分片元数据 layer-00000-experts-0000-0127.complete.json 里的quantization_recipe把这套配置写得很清楚num_bits: [2,1]、block_sizes: {-1: 16, scale_bits: [4,3], type: dynamic}、effective_bits: 4.5。第 1 级微缩放block scale——每 16 个元素一个 FP8把张量沿最后一维每16 个元素切成一组每组共享一个 FP8E4M3块缩放因子scale_bits [4,3] 4 位指数 3 位尾数组内每个元素则用4-bit 的 E2M1FP4表示。作用4-bit 数值动态范围极小靠每组一个更精细的缩放去贴合局部幅度避免大数值溢出、小数值被抹平。第 2 级全局缩放global scale——每个张量一个 FP32在整个张量层面再放一个 FP32 全局缩放因子把整体分布搬进 FP4 能稳定表示的区间审计报告显示全部221,184 个缩放因子都是有限正数最小约2.13e-05、最大448.0见 validate_scales_report.json。为什么叫 4.5 bit这就是双级的代价账每 16 个元素16 × 4-bit 数据 64 bit再加 1 个 8-bit(FP8) 块 scale 平均 (64 8) / 16 4.5 bit / 元素所以effective_bits: 4.5。比纯 4-bit 多一点点开销换来的是精度上对 BF16 几乎无损。A4 这一端动态激活权重是静态量化离线算好存盘激活是动态量化type: dynamic——推理时把输入激活按同样的16 一组 scale规则现算现压到 FP4。校准calibration用的是真实激活而不是拍脑袋取cnn_dailymail训练集 128 篇seed 1234、截断到 512 token从线上 SGLang 推理服务的 prefill 阶段钩住每个 MoE block 的输入逐层采集62,139 行/层激活再对每个分片跑 8 个带种子的采样 batch 取 max 校准。详见各分片的calibration_contract与 qualification-notes.md。 为什么只量化专家路由这是全篇最值得琢磨的设计决策。一句话挑体积最大、又最耐压缩的部分下手其余的要么太小、要么太娇气。收益最大——专家是体积大头。每层 512 个 routed experts、48 层融合gate_up_proj/down_proj后就是那 294,912 个条目占了模型内存的绝对主力。把它压掉整体瘦身立竿见影。专家是稀疏使用的天然耐压缩。每个 token 只激活10/512个专家top-10 路由。单个专家的权重对某条 token 的影响被路由摊薄了量化误差对最终输出的冲击小——这是敢下 FP4 的底气。router门控又小又关键保 BF16。router 负责决定选哪 10 个专家一旦出错会带偏整条计算路径。它体量极小不值得、也不该拿它冒险。shared expert 每 token 都过保高精度。共享专家不像 routed experts 那样稀疏它对每个 token 都生效属于热路径所以留在 BF16。注意力 / 嵌入 / 输出头 / 视觉塔 / MTP 都精度敏感全部不动。线性注意力GDN与全注意力、词嵌入、lm_head、视觉塔以及服务于投机解码的 31 个 MTP 张量统统逐字节保留把风险隔离在只影响专家的范围里。这种只切专家的策略配合下面的字节级审计能做到压缩收益最大、回归风险最小。✅ 证据链怎么确认没搞坏发布前跑了一整套体检全部通过结构审计294,912 routed 1,562 个未改动 31 个 MTP 张量dtype 分布为 73,728×U8、73,856×FP8、147,456×FP32、1,432×BF16、3×I64见 validate_checkpoint_report.json。缩放因子审计221,184 个 scale 全部有限为正min2.13e-05/ max448.0validate_scales_report.json。未改动内容字节级一致1,562 个张量、118.4 GB逐字节比对源模型含 31 个 MTP 张量全部passaudit_unchanged_report.json——直接证明没动的部分真的一点没动。确定性服务冒烟真实推理返回正常、finish_reasonstop、logprobs 全部有限smoke_report.json。环境可复现性也留档了nvidia-modelopt v0.46.0、固定 commit、CUDA 13.0、PyTorch 2.13.0cu130见 conversion_environment.json。 怎么跑起来SGLang需要支持qwen4_exp的 SGLang 构建 BlackwellGB300 / B300关键参数是--quantization modelopt_fp4和--fp4-gemm-backend flashinfer_cutlasspython -m sglang.launch_server \ --model-path RadixArk/Qwen3.8-Flash-Next-NVFP4 \ --tp 2 \ --quantization modelopt_fp4 \ --fp4-gemm-backend flashinfer_cutlass \ --page-size 64 \ --mamba-scheduler-strategy extra_buffer \ --mamba-track-interval 64 \ --chunked-prefill-size 4096 \ --max-running-requests 36 \ --context-length 262144 \ --mem-fraction-static 0.80 \ --allow-auto-truncate \ --port 30000⚠️ 加载侧注意PLE 的 FP8 表必须用其weight_scale做带 scale 的反量化不能只把 FP8 字节往上抬精度否则 PLE 嵌入会静默出错。 量化后精度掉多少实测落在 BF16 参考区间内单轮任务基本无损评测协议BF16 参考NVFP4本检查点GSM8K全量 1319 题97.12–97.5097.27stop 98.86%AIME2630 题 × 8100 (240/240)98.75 pass1majority8 100原始数据见 gsm8k_metrics.json 与 aime26_metrics.json。行为提示单轮精度GSM8K / AIME保持在区间内但长程 agentic 生成倾向比 BF16 跑得更长这是使用时的主要体感差异。小结怎么做的NVIDIA Model Optimizer 的 NVFP4 配方只切 48 层 MoE 的 routed experts其余逐字节保留。W4A4 双级缩放16 元素一组的FP8 块 scale第 1 级 每张量一个FP32 全局 scale第 2 级平均 4.5 bit激活走动态量化。为什么只量化专家路由专家是体积大头且稀疏使用最耐压缩router/共享专家/注意力/MTP 要么太小、要么太娇气保 BF16 隔离风险。可信度字节级一致审计 缩放审计 冒烟测试全过精度稳定落在 BF16 参考带内。赞分享【免费下载链接】Qwen3.8-Flash-Next-NVFP4项目地址https://ai.gitcode.com/hf_mirrors/RadixArk/Qwen3.8-Flash-Next-NVFP4点击查看免费下载相关推荐别再被网盘下载折磨了免费开源神器一键获取8大网盘真实直链别再被网盘下载折磨了免费开源神器一键获取8大网盘真实直链 周五晚上十点同事发来一个百度网盘链接里面是明天开会要用的项目资料。你点开网页版找到那个 2GB大模型基础模型模型量化多模态本地部署JEV-35B-NVFP4架构解析10240个MoE专家、线性注意力与为什么只量化路由专家JEV 35B NVFP4架构解析10240个MoE专家、线性注意力与为什么只量化路由专家 JEV 35B NVFP4 是一个基于 Qwen3.5 35B ANVFP4是什么从Qwen3.8-27B-NVFP4入手一文读懂NVIDIA 4位浮点量化NVFP4是什么从Qwen3.8 27B NVFP4入手一文读懂NVIDIA 4位浮点量化 这篇文章带你一文读懂 NVFP4 NVIDIA 4位浮点量化人工智能大模型模型量化多模态上一篇在 Quarto CLI 本地化 PR 审查中使用上下文感知机器翻译做语义抽查完整方法与避坑指南下一篇终极英雄联盟辅助工具League Akari完整使用指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考