【免费下载链接】NVIDIA-Nemotron-Labs-Teacher-Instruction-Following项目地址https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-Teacher-Instruction-Following点击查看免费下载NVIDIA-Nemotron-Labs-Teacher-Instruction-Following是 Nemotron 3 Ultra 家族的指令遵循教师模型550B 总参数 / 55B 激活基于NVFP4 4-bit 量化部署。本文精确计算其在 B200、GB200、H100 上的 GPU 显存需求帮助你在几分钟内完成硬件选型。 模型硬件需求速览配置项数值总参数量 / 激活参数550B / 55B512 专家选 22架构LatentMoEMamba-2 MoE Attention 混合骨干层108 层48 Mamba 48 MoE 12 Attention量化格式NVFP4主权重 BF16 / MXFP8部分层最大上下文1M tokens默认 256KMTP 层1 层共享权重原生推测解码架构参数详见 config.json权重分片索引51,023 个张量 → 225 个分片见 model.safetensors.index.json。最低 GPU 配置官方推荐部署模式最低配置总显存单节点Blackwell4× B200 / 4× GB200 / 4× GB300 / 4× B300768 GB多节点≥4 GPU 跨节点GB200 / GB300 Ray视节点数Hopper 方案8× H100-80GB640 GB NVFP4 量化原理为什么选 4-bitNVFP4NVIDIA FP4是专为 Blackwell 架构设计的 4-bit 浮点格式将每个权重压缩至 0.5 字节BF16 为 2 字节显存占用直接砍掉 75%。核心机制Block-wise 缩放每 128 个参数共享一个 scale factor在压缩率与精度之间取得平衡混合精度策略——并非所有层都使用 NVFP4层类型精度原因主体线性层权重 / 激活 / 梯度NVFP4最大化吞吐潜在投影Latent ProjectionBF16 / MXFP8数值稳定性MTP 层、QKV / Attention 投影、EmbeddingBF16 / MXFP8精度敏感量化感知预训练QAT模型直接在 NVFP4 精度下完成约 20T tokens 的预训练而非先 BF16 训练再后置量化。这意味着 NVFP4 精度损失在训练阶段已被充分补偿。内存节省估算BF16 全精度权重 550B × 2 bytes ~1,100 GB NVFP4 主体层 ~500B × 0.5 bytes ~250 GB BF16/MXFP8 保留层~50B × 2 bytes ~100 GB ──────────────────────────────────────────── 推理态权重合计 ≈ 350 GB显存节省约 68%使得 4×B200768 GB即可轻松承载 550B 模型。 B200 / GB200 / H100 显存精确计算4× B200单节点首选资源项数值单卡 HBM3e192 GB4 卡总显存768 GBNVFP4 权重混合精度≈ 350 GBKV Cache256KFP8batch 16≈ 24 GB激活值 Mamba 状态 CUDA 上下文≈ 60–100 GB剩余余量≈ 230 GB充裕B200 的第四代 Tensor Core原生硬件加速 NVFP4推理吞吐量显著优于 H100。4× GB200Grace Blackwell 超级芯片资源项数值单芯片 HBM3e192 GB4 芯片总显存768 GB权重 KV 激活≈ 430–480 GB剩余余量≈ 290 GBGB200 的 NVLink 带宽1.8 TB/s和 Grace CPU 的高带宽 LPDDR5x 使其在多卡通信和 MTP 推测解码的 CPU-GPU 协同上更具优势。8× H100-80GBHopper 方案资源项数值单卡 HBM380 GB8 卡总显存640 GBNVFP4 权重≈ 350 GBKV Cache256KFP8batch 16≈ 24 GB激活值 通信缓冲≈ 80–120 GB剩余余量≈ 60–160 GB紧张⚠️H100 使用注意H100无原生 NVFP4 Tensor Core需软件模拟精度可控但速度下降约 40%建议使用--kv-cache-dtype fp8压缩 KV 缓存上下文建议控制在128K 以内而非 256K / 1MNVLink 带宽900 GB/s仅为 Blackwell 的一半8 卡 expert parallelism 通信开销更大⚡ 上下文长度对显存的影响KV Cache 公式12 层 Attentionnum_key_value_heads2head_dim128FP8每 token 占用 12 层 × 2(KV) × 2 头 × 128 维 × 1 byte 6,144 bytes ≈ 6 KB上下文长度单序列 KVbatch 8batch 168×H100 建议32K≈ 192 MiB≈ 1.5 GB≈ 3 GB✅ 推荐128K≈ 756 MiB≈ 6 GB≈ 12 GB✅ 可用256K≈ 1.5 GiB≈ 12 GB≈ 24 GB⚠️ 需降 batch1M≈ 6 GiB≈ 48 GB≈ 96 GB❌ 需 BlackwellMamba 状态缓存mamba_ssm_cache_dtypefloat1648 层总计仅≈ 3 MB可忽略不计。MTP 推测解码的额外开销MTPMulti-Token Prediction层额外占用≈ 5–10 GB显存。Blackwell 上 MTP 硬件加速收益最大max_draft_len5H100 上建议降至max_draft_len3。 部署命令中的硬件关键参数以 vLLM 4×B200 部署为例完整命令见 README.md 的 Quick Start Guide--tensor-parallel-size 4 # 张量并行切分到 4 卡 --enable-expert-parallel # 专家并行512 专家分 4 卡 --kv-cache-dtype fp8 # KV 缓存 8-bit 压缩 --max-model-len 262144 # 256K 上下文 --gpu-memory-utilization 0.90 # 90% 显存利用率 --mamba-ssm-cache-dtype float16 # Mamba 状态缓存精度 --speculative-config {method: nemotron_h_mtp, num_speculative_tokens: 5}关键参数说明参数作用硬件关联--tensor-parallel-size模型权重切分到 N 卡卡数越多单卡负载越低--enable-expert-parallelMoE 专家按卡分配512 专家 / 4 卡 128 专家/卡--kv-cache-dtype fp8KV 缓存半精度Blackwell 原生支持H100 也支持--gpu-memory-utilization显存利用率上限H100 建议 ≤0.85留更多余量 三平台核心规格对比指标B200GB200H100-80GB显存 / 卡192 GB HBM3e192 GB HBM3e80 GB HBM3最低卡数448总显存768 GB768 GB640 GBNVFP4 原生加速✅ Tensor Core✅ Tensor Core❌ 软件模拟NVLink 带宽1.8 TB/s1.8 TB/s900 GB/s256K 上下文batch 16✅ 充裕✅ 充裕⚠️ 紧张1M 上下文✅需环境变量✅需环境变量❌预计吞吐量相对值100%110%NVLink 优势50–60% 相关文件路径文件说明config.json架构配置108 层类型、512 专家、Mamba 参数、MTP 层定义modeling_nemotron_h.pyNemotronH 模型实现Mamba2 MoE Attention 混合层configuration_nemotron_h.py配置类定义model.safetensors.index.json51,023 个张量 → 225 个分片的映射索引总大小 ≈ 1.04 TiBchat_template.jinja对话模板含enable_thinking推理开关ultra_v3_reasoning_parser.py推理链解析器vLLM--reasoning-parser nemotron_v3generation_config.json生成默认参数top_p0.95do_sampletrue模型权重以 225 个.safetensors分片存储model-00001-of-00225.safetensors~model-00225-of-00225.safetensorsBF16 存储格式总大小约1.04 TiB。✅ 选型快速决策场景推荐方案说明追求最高吞吐4× B200或4× GB200原生 NVFP4显存充裕支持 256K 上下文多节点扩展2×4× GB300 Ray 集群pipeline parallel expert parallel见 README.md 多节点部署仅有 Hopper 集群8× H100上下文 ≤128Kbatch ≤8预期吞吐量约为 B200 方案的 50–60%需要 1M 上下文Blackwell 平台B200 / GB200 / B300 / GB300需设置VLLM_ALLOW_LONG_MAX_MODEL_LEN1延迟敏感低 batchB200×4 MTPmax_draft_len5推测解码 低延迟配置见 TRT-LLM 部署段赞分享【免费下载链接】NVIDIA-Nemotron-Labs-Teacher-Instruction-Following项目地址https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-Teacher-Instruction-Following点击查看免费下载相关推荐Meshery 中的 Azure Container Service 模型以设计驱动的 Azure Kubernetes 基础设施编排Meshery 中的 Azure Container Service 模型以设计驱动的 Azure Kubernetes 基础设施编排 本技术指南聚焦 MesH100、B200 还是 DGX SparkNVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 硬件选型与推理部署实战清单H100、B200 还是 DGX SparkNVIDIA Nemotron Labs Dory1.0 4B BF16 硬件选型与推理部署实战清单 NVIDIA人工智能大模型基础模型在 Next.js 中集成 NextAuth.js为 Google 与 GitHub 登录构建完整的认证体系附 Refine 实战示例在 Next.js 中集成 NextAuth.js为 Google 与 GitHub 登录构建完整的认证体系附 Refine 实战示例 NextAuth.上一篇PPTist基于Vue 3的企业级在线演示文稿解决方案下一篇Wand-Enhancer 完整指南4 步跑通 Wand 远程控制与自定义脚本注入创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考