大模型基础模型多模态模型量化本地部署AI Agent推理模型【免费下载链接】NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF项目地址https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF点击查看免费下载NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB本项目 NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF是一个专为本地 Agent 任务打造的视觉语言模型74B 总参数、仅 9B 激活通过原生 2-bit 量化压缩进 24GB 显存在 MCP 工具调用、SWE 软件工程、网页浏览和终端操作等 Agent 基准上击败了大多数同体量模型。本文将带你完整拆解它的训练方法重点揭秘 MCP/SWE 能力背后的强化学习细节。 模型速览24GB 显存能跑什么先搞清楚它是什么再谈怎么训的。核心规格一览属性说明总参数量74B每 token 仅激活 9BMoE 架构架构Mamba-2 Transformer 混合 LatentMoE配 C-RADIO v4-H 视觉编码器精度IQ22-bit 量化感知训练GGUF 格式上下文最高 256K tokens输入/输出文本、图片、视频 / 文本推荐采样temperature 1.0top_p 0.95最佳场景用 llama.cpp 在本地跑日常 Agent 任务一句话理解它的定位比大多数主流 Dense 模型更快又比同内存占用的主流 MoE 模型更聪明且能与其他应用共享同一块 GPU。️ 训练全流程从 120B 父模型到 24GB 本地模型整个训练管线共 5 个阶段完整细节可查阅 README.md 的 Training Methodology 部分。阶段1Star Elastic 压缩120B → 74B模型并非从零训练而是由父模型Nemotron 3.5 Super VL 120B-A12B压缩而来。NVIDIA 使用了自研的 Star Elastic 算法——一种按按钮式、由路由器引导的架构搜索 端到端压缩方法路由器按预算异构选择各层的专家数量和 MoE 中间层宽度expert top-K 从父模型的 22 降到9搜索目标在batch size 1、128K 上下文、显存低于 24GB的部署预算内找到知识蒸馏损失最低的架构知识恢复训练共 120B tokens先在 8K 上下文恢复 72B tokens短上下文恢复更快再扩展到 128K 上下文训练 48B tokens。阶段2视觉适配器重挂载压缩只发生在文本塔上视觉能力需要接回来将父模型训练好的视觉塔重新挂到压缩后的 LLM 上只轻量微调视觉-语言投影层vision adapter。训练混合了约 660 万条图像样本/epoch包含英文图文问答、Qwen3-30B 重写的 CC3M 图注、中文文档 OCR 以及 PDF/表格数据。阶段3监督微调SFT视觉侧针对 ScreenSpot Pro约 10.1B tokens和 WebArena约 9.5B tokens的数据混合辅以 MolmoWeb/WebVoyager 浏览数据、CharXiv 图表、HopChain 多页文档等文本侧使用 Kimi-K3 生成的合成数据定向覆盖 AIME、GPQA Diamond、Terminal Bench 2.1、SciCode 等基准并掺入少量 GLM 5.2 生成的MCP-Atlas 轨迹通过SLERP 插值做 checkpoint 合并平衡文本与视觉能力——这是保证压缩后文本精度几乎不降的关键。阶段4强化学习——MCP/SWE 能力的真正来源 这是全文最值得关注的部分原文见 README.md包含两层第一层RLHF 对齐使用 Nemotron 3 Ultra GenRM 奖励模型该奖励模型本身还带推理惩罚reasoning penalty逼迫模型用更少的 token 完成推理——直接服务于本地部署的token 效率。第二层多环境端到端 GRPOE2E RLRL 环境配置关键成果MCP E2E32 个 prompt × 每 prompt 16 次生成 512 batch模拟 MCP server任务需多轮工具交互MCP-Atlas 公开子集得分从约 48 提升到约56SWE-RL E2E64 个 prompt × 16 次生成 每步 1,024 条轨迹最长序列 196,608 tokensAdam 学习率 3×10⁻⁶同步优化生成 token 与工具调用效率PinchBench 泛化收益10 次重复平均最高90.4Terminal不用于 RL 训练仅用于生成 on-policy rollout防止量化阶段能力回退几个值得注意的工程细节MCP-Atlas 的评分机制coverage 指标以 0.75 为阈值每任务内的多个 claim 单独打分取均值最终按任务给二值 pass/fail。团队观察到继续 RL 训练能持续提升各任务的 coverage 分数但没有转化为过阈值后的官方分数提升——是否更长训练能最终提升官方分仍是一个开放问题Terminal 环境不进 RL它被保留为回归守门员在量化阶段5时生成策略内 rollout确保压缩不掉点。阶段5量化感知蒸馏QAD压进 24GB全部专家量化为IQ2-XXS每参数仅2.0625 bit用 QADQuantization-Aware Distillation 恢复精度工具链为 Modelopt混合精度Mamba 层保持 NVFP4Embedding/输出层保持 Q8_0低 batch 推理下2-bit 权重让 kernel 延迟随压缩率线性下降推理速度反而更快。 基准成绩小显存模型的成绩单官方对比数据IQ2 版摘自 README.md基准Qwen3.6-35B-A3B BF16Gemma4 26B-A4B BF16Nemotron 3.5 Bolt 74B-A9B (IQ2)Terminal-Bench 2.144.3837.2250.98MCP-Atlas51.20—52.20BrowseComp网页浏览48.7426.3066.75WebArena视觉36.6038.2050.86GPQA Diamond83.4079.6186.43SciCode35.3340.2841.02HLE无工具19.5617.4225.30Tau3 Banking10.5214.0217.01在 Agent 类任务终端、MCP、浏览、WebArena上全面领先这就是RL 为主战场环境定向训练带来的直接回报。 本地部署llama.cpp 一键跑 Agent部署支持 RTX/DGX Spark64GB/128GB或 32GB/48GB 独立显卡官方提供 28GB 与 32GB 两套配方见 README.md。核心要点下载主模型NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf与视觉投影文件mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf本仓库已包含两者可选加载 LiLiCorr 草案模型启用DFlash 投机解码32GB 配方最多 7 个草稿 token显著提速用llama-server启动关键参数-ngl 999、--ctx-size 6553628GB 配方或26214432GB 配方、--temp 1.0 --top-p 0.95、--flash-attn on、--jinja通过 OpenAI 兼容 API 调用enable_thinking参数控制推理模式medium_effort切换中等推理强度。完整的 Windows/Linux 启动脚本与工具调用tool calling示例都在 README.md 中照抄即可。 延伸阅读与合规信息完整模型卡含训练数据明细、部署配方README.md安全说明safety.md偏见说明bias.md可解释性说明explainability.md隐私说明privacy.md小结Nemotron 3.5 Bolt 的训练路线可以概括为——大模型蒸馏压缩打底Star Elastic→ SFT 恢复通用与视觉能力 → 多环境 E2E GRPO 强化学习雕刻 Agent 行为 → QAD 2-bit 量化落地本地。其中强化学习不是锦上添花而是 MCP/SWE/终端能力从能用到领先的核心杠杆也是这套 24GB 本地 Agent 模型最值得借鉴的工程实践。赞分享大模型基础模型多模态模型量化本地部署AI Agent推理模型【免费下载链接】NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF项目地址https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF点击查看免费下载相关推荐为什么 24GB 显存能跑 74B 大模型NVIDIA Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr-GGUF 背后的 MoE 激活奥秘为什么 24GB 显存能跑 74B 大模型NVIDIA Nemotron 3.5 Bolt 74B A9B 24GB LiLiCorr GGUF 背后的 MoNVIDIA Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr-GGUF 训练数据全揭秘1B 到 10T 级合成数据如何炼成投机解码草稿模型NVIDIA Nemotron 3.5 Bolt 74B A9B 24GB LiLiCorr GGUF 训练数据全揭秘1B 到 10T 级合成数据如何炼成投机从120B到74BNVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF五阶段训练流水线全揭秘从120B到74BNVIDIA Nemotron 3.5 Bolt 74B A9B 24GB GGUF五阶段训练流水线全揭秘 NVIDIA Nemotron大模型基础模型多模态模型量化本地部署AI Agent推理模型上一篇Nerd Fonts支持JetBrains Maple Mono让你的编辑器图标更丰富下一篇pg_duckdb事务机制深度剖析ACID兼容与MVCC实现创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考