大模型人工智能模型量化【免费下载链接】NVIDIA-Nemotron-Labs-Dory1.0-4B-NVFP4项目地址https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-NVFP4点击查看免费下载NVIDIA-Nemotron-Labs-Dory1.0-4B-NVFP4是 NVIDIA 推出的一个 40 亿参数4B“循环式”looped大语言模型它把共享的 40 层循环块反复套用 1~4 次用同一份 NVFP44-bit 浮点权重就能在1~4 倍推理算力之间自由切换还支持 256K 长上下文与商业使用。对新手来说它的最大卖点是——换“算力档位”不需要换模型也不需要重新训练。图4B 的 Dory1.0-4B 在 2 次循环时已超越 Gemma4-26B-A4B4 次循环时逼近 Qwen3.6-35B-A3BAA v4.3.2 内部估算分30 秒速览Dory1.0-4B 是什么项目说明参数规模4B架构循环式latent-recurrentnormalized-GPT滑窗注意力SWA与全注意力层交错精度NVFP44-bit 权重 16-bit 激活W4A16上下文最长 256K tokens语言英文预训练覆盖 43 种编程语言许可证OpenMDW 1.1可商用定位小体积下的通用推理 / 编码 / Agent 任务一句话概括它不是“堆参数”的传统小模型而是把算力和精度做成旋钮的弹性模型。为什么“循环”是关键架构拆解传统 GPT 的每一层只经过一次Dory 则把 72 层拆成三段见 config.jsonInput 块16 层Recurrent 块40 层共享权重被反复套用 N 次Output 块16 层每次循环之间还会把输入重新注入reinject让模型在“隐空间”里反复咀嚼同一句话而不是急着往外吐字。循环次数由参数n_recurrent_loops控制默认 2可设为 1/2/3/4配合 1024 的滑动窗口与交错的全注意力层长上下文的 KV 缓存压力也比同规模纯全注意力模型更低。一个权重文件四档算力怎么选循环次数这是 Dory 最实用的能力——同一份model.safetensors权重改一个参数就是不同算力档位档位适用场景1 loop单 token 算力最低适合高并发、成本敏感场景2 loops官方默认推荐精度/算力最佳平衡点大多数精度收益来自第 2 次循环4 loops精度优先尤其适合 SWE-bench、Terminal-Bench 等 Agent/编码任务官方在统一评测框架下给出的部分分数越高越好† 为 4 loops 列任务Dory 1 loopDory 2 loopsDory 4 loopsQwen3.5-4BGemma4-26B-A4BSWE-bench Verified修 Bug50.359.561.854.757.4Terminal-Bench 2.1终端 Agent12.518.122.21535GPQA Diamond研究生级科学问答69.272.472.277.780.4IFBench指令遵循74.377.979.053.877.9可以看到在编码与 Agent 类任务上4 loops 的 4B Dory 反超了 9B~26B 的同台选手。完整榜单见 README.md。思考越多、说得越少token 效率实测循环式推理有个隐藏福利更多算力花在“内部思考”上输出 token 反而变短了。下图展示了相对 1 loop 的单次尝试输出量图4 loops 时Terminal-Bench 2.1 输出量降至 1 loop 的 0.50xGDPval-AA-V2 仅 0.40x这意味着在 Agent 任务中“4 次循环 更短输出”的端到端延迟和成本未必高于“1 次循环 长输出”——选档位时建议按自己的实际负载测端到端耗时而不只看单次前向。KV 缓存内存per_loop 与 last_loop 两种模式循环模型每套一轮KV 缓存就涨一截Dory 给出两个开关recurrent_kv_cache_modeper_loop每轮循环独立缓存精度最稳内存随循环数增长last_loop每层只保留最后一轮的 KV任何循环数下缓存占用都等于 1 loop官方实测精度几乎不降。长上下文 高并发时建议直接上last_loop把省下的显存留给更多并发请求。快速上手vLLM 与 llama.cpp 部署指南方式一vLLM 启动推理服务推荐Dory 的 vLLM 支持目前还在合入主线需从对应 PR 安装VLLM_USE_PRECOMPILED1 pip install githttps://github.com/vllm-project/vllm.gitrefs/pull/60149/head然后启动服务默认 2 loops256K 上下文vllm serve --model nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-NVFP4 \ --hf-overrides {n_recurrent_loops: 2, recurrent_kv_cache_mode: per_loop} \ --max-model-len 262144 --max-num-seqs 128 \ --enable-prefix-caching --async-scheduling \ --reasoning-parser nemotron_v3 --tool-call-parser qwen3_coder \ --enable-auto-tool-choice想切换档位改n_recurrent_loops为 1~4 即可想省显存把recurrent_kv_cache_mode改为last_loop采样建议同 generation_config.jsontemperature 1.0、top_p 0.95工具调用时加上force_nonempty_content: true。方式二llama.cpp适合 Mac / 本地轻量部署构建支持 Dory 的 llama.cpp 分支README 中给出了 Apple Silicon 的完整 cmake 命令含 Metal 加速下载配套的 Q5_K_M GGUF 权重约 3.67 GB校验 SHA-256 后启动llama-server用--override-kv设置循环数与缓存模式--override-kv dory.num_loopsint:2,dory.recurrent_kv_cache_modestr:per_loop启动后浏览器打开http://127.0.0.1:8080即可聊天OpenAI 兼容 API 在:8080/v1。为什么选 NVFP44-bit 原生预训练 实测加速Dory 不是一般“训练完再量化”的模型——它在6T tokens 预训练中前 ~4.5T 直接用 NVFP4 原生训练之后再切回 BF16量化配置见 hf_quant_config.jsonW4A16、group_size 16词嵌入与 lm_head 不量化。NVIDIA 在 DGX Spark 上实测相对 BF16 基线输入/输出长度BatchMXFP8 加速NVFP4 加速2560 / 30011.69x2.17x128 / 102411.84x2.44x也就是说4-bit 权重 循环推理在消费级/边缘 GPUHopper、Blackwell、DGX Spark上也能跑出 2 倍以上的推理提速。除 NVFP4 外官方还提供 BF16、MXFP8 与 GGUFQ5_K_M版本可按需选择。仓库文件导航文件作用README.md模型卡架构、基准、部署与训练细节config.json72 层结构、1024 滑窗、默认 2 循环等核心超参hf_quant_config.jsonNVFP4 量化算法W4A16_NVFP4配置generation_config.json推荐采样参数temp 1.0 / top_p 0.95chat_template.jinja对话与工具调用 Jinja 模板model.safetensorsNVFP4 权重的 Git LFS 入口文件tokenizer.json / tokenizer_config.json131K 词表分词器配置总结小模型也能“多花点时间想清楚”Dory1.0-4B 证明了另一条路线不堆参数堆“循环思考”。一份权重文件覆盖 1~4 倍算力档位循环越多输出越短NVFP4 再叠加 2 倍以上的硬件加速——对想在有限显存里跑强推理/编码小模型的同学它值得放进你的测试清单。上手路径很简单vLLM 起服务 → 默认 2 loops 跑起来 → 按任务在 1/2/4 之间调档。赞分享大模型人工智能模型量化【免费下载链接】NVIDIA-Nemotron-Labs-Dory1.0-4B-NVFP4项目地址https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-NVFP4点击查看免费下载相关推荐NVIDIA Dory1.0-4B-NVFP4 循环次数怎么选1/2/4 Loops 精度、速度与成本权衡完全攻略NVIDIA Dory1.0 4B NVFP4 循环次数怎么选1/2/4 Loops 精度、速度与成本权衡完全攻略 如果你正在部署 NVIDIA Dory1.大模型人工智能模型量化NVFP4 4 位原生量化实战NVIDIA Dory1.0-4B-NVFP4 如何实现 DGX Spark 上 2.17 倍推理加速NVFP4 4 位原生量化实战NVIDIA Dory1.0 4B NVFP4 如何实现 DGX Spark 上 2.17 倍推理加速 NVIDIA Nemot大模型人工智能模型量化解剖 NVIDIA Dory1.0-4B-NVFP4 架构Looped 潜空间循环 SWA/Full Attention 混合注意力如何让 4B 模型扩展智能解剖 NVIDIA Dory1.0 4B NVFP4 架构Looped 潜空间循环 SWA/Full Attention 混合注意力如何让 4B 模型扩展大模型人工智能模型量化上一篇gh_mirrors/aw/awesome-android-ui性能优化布局加载优化下一篇3步搞定Dubbo微服务K8s容器化部署全指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考