大模型基础模型多模态模型量化DeepSeek【免费下载链接】DeepSeek-V4.1-Flash-NVFP4项目地址https://ai.gitcode.com/hf_mirrors/nvidia/DeepSeek-V4.1-Flash-NVFP4点击查看免费下载DeepSeek-V4.1-Flash-NVFP4 是 NVIDIA 用 Model Optimizer 对 DeepSeek-V4.1-Flash 做 NVFP4 量化后的推理模型总参数 552Bprefill 激活 8B / decode 激活 16B支持 100 万 token 上下文并原生搭载压缩稀疏注意力 CSA2Compressed Sparse Attention 2与 196B 的 Engram 条件记忆。本文将完整拆解它如何靠滑动窗口 压缩 KV 两级候选选择三板斧让百万上下文推理不再被 KV 缓存拖爆显存。一、为什么百万上下文最容易爆显存长上下文大模型的瓶颈不在权重而在KV 缓存痛点说明KV 缓存随长度线性增长每生成一个 token都要为所有层追加新的 K/V 向量稠密注意力是 O(n²)100 万 token 时每个 query 要对 100 万个 KV 位置打分精度放大问题BF16 下仅一个 head_dim512 的 KV 头1M 上下文就要约 1 GiBDeepSeek-V4.1-Flash 的答案是CSA2 极低比特存储每个 query 只关注近处 128 个原始 token 远端选出的 512 个压缩位置注意力开销与上下文总长基本解耦。二、DeepSeek-V4.1-Flash-NVFP4 关键规格速览 项目数值骨干参数552BMoE40 层 × 384 路由专家 1 共享专家激活参数prefill 8B / decode 16B额外条件记忆Engram 196Bn-gram 哈希查表上下文长度1,048,5761M量化MoE 专家 NVFP4 W4A4group16Engram 表 MXFP4检查点体积约 400 GiB48 个 safetensors 分片目标硬件NVIDIA Blackwell测试于 4×GB300TP4推理引擎vLLM需 MXFP4 Engram 支持、SGLang旧版 FP8 Engram模型结构一览见 README.md运行参考配置见 inference/config.json。三、CSA2 核心给注意力配置三层记忆CSA2 把每层的注意力拆成两个并行的 KV 来源最终拼进一次稀疏注意力调用inference/model.py 的Attention.forward每层 query ├─ ① 滑动窗口最近 128 个原始 token 的 KVFP8环形缓冲 └─ ② 压缩记忆从 1M 历史里选出的 512 个压缩位置FP4 ↓ 两级筛选 ① 粗选块级 Top-2048每块 8 个位置 ② 精选位置级 Top-5121M 上下文下每个 query 只算 128 512 640 个 KV 位置注意力计算量约为稠密方案的 1/1560——这就是不爆显存、不拖速度的第一层逻辑。3.1 第一层128 token 滑动窗口所有 40 层都保留一个window_size128的环形缓冲window_kv_cachedecode 时每步只写入 1 个 tokeninference/model.py。窗口 KV 以 FP8 量化存储每层体积仅约 64 KB可忽略不计。它保证模型对当前句拥有逐 token 的精确注意力。3.2 第二层Compressor 把 2 个 token 压成 1 个 KVcompress_ratios为每层指定压缩比第 2~19 层是2:1第 20~39 层是 1:1第 0、1 层及 MTP 层为 0仅滑动窗口。配置见 config.json。2:1 压缩并非简单取平均。Compressorinference/model.py为组内每个 token 学习一个打分向量用softmax 门控加权池化2 个连续 token 得到 1 个 KV 潜向量decode 时组内未满的部分缓存在状态中每凑满 2 个 token 才吐出一个潜向量压缩 KV 以NVFP416 元素一组E4M3 scale写入缓存精度远低于 BF16一个潜向量代表 2 个 token位置间距更远因此使用独立的compress_rope_theta160000做 RoPE 外推配合 YaRNfactor16扩展到 1M 长度。3.3 两级候选选择从 50 万压缩位置里挑 512 个1M 上下文下2:1 压缩后仍有约 52 万个压缩位置全量打分太贵。CSA2 采用两级 top-k一级·块级粗选inference/model.py 的select_candidate_blocks 在candidate_source_layer20处把压缩位置按每 8 个一组切块用块内最高分代表块得分选出Top-2048 个块含最新 token 的块被强制保留避免最近的记忆被老块挤掉。二级·位置级精选inference/model.py 的Indexer 一个小型旁路注意力32 个 FP4 量化 index query 头对共享的 index key 打分经 ReLU 整流与逐头权重加权后每个 query 只保留Top-512 个压缩位置。妙处在于索引结果分层复用8 个 index 源层2、8、14、20、24、28、32、36各自发布 top-k 索引中间层直接读取不必重复计算。3.4 sparse_attnFlashAttention 式稀疏内核选出的位置索引入库后真正的前向由自研 TileLang 内核 inference/kernel.py 完成按索引 gather KV、online softmax 增量归约并内置可学习的attn_sink偏置——整层注意力只需一次遍历即可完成无需物化 n×n 注意力矩阵。四、显存账本共享缓存 Engram 落地主机内存 CSA2 的第二重省显存设计是KV 缓存共享40 层中只有kv_source_layers[2, 8, 14, 20]四层真正压缩并存储压缩 KV其余 34 个使用压缩注意力的层通过运行时共享句柄shared_attn直接读同一份缓存。1M 上下文下的压缩 KV 体积估算项计算体积单个源层压缩 KVFP4524,288 位置 × 512 dim × 0.5 B≈ 134 MiB4 个源层合计共享复用134 MiB × 4≈ 0.5 GiB对比单层 1M 稠密 KVBF161,048,576 × 512 × 2 B≈ 1 GiB另一块大头Engram 196B 条件记忆也做了极致压缩n-gram 哈希表从源 FP8 转为MXFP4E2M1 每字节打包 2 值每 32 元素 1 个 UE8M0 scale配置记录在 config.json。TP4 时每个 rank 仅占12.2 GiBFP8 版需 23.6 GiB且 vLLM 默认将其放入 pinned 主机内存进一步让出显存。Engram 的机制本身也很精巧对每个位置用 2~4-gram 做滚动异或哈希落入素数分桶的哈希表查表取行向量再按门控注入残差流inference/engram.py 与 inference/model.py。归一化词表下 The / the / THE 会折叠到同一哈希天然具备形态不变性。五、NVFP4 量化只压该压的地方 这个检查点的量化策略是典型的混合精度外科手术hf_quant_config.json压40 层 × 384 个路由专家的 w1/w2/w3 投影 → NVFP4 W4A4group size 16不压注意力*.attn.*、共享专家、视觉塔、MTP/DSpark 全部保持源精度适用处为 MXFP8。全部 169.87 亿个权重块通过无损转换校验反量化值逐位保留激活 scale 经 1024 条校准样本标定。效果上几乎无感官方基准对比%精度GPQA DiamondAA-LCRSciCodeIFBenchMMMU-ProTerminal-Bench 2.1MXFP4源模型91.03578.56354.40176.66774.04681.60NVFP4 MXFP4 Engram90.78379.56253.99477.86774.56681.88量化后长上下文召回、指令遵循、视觉理解等指标甚至小幅提升。六、一分钟拉起 1M 上下文服务 硬件要求 NVIDIA Blackwell官方在 4×GB300 上验证。先获取仓库git clone https://gitcode.com/hf_mirrors/nvidia/DeepSeek-V4.1-Flash-NVFP4vLLM 部署需含 MXFP4 Engram 支持的构建旧镜像请锁定 FP8 Engram 的上一版本vllm serve nvidia/DeepSeek-V4.1-Flash-NVFP4 \ --tensor-parallel-size 4 \ --tokenizer-mode deepseek_v41 \ --reasoning-parser deepseek_v41 \ --max-model-len 1048576 \ --max-num-seqs 32 --max-num-batched-tokens 8192 \ --enable-chunked-prefillSGLang 部署--tp 4 --context-length 1048576完整参数见 README.md。如果想在单机上读懂整套前向逻辑视觉编码器、CSA2 两级索引、Engram、MoE、Hyper-Connections、DSpark 投机头仓库自带一份可读的参考实现 inference/python -m pip install -r inference/requirements.txt INPUT_FILEinference/examples/example.txt ./inference/run.sh七、总结三招吃下 1M 上下文窗口保底128 token FP8 滑动窗口保证局部精度成本约 64 KB/层压缩 两级检索2:1 门控池化 块级 Top-2048 → 位置级 Top-512每 query 注意力固定 640 个位置共享 低比特 主机内存4 个源层共享压缩 KV1M 上下文约 0.5 GiBEngram 196B 以 MXFP4 落主机内存专家权重 NVFP4 W4A4 近乎无损。对新手而言这套设计给了长上下文工程一个清晰的参照系把记住一切改成窗口里精确看、远端按需取再叠加激进而克制的低比特量化百万上下文才能真正跑得起、跑得动。赞分享大模型基础模型多模态模型量化DeepSeek【免费下载链接】DeepSeek-V4.1-Flash-NVFP4项目地址https://ai.gitcode.com/hf_mirrors/nvidia/DeepSeek-V4.1-Flash-NVFP4点击查看免费下载相关推荐解密DeepSeek-V4-Flash-nvfp4-DSpark混合注意力MLA压缩稀疏重度压缩如何轻松实现1M上下文解密DeepSeek V4 Flash nvfp4 DSpark混合注意力MLA压缩稀疏重度压缩如何轻松实现1M上下文 DeepSeek V4 FlashDeepSeek-V4.1-Flash-Quark-MXFP4稀疏注意力深度剖析滑动窗口两级Indexer如何支撑百万级长上下文DeepSeek V4.1 Flash Quark MXFP4稀疏注意力深度剖析滑动窗口两级Indexer如何支撑百万级长上下文 DeepSeek V4.1大模型模型量化多模态DFlash注意力是什么DeepSeek-V4-Flash-Vision-Exp三级压缩注意力滑窗/稀疏/重度压缩完全图解DFlash注意力是什么DeepSeek V4 Flash Vision Exp三级压缩注意力滑窗/稀疏/重度压缩完全图解 本文带你一次看懂 DeepSe人工智能大模型多模态基础模型DeepSeek上一篇Qwen3-30B-A3B-base-mla-topk8-rank512 vs Qwen3-30B-A3B-Base3大核心区别与选型指南下一篇V8 仓库中的 ECMAScript 规范评估 Skill以 ECMA-262 抽象机精度评测 JavaScript创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考