大模型基础模型多模态模型量化DeepSeek【免费下载链接】DeepSeek-V4.1-Flash-1017-w8a8项目地址https://ai.gitcode.com/Eco-Tech/DeepSeek-V4.1-Flash-1017-w8a8点击查看免费下载本文手把手拆解ModelSlim 量化流水线以DeepSeek-V4.1-Flash-1017-w8a8模型仓库为实例讲清楚quarot旋转预处理与linear_quant分组量化这两步是如何组合构建出一个可运行的W8A8 昇腾AscendNPU 模型的。你无需深厚的量化数学基础理解流程即可上手部署。 先认识成品这个 W8A8 模型仓库里有什么在讲流水线之前先看成品。本仓库就是一套完整的 W8A8 量化产物权重 int8 激活 int8对称 minmax 量化权重 per-channel / 激活 per-token文件作用quant_model_weights-00001-of-00138.safetensors 等 138 个分片int8 量化后的模型权重按大小切分quant_model_weights.safetensors.index.json权重索引文件描述每个张量在哪个分片quant_model_weights-engram-1.safetensors、quant_model_weights-engram-14.safetensors 及 engram-extra 分片Engram 记忆层第 1、14 层的独立权重optional/quarot.safetensorsquarot 步骤导出的旋转基矩阵推理时应用config.json模型结构 量化配置quantization_config为ascendDeepSeek-V4.1-Flash_best_practice.yamlModelSlim 量化流水线规范文件本文主角quant_model_description.json量化模型的元描述信息tokenizer.json、tokenizer_config.json分词器配置 打开 config.json 可以看到quantization_config: { quant_method: ascend }这是昇腾推理框架vLLM-Ascend识别 W8A8 模型的关键标记。第一步quarot 旋转预处理给量化铺路整个流水线定义在 DeepSeek-V4.1-Flash_best_practice.yaml 中apiversion: modelslim_v1第一个步骤是quarotprocess: - type: quarot online: false block_size: 32 max_tp_size: 4 export_extra_info: true对新手来说可以这样理解 quarot为什么要做直接对原始权重做 int8 量化遇到难量化的分布比如激活值中有离群点时精度损失较大。quarot 先对权重做一个正交旋转把数值分布搅匀使其更适合低比特量化不改变模型能力旋转是数学上的等价变换推理时再乘回即可属于无损预处理旋转基单独导出export_extra_info: true让旋转基矩阵保存到 optional/quarot.safetensors运行时由推理框架加载应用config.json 中engram_rotation_config.value_basis: quarot_global就是它的应用位置。第二步linear_quant 分组量化4 个规则覆盖全部层接下来是核心步骤——4 个linear_quant节点。它们共享同一套量化参数W8A8 的标准配方qconfig: act: # 激活量化 dtype: int8 scope: per_token # 每个 token 独立算缩放 symmetric: true method: minmax weight: # 权重量化 dtype: int8 scope: per_channel # 每个输出通道独立算缩放 symmetric: true method: minmax真正的技巧在include / exclude 的分组规则上4 个节点把模型切成了 4 块节点量化范围include排除exclude保持原精度排除原因注意力层*attn**wo_a、*wo_b、*attn.wq_a、*attn.wkv、compressor/indexer 相关LoRA 低秩分解的两段矩阵与 KV 压缩链路对精度敏感路由专家 FFN*ffn**gate*、*shared_experts*路由 gate 必须高精度否则专家选择会不稳共享专家*ffn.shared_experts*—共享专家每 token 都参与计算单独成组便于管理MTP 层mtp.*的 attention 与 FFN 权重—多 token 预测MTP层单独指定精确控制 一句话总结分组思想敢量化的大胆量到 int8影响路由决策和低秩输出质量的保持原精度——这也是大 MoE 模型本模型有 384 个路由专家 1 个共享专家/层W8A8 量化的通用经验。此外所有分组都会跳过*engram*、*vision*、*aligner*等非文本主干模块它们由专门的适配器处理。第三步校准、导出与昇腾格式保存流水线的收尾配置同样值得了解dataset: mix_calib.jsonl # 混合校准数据集用于统计激活分布 save: - type: ascendv1_saver part_file_size: 4 # 按分片大小切分 → 138 个 safetensors model_adapter: engram_quant_type: int8_sym # Engram 层用 int8 对称量化 dspark: true export_embedding_storage: true校准calibrationmix_calib.jsonl是校准数据流水线会跑一遍数据来估计激活分布确保 per_token 量化参数合理ascendv1_saver按昇腾专用的权重格式导出并按part_file_size切分成 138 个分片配合 quant_model_weights.safetensors.index.json 索引方便推理框架按需加载default_w8a8_dynamic文件末尾还定义了默认的 W8A8 动态量化兜底策略保证未被显式覆盖的线性层也走同样的 int8 规则。如何部署这个 W8A8 昇腾模型 DeepSeek-V4.1-Flash_best_practice.yaml 的verified_tags明确标注了该模型的验证环境verified_tags: DeepSeek-V4.1-Flash: - - vLLM-Ascend - Atlas_A2_Inference - - vLLM-Ascend - Atlas_A3_Inference也就是说在Atlas A2 / A3 推理卡上使用vLLM-Ascend部署本 W8A8 模型即可。克隆仓库的示例命令git clone https://gitcode.com/Eco-Tech/DeepSeek-V4.1-Flash-1017-w8a8拿到模型目录后用 vLLM-Ascend 指向该目录启动服务框架会自动读取 config.json 中的quant_method: ascend配置、加载 138 个 int8 分片与 optional/quarot.safetensors 旋转基完成 W8A8 推理。更多下载方式可参考 README.md。小结ModelSlim W8A8 流水线三要点 ✅quarot 先旋转、再量化用正交旋转改善数值分布旋转基存为独立文件供推理时使用linear_quant 按层分组attn / 路由 FFN / 共享专家 / MTP 四组独立规则gate 与低秩矩阵保持原精度其余全部 W8A8ascendv1_saver 定向导出面向昇腾格式分片保存vLLM-Ascend 在 Atlas A2/A3 上即插即用。想深入流水线细节直接对照 DeepSeek-V4.1-Flash_best_practice.yaml 中的process与save段即可复现一条完整的 ModelSlim W8A8 量化流水线。赞分享大模型基础模型多模态模型量化DeepSeek【免费下载链接】DeepSeek-V4.1-Flash-1017-w8a8项目地址https://ai.gitcode.com/Eco-Tech/DeepSeek-V4.1-Flash-1017-w8a8点击查看免费下载相关推荐逐行读懂best_practice.yamlMiniMax-M2.7-w8a8-QuaRot的modelslim量化流水线全流程逐行读懂best_practice.yamlMiniMax M2.7 w8a8 QuaRot的modelslim量化流水线全流程 本文将带你逐行读懂 Mini大模型基础模型模型量化Polkadot 消息传递机制全解DMP、UMP、XCMP 与 HRMP 的设计与源码实现Polkadot 消息传递机制全解DMP、UMP、XCMP 与 HRMP 的设计与源码实现 本文以 implementers guide 的 Messagin大模型多模态模型量化本地部署QwenMiniMax-M2.7-W8A8-MXFP8-QuaRot量化流水线逐行拆解ModelSlim best_practice.yaml与校准数据全解读MiniMax M2.7 W8A8 MXFP8 QuaRot量化流水线逐行拆解ModelSlim best_practice.yaml与校准数据全解读 本仓库创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考