DeepSeek今日发布了DeepSeek-V4-Pro 1.6T 旗舰模型(1.86万亿参数及DeepSeek-V4-Flash 284B 高效模型2840亿。由智源研究院牵头研发的众智FlagOS第一时间对两个“巨无霸”模型进行全量适配已经完成 DeepSeek-V4-Flash在 8款以上 AI 芯片上的全量适配与推理部署包括海光、沐曦、华为昇腾、摩尔线程FP8、昆仑芯、平头哥真武、天数、英伟达FP8等芯片。FlagOS 同时正在推进 DeepSeek-V4-Pro 模型在多个芯片的迁移适配后续即将开源。首先完成在八款芯片适配的DeepSeek-V4-Flash 是深度求索推出的 V4 系列两大模型之一采用混合专家MoE架构总参数量 284B激活参数仅 13B支持 100 万 token上下文长度。该模型在架构上引入了混合注意力机制结合压缩稀疏注意力CSA与高度压缩注意力HCA大幅提升长上下文效率、流形约束超连接mHC增强跨层 信号传播稳定性以及 Muon优化器加速收敛、提升训练稳定性。预训练数据超过32Ttoken后训练采用两阶段范式——先通过 SFT和GRPO强化学习独立培养领域专家再通过在线策略蒸馏将多领域能力统一整合到单一模型中。在最大推理力度模式Flash-Max下给予更大思考预算使其推理能力可接近Pro版本水平受限于参数规模在纯知识类任务和最复杂的Agent工作流上略逊于 Pro。 整体性能参考如下官方评测结果围绕DeepSeek-V4-Flash多芯适配此次FlagOS系统软件技术栈突破了三大关键技术FlagGems全算子替代实现多芯片统一适配、为o-group采用独立张量并行策略解锁更多低显存场景、以及“FP4FP8混合精度”的原生权重到 FP8/BF16 的精度路径转换。当下国内出货的AI芯片都没有FP4的支持。英伟达也只有在Blackwell及之后的高端芯片才支持FP4。这三项关键技术使得DeepSeekV4能够在当前各种厂商的主流AI芯片上稳定运行而非仅限于支持 FP4 和大显存的少数高端AI加速卡。三大技术突破为什么对支持多种AI芯片十分重要突破一FlagGems 提供支持8种以上芯片的全算子替代——真正意义上的跨芯方案本次 DeepSeek-V4-Flash 的适配FlagGems 实现了模型推理链路中全部算子的替代。这意味着什么彻底脱离 CUDA 算子依赖DeepSeek-V4-Flash的 MoE 专家调度、Attention 计算、RMSNorm、TopK 路由等全部核心计算模块均由 FlagGems 基于 Triton/Triton-TLE语言重新实现不调用任何 cuDNN/cuBLAS 等NVIDIA私有库。无需芯片厂商逐一适配传统模式下每款新模型上线芯片厂商需要投入工程团队做算子适配。现在通过FlagGemsFlagTree编译器的组合新模型的算子可以直接编译到多款芯片后端芯片厂商不需要做任何额外工作。新算子即时可用DeepSeek-V4-Flash引入的新计算模式如 o-group 相关的分组路由机制FlagGems 已经实现了对应的新算子并通过 FlagTree 编译器统一编译到所有支持的芯片后端。FlagGems 作为全球最大的 Triton 单一算子库已拥有超过400 个大模型常用算子并已正式进入 PyTorch 基金会生态合作项目。在 40 个主流模型上推理任务算子覆盖度达到 90%~100%完整支持 DeepSeek-V4-Flash的全部计算需求。突破二为o-group采用独立并行策略——解除张量并行最多单机8卡限制DeepSeek-V4-Flash为了进一步降低计算开销采用了分组输出投影技术Grouped Output Projection配置为o-group8这导致在传统的张量并行时候最多切8份。而当前一些主流国产芯片的单卡显存为 32GB 或 64GB尤其在BF16格式情况下需要张量并行大于8份才能放的下。为了解除这个限制FlagOS专门针对o-groups进行了单独张量并行策略设计和实现确保o-groups切分不超过8份的前提下能够让模型其他部分还采用经典的张量并行策略并且实现超过8份的切分。通过不同的张量并行策略组合能够实现多于8台设备的张量并行运行。FlagOS 团队对o-group张量并行改动有独立的并行策略独立于已有的张量并行通信组之外为o-group单独构建所需要的张量并行通信组确保其他模型结构张量并行切分超过8的情况下o-group的张量并行在8以内。参数转换调整对o-group相关的参数也进行了对应单独的张量并行切分处理以确保在新的独立张量并行策略下也能够被正确加载。覆盖面扩展这一优化能够将 DeepSeek-V4-Flash在单独采用张量并行策略下将可运行芯片范围从仅限单机80GB以上显存的个别高端卡扩展到多机64GB/32GB的更多主流国产芯片包括海光、沐曦、天数智芯等厂商的主力产品线。突破三从“FP4FP8混合精度” 到 BF16的精度转换——打通主流芯片的计算路径DeepSeek-V4-Flash模型发布时首次采用 FP4FP8混合精度该精度只有在Blackwell及之后的英伟达最新硬件上才有支持但当前所有国内非英伟达 AI 芯片都未能支持只有摩尔线程原生支持了FP8其余依然以BF16为主。FlagOS 完成了从 FP4 到 BF16 的完整精度转换权重反量化将 FP4 量化权重转换为 BF16 格式。这不是简单的类型转换而是需要根据 DeepSeek 的量化方案进行逆量化计算确保数值精度。计算路径重建FP4 和 BF16 在底层计算上有本质差异——FP4 的动态范围更窄累加精度、溢出处理策略均不同。FlagOS 对推理链路中的 GEMM、Attention、MoE 路由等关键计算节点逐一适配了 BF16 路径。精度对齐验证经过标准评测集验证BF16 版本与 FP4 原生版本在核心能力指标上保持对齐确保精度转换不引入业务层面的效果损失。本次FlagOS推出了FP8和BF16两种适配版本让DeepSeek-V4-Flash不再是只有最新 NVIDIA 卡才能跑的模型而是真正可以部署在 FP8 及 BF16 生态的主流国产芯片上。FlagGems开源高性能新算子 全面支持 DeepSeek-V4-Flash本次新发布的DeepSeek-V4-Flash共有大约67个算子FlagGems已全量支持。新支持了Act Quant、hc_split_sinkhorn、FP8 MatMul、Sparse Attention、Hadamard Transform等5个新算子实现了对DeepSeek-V4-Flash的全面支持也为跨芯适配打下重要基础。FlagGems 支持 DeepSeek-V4-Flash 新算子的性能对比为了支持更多AI芯片的使用FlagOS对DeepSeek-V4-Flash中使用的新算子使用Triton语言进行重新实现基于FlagTree统一编译器性能全部超过原生性能。C Wrapper技术是FlagOS技术社区专门为提升基于Triton语言的算子内核调用效率而打造的技术。目前已经支持了该技术的芯片包括华为昇腾、寒武纪、摩尔线程、平头哥真武、及英伟达等。使用了C Wrapper技术在普通的Transformers框架下可以显著提升使用了Triton算子的模型的端到端效率实现跨芯普适、和高效推理的双重目标。通过端到端效果评测NV H20DeepSeek-V4-Flash FP8C Wrapper Triton 比 TileLang 快11%比 Python Wrapper 版快 39%。开发者极致体验发布即多芯 极简部署1. 核心能力与原生版本对齐经 GPQA_Diamond、AIME等权威评测集验证FlagOS 适配后的 DeepSeek-V4-Flash在语言理解、复杂推理、代码生成、数学计算等核心能力上与 CUDA 原生版本对齐可放心应用于金融、教育、政企服务、代码开发等场景无需担心适配导致业务效果折损。评测数据注本测试结果仅用于对迁移前Nvidia-Origin和迁移后-FlagOS版本的互相对齐验证并不代表 DeepSeek 模型的官方性能DeepSeek 模型的官方性能以 DeepSeek 官方公布数据为准。2. 极简部署开箱即用底层优化无感知FlagOS 将核心算子库、编译器等技术组件前置内置到 DeepSeek-V4-Flash代码框架中开发者加载模型时底层优化代码自动生效无需手动添加任何 FlagOS 初始化代码。同时基于 FlagRelease 直接提供了多芯片版本的 DeepSeek-V4-Flash-FlagOS 模型版本标准化 Docker 镜像 一键加速命令解决了开发者最头疼的环境配置、效果对齐、性能优化等问题。FlagOS 2.0 技术底座从大模型到智能体时代的全栈升级DeepSeek-V4-Flash的三重突破依托的是 FlagOS 2.0 统一多芯片系统软件栈的全链路能力。从算子层、编译层、框架层到工具层全链路为大模型跨芯适配提供技术支撑将原本数周的适配周期缩短至数天真正实现极速落地。FlagOS面向多种 AI 芯片的系统软件栈1. 高性能算子库 FlagGems核心算子深度适配释放硬件算力FlagGems 作为 FlagOS 核心的高性能通用大模型算子库基于 Triton 语言实现针对 DeepSeek-V4-Flash推理链路的核心算子进行了深度适配与优化包括 MoE 专家调度、Attention 计算、RMSNorm 等关键计算模块同时原生支持 NVIDIA、摩尔线程、沐曦、清微智能、天数等接近 20 家 AI 芯片。2. 统一 AI 编译器 FlagTree一次编写多芯编译FlagTree 是 FlagOS 面向多 AI 芯片后端的统一编译器基于 Triton 深度定制可将 DeepSeek-V4-Flash的核心算子编译为英伟达、摩尔线程等十多种不同 AI 芯片后端可识别的指令彻底解决不同芯片编译器生态割裂的问题大幅降低算子跨芯片适配的开发成本。3. 模型跨芯迁移发布工具 FlagRelease半自动实现模型跨芯迁移与版本发布依托 FlagOS 全栈技术能力FlagRelease 已完成 DeepSeek-V4-Flash在多种芯片上的模型迁移、精度对齐与版本发布覆盖 HuggingFace、魔搭等开源社区平台。开发者可直接下载使用无需自行迁移。截至本文发布FlagRelease 已发布覆盖 10 家芯片厂商、12 款硬件、70 个开源模型实例的跨芯适配版本。4. 统一多芯片接入插件 vLLM-plugin-FL无缝兼容原生使用习惯vLLM-plugin-FL是 FlagOS 为 vLLM 推理服务框架打造的专属插件基于 FlagOS 统一多芯片后端开发在完全不改变 vLLM 原生接口与用户使用习惯的前提下实现多芯片推理部署。目前 vLLM-plugin-FL 已经支持了英伟达、摩尔线程、海光、沐曦、平头哥真武、天数智芯、昆仑芯、华为等多家芯片。开源共建FlagOS持续做开发者的“跨芯适配后盾”当下异构算力协同、大模型普惠落地已成为全球开源开发者社区的核心热点打破硬件生态隔离、让大模型在不同算力平台高效低成本运行是无数开发者的核心诉求。FlagOS 从诞生之初就将开源开放、众智共建刻入技术基因始终以开发者为中心通过全栈开源的统一系统软件栈把复杂的M×N硬件适配问题降维为MN做每一位开发者最可靠的跨芯适配后盾。目前FlagOS 已形成完整的开源技术体系所有核心组件均已开源在 GitHub同时开放了数十款最新的主流基础大模型、十多款 AI 芯片的适配方案与最佳实践开发者可自由获取、深度定制四大核心技术库 FlagGems 通用大模型算子库、FlagTree 统一 AI 编译器、FlagScale 训练推理并行框架、FlagCX 统一通信库覆盖算子开发、编译优化、并行计算、跨芯片通信全链路三大开源工具平台 FlagRelease 大模型自动迁移发版平台、KernelGen 算子自动生成工具、FlagPerf 多芯片评测工具提供从模型适配、性能评测到工程落地的一站式工具链全场景扩展生态 vLLM-plugin-FL、Megatron-LM-FL、TransformerEngine-FL 等框架增强组件以及 FlagOS-Robo 具身智能工具包覆盖大模型训练、推理、应用全场景。