这两年只要聊到 AI 基础设施绕不开的一个议题就是“国产算力到底能不能顶上去”。我在不少客户的机房和选型会里泡过从最开始大家拿着加速卡跑跑小模型试试水到后来满世界找资源训练千亿参数模型整条产业链的心态已经发生了明显变化。今天这篇就专门做一次竞品分析不吹不黑从份额替代、供给瓶颈和生态竞争这三个最核心的维度把国产 AI 算力芯片目前的真实格局拆开来讲。如果你正在做技术选型、资源规划或者单纯想了解国产加速卡的底细这篇文章会给你一套可用的分析框架和排查思路。我会尽可能用从业者之间的语言把那些公开文档里不会写清楚的“暗坑”和实际经验一并放出来。1. 竞争格局表面百花齐放实际已经分出三个梯队1.1 市场参与者全景扫描国产 AI 算力芯片这个赛道参与者数量在过去三年暴增但真正有规模落地案例的其实屈指可数。我们从产品形态和定位上可以分三类第一类是通用训练加速卡面向大模型预训练、微调这类重负载场景性能对标主流国际产品但架构完全自主。这类产品通常采用高带宽显存、先进封装支持超大规模集群互联是当前政企大单的主力。第二类是推理加速卡专门服务大模型在线推理、AIGC 应用、传统 CV/NLP 推理等场景不追求极限训练吞吐而是更关注单卡并发能力、时延、功耗和性价比。这类产品在互联网公司内部的推荐系统、智能客服、代码助手等业务里渗透很快。第三类是边缘/端侧 NPU通常部署在智算一体机、智能摄像头、机器人等场景算力密度要求不高主打低功耗和软硬一体。这类芯片技术门槛相对低但市场空间分散竞争最混乱。从公开信息和企业调研的交叉验证来看国内真正能量产供货、支撑千卡级集群训练的芯片目前只有少数几家。其他大量创业公司还停留在送测、适配阶段无法形成有效供给。可以说市场已经渡过了“讲故事”的阶段进入了“拼交付”的淘汰期。1.2 份额格局的分化信号我们看 2024 到 2025 年的公开招标和中标数据一个非常明显的趋势是推理芯片的国产化率已经接近甚至超过五成而训练芯片的国产化率仍然不足两成。这说明“份额替代”并不是同步发生的而是按“易到难”的路径递进。最容易替代的是那些生态依赖浅、模型规模小、框架耦合度低的应用。例如图像分类、目标检测、经典 NLP 任务这些场景模型结构固定算子相对标准用国产芯片替换时只需要重新编译和微调精度。而大模型训练场景因为涉及分布式并行策略、显存管理、断点续训、专家并行等复杂机制对芯片厂商的软件栈和集群稳定性要求极高替代成本明显高一个量级。由此形成了很清晰的梯队格局第一梯队拥有自研软件栈完整闭环、能够交付千卡集群训练方案的头部玩家。第二梯队产品和落地案例具备一定规模但在高性能计算、集群互联等关键能力上有明显短板。第三梯队仍以板卡或 IP 授权形式存在实际量产和生态整合能力存疑。我自己的判断是未来两年这个格局会继续分化第一梯队和第二梯队的差距会拉大第三梯队大部分会被并购或边缘化。原因后面深入分析。2. 份额替代路径从可用到好用替代顺序有迹可循2.1 为什么替代不了一蹴而就很多不在一线的人对芯片替代有一个误解觉得只要单卡跑分接近国际产品就能直接换上去。但实际部署中你会遇到一连串问题通信库是否支持大规模集合通信框架补丁是否跟上了最新版本的 PyTorch混合精度下的数值对齐是否没问题算子缺失时能不能及时补上这些问题决定了芯片是“能跑”还是“好用”。我在某个单位测过一款国产芯片单卡推理性能在当时确实达到了国际主流产品的九成。但等到做 64 卡分布式推理服务时并行拆分的效率骤降最终整系统吞吐不到国际方案的七成。问题不在单卡算力而是芯片互联的集合通信延迟和算子库多卡扩展性没有跟上。这给我们提了个醒评估替代潜力必须从“系统视角”看而不是只盯着芯片本身。所以替代实际是分层的第一层应用层替代。程序按原样跑在国产芯片上通常需要进行代码级适配。第二层框架层替代。利用国产芯片厂商提供的框架补丁或定制版 PyTorch/TensorFlow。第三层引擎层替代。使用厂商自研的编译器与运行时将计算图自动调度到底层硬件。第四层系统层替代。从集群调度、通信库、存储、容错机制全面一体化设计。现在能做到第四层的厂商极少大部分只是停留在第二层到第三层之间。这也是很多用户抱怨“支持了但不丝滑”的根本原因。2.2 最佳实践的替代切入点结合我们过去实操的多个迁移项目我总结了三条有效的替代路径路径一从在线推理切入。推理类任务模型结构固定、交互逻辑清晰不需要庞大的分布式训练集群。而且推理业务通常有业务侧降级预案即使芯片出问题也不会造成全局业务中断。先把非核心推理业务迁过去攒运维经验是最稳妥的做法。路径二从中小模型微调切入。百亿参数以下的模型微调对显存、通信、框架扩展性的要求相对温和。很多国产芯片支持 lora、qlora 这类参数高效微调算法迁移成本远低于从头预训练。把微调跑通了再逐步扩展到增量预训练最后再挑战全量预训练。路径三从“新业务场景”切入而不是存量替换。如果你在做一个全新的 AI 应用没有历史包袱用国产芯片构建整个技术栈反而比迁移旧系统更平滑。很多互联网大厂和智算中心新建项目现在都是首选国产方案这也是份额替代最快的增长点。我再强调一个反面教训不要在没有充分验证前把核心训练任务“突袭式”迁移到国产平台。一旦遇到隐性故障例如通信超时、显存泄漏、浮点差异累积排查成本极高很可能会导致项目延期甚至整体失败。替代应该像切香肠一小块一小块稳定落地。3. 供给瓶颈卡脖子的不只是光刻机3.1 产能与良率约束国产 AI 芯片面临的供给瓶颈很多人第一反应是先进制程受限。这个确实存在但并不是唯一的限制。实际上在晶圆制造之外先进封装和 HBM 存储也是两座大山。以当前最强的国产训练芯片为例它们普遍采用较高规格的 CoWoS 2.5D 封装技术需要将计算裸片和多个高带宽显存堆叠集成在同一基板上。这种封装工艺产能原本就紧张国内具备量产能力的封装厂数量有限交期一度拉长到半年以上。再加上高带宽显存主要依赖少数几个海外供应商供需缺口非常明显。这意味着即使设计端完全自主供应链的任何一环波动比如某个基板材料缺货或者某种高频 PCB 型号停产都会直接影响整卡交付。我们在客户项目中就遇到过因为封装基板临时缺料导致整批订单延误的情况那种等待的滋味非常难受。良率方面越大的计算核心良率挑战越大。GPU 类芯片面积动辄 800 平方毫米以上在现有工艺条件下的良率本就不高设计上哪怕存在一个热密度分布不均的模块也会导致成品率进一步下滑。多数国产芯片厂商通过多芯片模块化互联来规避对大裸片的依赖但这又引入了额外的封装复杂度和功耗开销是另一个需要权衡的问题。3.2 供应弹性和利润悖论从产业经济学的角度来看芯片供给瓶颈还有一个无形的因素利润与产能投资的剪刀差。训练芯片制造成本高企但客户压价能力很强尤其是大单集采时单价甚至可能被压至成本线附近。如果单芯片毛利不够厂商就很难持续在先进封装和测试产线上加大投入供给弹性自然受限。这里存在一个动态循环量越小边际成本越高价格难降又反过来限制放量。解决这个问题的关键一是靠大规模标准化产品摊薄成本二是靠软件和服务收入形成第二曲线。目前国内还没有哪个厂商真正跑通“硬件亏钱、软件赚钱”的模式大家都在硬件毛利和生态投入之间艰难寻找平衡。我建议关注国产算力市场的朋友不要只盯芯片发布会上的峰值算力参数更应该关注每个季度“真实出货量”和“可持续现金流”。一个不能自我造血的芯片公司哪怕性能再亮眼也难支撑长期演进和售后技术团队建设。4. 生态竞争决定胜负的“软件护城河”4.1 从 CUDA 惯性到国产软件栈的现状做技术选型的人都清楚AI 芯片的硬件只是骨架软件生态才是血肉。生态环境决定了开发者的迁移成本、运行效率、调试体验和长期演进能力。然而对于国产芯片来说最大的竞争阻力不是性能而是用户对成熟生态的舒适依赖。国际主流的 GPU 计算生态已经非常成熟CUDA 加上其上层的各类算子库、通信库、深度学习框架扩展形成了硬性习惯。很多算法工程师写代码时根本不用刻意考虑底层算力默认所有算数都是开箱即用的。国产芯片如果只提供“兼容层”或“翻译层”在性能和功能完整性上很容易打折扣。如果提供自研原生的编程模型又面临开发者学习成本和工具链不全的问题。目前国产芯片厂商的软件栈路线基本分为两种一种是“兼容派”。尽量兼容现有生态让原有程序少改甚至不改就能运行。优点是迁移成本低缺点是性能往往落后于原生方案且对复杂新特性的支持滞后。这种路线适合快速抢占传统推理和中小训练份额。另一种是“原生派”。构建自有的编程语言、编译器、算子库和通信框架做深度优化。优点是能够充分挖掘硬件潜力长期上限高但开发者需要重新学习和适配前期推广困难。适合有平台型大客户、敢于做技术改造的关键领域。从我实际接触到的项目来看市面上产品化程度高的几款国产芯片都采用了混合策略对外尽可能兼容主流生态的接口对内建立了自己的编译优化层。差异主要体现在兼容的彻底性、算子覆盖率和集群调动能力上。4.2 生态竞争的核心指标拆解如果要用一套可量化的指标去评价芯片生态竞争力我会重点关注四件事算子覆盖率和精度对齐度。给定一个常用的视觉/语言模型跑在国产芯片上是否能够成功编译有多少算子需要降级到自定义实现FP16/BF16 结果与参考实现之间的误差是否在合理范围。这个指标直接决定了模型的“开箱即用”程度。框架适配的版本滞后度。当 PyTorch 发布新版本后国产芯片的适配补丁多久能跟上如果滞后超过一个季度就意味着开发者无法使用最新的模型结构和训练技巧这在快速迭代的大模型时代几乎是致命的。多卡互联效率。千卡集群训练时集合通信的扩展效率是否随卡数增加保持线性或近似线性增长。真实测试中很多国产芯片在 128 卡以内表现不错但扩展到 512 卡以上通信瓶颈就变得非常明显。调试和诊断工具的完整度。包括性能分析器、显存分析工具、算子耗时剖析、故障定位工具等。这些工具对生产级系统至关重要但又容易被忽视。没有一套好用的性能分析工具开发者在排查性能问题时就像蒙眼开车效率极低。从我们实际评测的数据来看头部国产芯片在算子覆盖率上已经可以达到常用模型需求覆盖九成以上精度对齐也能控制在可接受的误差范围内。但在多卡互联效率和工具链完善度上与国际主流还有明显差距。这也是当前生态竞争中最值得发力的部分。4.3 平台治理与生态撕裂风险这里我还想提一个行业层面的隐忧不同国产芯片之间的生态是碎片化的。每家公司都有自己的底层工具链编程语言和加速接口互不相同导致同一个算法要维护多个版本。对于开发者而言如果每个国产平台都得重写一遍底层优化代码那么生态永远做不大。真正的生态爆发点应该是出现一个“公共抽象层”类似于 Linux 内核为各种硬件架构提供的统一接口。现在已经有一些开源项目试图扮演这个角色例如通过编译器层把深度学习模型统一表示再分发给不同后端。但由于各芯片厂商的商业利益和硬件差异推进速度并不理想。我认为未来的竞争一定会走向“平台级”的较量。一家芯片公司如果只卖硬件没有把开发者体验、开源社区治理、ISV 合作体系做起来最终只会在政企定制单中打转很难进入互联网规模化商用的主战场。5. 常见问题与排查技巧实录5.1 模型迁移后性能不达预期这是我在各种国产算力迁移项目中遇到最多的问题。模型能跑吞吐和时延却远不如预期用户第一反应往往是芯片算力不够但实际排查下来大多数原因集中在三方面一是算子未融合。很多国产框架对计算图的优化不够激进小算子逐个启动内核启动开销被过度放大尤其在卷积和注意力这类频繁调用小算子的模型中表现很明显。排查方法是用性能分析工具看内核耗时占比如果空闲等待和调度耗时过高可以尝试开启算子融合策略或者手动将某些小算子替换为稀疏注意力融合调用。二是数据搬运瓶颈。模型反复在显存和片外存储间搬移中间数据计算核心长期空闲。这种情况在超大模型推理中很常见。解决思路是调整算子融合策略、使用持久化 kernel 进行在线计算或者减少中间结果的落盘频率。三是多进程干扰。很多国产芯片在单机多卡场景下如果每个进程的 CPU 绑定、内存分配、PCIe 通道没有手工规划很容易出现资源争抢导致吞吐严重下降。建议先做单进程单卡基线测试再逐步增加进程数看性能曲线是否平滑。5.2 分布式训练出现卡死或掉卡另一个高频现场是训练任务跑了几个小时后突然卡死或者某些计算节点从集群中被标记为“失联”。这种情况在国产大集群中尤其常见原因是多方面的。一般排查第一步是检查日志中的通信超时记录确认是网络问题还是节点僵死。如果是网络问题常见原因是交换机的队列缓存不足或者是网卡和交换机的自动协商异常。很多团队在组网时使用了旧型号交换机和新型高速网卡混搭子网 MTU 配置不一致就会触发偶发性的丢包和重传风暴。如果是计算节点僵死则要注意是否为散热和供电问题。AI 加速卡的功率密度极高若机房空调设计余量不足在夏季高温时段节点容易温度过高触发保护性降频甚至死机。机房运维监测数据要和训练日志比对而不是单独看某一项指标。从我的经验来说国产芯片的驱动和固件线更新速度快偶尔会有未发版本的隐藏更新建议在训练前先做一次 24 小时压力测试检查稳定性和温度曲线确认没有问题再跑长任务。有些问题在单卡测试中根本不会暴露只有在多卡满负载持续运行后才显现出来。5.3 算子缺失或精度不一致的处置策略算子库覆盖不全是所有国产替代中必然要面对的问题。我的建议是先区分是缺算子还是算子精度不对。缺算子时最简单的方法是回退到通用实现。通常框架会有一个开关允许使用参考实现或自动生成的低效内核。这种方式可以保证功能完整但性能会明显下降。这时候可以找厂商争取定制内核或者用组合算子去推导等价表达。比如某些激活函数和归一化的组合可以通过修改计算图融合成更底层运算既能避开缺失算子还可能获得更好的并行效率。精度不一致的情况更微妙。有时模型训练结果会比国际平台差并不是芯片硬件有问题而是默认的数值累加顺序和近似算法有差异。遇到这种情况建议逐层比较激活值和梯度值定位差异的源头。多数时候调整混合精度策略或者修改归一化层的实现方式就能解决问题。如果差异一直无法控制就要检查是否有非确定性算法参与比如某些原子操作在多线程下顺序不可控这类问题可以通过固定随机种子和确定性算子开关来规避。5.4 选型决策速查表评估维度优先考察项注意事项单卡性能FLOPs、内存带宽、TDP、显存容量峰值指标需结合真实模型验证不能只看纸面参数集群能力多卡通信带宽、集合通信库效率、千卡稳定度要求厂商提供真实多卡测试报告并做现场压测软件生态算子覆盖率、框架适配版本、调试工具完整性用目标业务模型做迁移测试确认所有算子覆盖供应链稳定性芯片交付周期、封装产能、存储资源供给情况关注供应商的良率稳定性和长期供货承诺避免断供风险服务能力本地技术支持团队规模、响应时效、定制能力建议在本地部署环境中放入开发协作流程实习感受响应速度长期演进芯片架构代际规划、软件栈路线图、社区活跃度看开源版本更新频率和开发者反馈处理的公开记录6. 格局分化之后我们该怎么选择说回到最开始的那个问题国产 AI 算力芯片能不能用我的答案是能但有边界、有顺序、有节奏。从我个人的实际部署经验看如果是推理型业务、中小模型微调、新兴场景的技术栈建设现在国产芯片已经具备较强的竞争力只要队伍里有一两个对底层工具链熟悉的人完全可以在数月内完成平滑落地。如果是要冲击大规模预训练、复杂多模态大模型集群则需要更加谨慎地评估软件栈成熟度并做好双轨并行一定时间的准备。最后再分享一个小技巧不管选择哪一家国产方案一定要在合同里明确“持续集成保障”。要求厂商在新版本框架发布后的一定周期内提供适配补丁并将算子覆盖率指标写进 SLA。没有这种契约层面的约束生态承诺很容易变成一纸空文到实际使用中就会吃大苦头。芯片的竞争从来不是一瞬间的胜负而是长期耐心和工程能力的较量。当前格局远未终局生态分化的故事才刚刚开始。