最近帮朋友做AI项目选型被问得最多的一个问题就是国产AI芯片品牌这么多算力芯片和推理专用芯片到底该怎么选说实话这个问题我前两年也被绕晕过产品线密密麻麻宣传页上都写着“高算力”“低功耗”“全场景覆盖”真要落地方案的时候就发现不对劲。这篇文章是拿我实际调研、选型、踩坑的经历整理出来的把两类芯片的区别、参数表怎么看、厂商怎么分类、按什么思路选一次性讲明白。我不打算干巴巴地背参数重点说清楚背后的逻辑和落地时真正要关心的东西适合做算法工程、AI平台架构以及所有需要为AI项目做硬件选型的朋友参考。1. 先理清概念为什么算力芯片和推理专用芯片不是一回事很多朋友第一次接触“算力芯片”和“推理专用芯片”这两个词会以为只是厂商分出来的产品线名字本质上没区别。这个理解在早期可能勉强说得通但在大模型时代已经完全不适用了因为训练和推理的工作负载根本就是两种不同的“性格”硬要一张卡通吃最后往往是两边都不讨好。1.1 训练和推理的工作负载差异训练芯片的主要任务是在海量数据上反复优化模型参数。前向传播算一遍结果反向传播再算一遍梯度批次数据过完一遍之后更新权重然后下一轮继续。整个过程有几个鲜明的特点第一参数在训练过程中是持续变动的每一轮迭代都要重新计算梯度所以芯片要处理的是极其密集的矩阵乘法和张量运算不能有丝毫偷懒。第二反向传播需要保存前向计算的激活值和中间结果这就导致训练阶段对显存容量的需求远大于推理同样是1000亿参数的模型训练时的显存占用可能是推理时的3到5倍。第三当模型大到单卡放不下就必须靠多卡并行而并行训练每算完一小步就要做一次梯度同步卡与卡之间的数据交换频率极高。推理专用芯片面对的情况完全反过来。模型参数已经固定了不再有反向传播每次请求就是一个完整的“输入到输出”的过程。对推理来说用户最关心的是响应要快、并发要高、跑100万次推理的电费不能太离谱。所以推理芯片的设计重心是如何用更低的功耗、更低的成本把已经训练好的模型高效跑起来。为了让计算更经济推理芯片通常支持INT8、FP8这些低精度计算因为推理场景对精度的容忍度比训练高得多而同等芯片面积下整数算力往往是浮点算力的好几倍。我习惯用一个类比来解释这件事训练芯片像是电影剧组里的摄影棚和后期机房所有素材在这里反复打磨、剪辑、渲染怎么复杂怎么来推理芯片则像是电影院里的放映机片子已经定稿了你要做的是让几百个放映厅同时稳定播放不能卡壳不能断片电费还得可控。一台顶级的电影制作工作站直接拿去做影院放映技术上不是不行但成本结构完全不合理。1.2 算力芯片、推理专用芯片的分工与边界现在市面上的产品确实有不少号称“训推一体”的芯片理论上既能训练也能推理。但从实际部署角度看训练场景看重的互联带宽、高精度浮点能力在推理场景里未必能转化为优势反过来推理场景看重的低延迟、高吞吐、低功耗训练芯片因为架构复杂也做不到极致。所以真正落地的方案里训练集群通常用通用性更强、算力更猛的“大卡”推理侧则逐步倾向用专门的推理卡或者直接在原有训练卡上通过量化、批处理优化来压榨性能。做选型的时候我建议你把训练和推理当成两个独立的问题来看。除非你的规模非常小、预算又极其紧张否则不要指望一张卡同时把两边都做到最优。这里还要提一个概念算力芯片这个叫法其实是个相对宽泛的集合既可以指CPU、GPU也可以指各类AI加速器。在本文语境里我更倾向于把它理解为“以训练为主要目标的高算力AI加速卡”而推理专用芯片则是指那些针对在线服务、边缘部署做了架构优化的产品。明确了这层分工再看厂商的产品线就不会觉得乱。2. 参数表里的门道选型必须盯住的5类硬指标选国产AI芯片的时候厂商给的规格书动不动就是几十页外行人扫一眼会觉得每家都很猛什么“800 TOPS算力”“接近国际旗舰水平”一大堆数字砸过来。但这些数字里有不少是“纸面算力”真正决定你能不能跑起来、跑得好不好的指标其实远不止算力这一个维度。2.1 算力单位怎么换算TOPS与TFLOPS不是一回事先解决最基础的困惑。TOPS一般指INT8精度的整数运算能力单位是“万亿次操作每秒”TFLOPS一般指FP16、BF16或FP32这些浮点运算能力单位是“万亿次浮点运算每秒”。这两个数字没法直接比较因为一次浮点运算的硬件开销远高于一次整数运算。同一款芯片INT8算力往往是FP16算力的两倍是FP32算力的四到八倍。所以选型时不要只看厂商宣传哪个数字大。训练场景要盯FP16/BF16推理场景要盯INT8/FP8顺便看一眼FP32因为很多算子在混合精度策略下仍需要一部分FP32计算。如果厂商宣传的TOPS很好看但INT8算力才300那么跑主流大模型的推理吞吐上限你心里应该有数。2.2 内存容量与带宽推理延迟的最大隐形瓶颈AI芯片算力再高数据进不来、出不去也是白搭。对推理场景来说内存带宽的优先级很多时候比算力还高。打个比方算力是餐厅的灶台内存带宽是送菜的传菜口。灶台再多传菜口堵住了客人照样吃不上饭。具体到工作过程大模型推理是逐token生成的每生成一个token都要把整个模型的权重从显存里读一遍。一个700亿参数的模型权重按INT8量化后大约是70GB按FP16则是140GB。如果显存带宽只有几百GB/s那么光读权重就要几百毫秒用户体感就是“一个字一个字往外蹦”。HBM高带宽内存之所以能成为高端AI芯片的标配核心原因就在这里。选型的时候你要重点看三个数字显存容量、显存带宽、功耗。显存容量决定能不能装下模型带宽决定生成速度功耗决定机房能不能散热。2.3 互联能力训练集群的单点决定因素训练芯片和推理芯片在互联能力上的要求差得很远。单卡训练100亿参数模型显存不够必然要搞模型并行或数据并行这时卡跟卡之间要进行海量的梯度同步。主流方案里一张训练卡如果支持类似NVLink这种高速直连口多卡之间就能组成高带宽低延迟的内部网络训练效率可以翻好几倍。国产芯片普遍会通过RDMA、RoCE、PCIe交换等方式做集群互联但具体能跑多远要看厂商提供的驱动和集合通信库优化程度。选型时我建议问厂商要一个真实的“多卡线性扩展比”16卡训同一个模型是不是能达到单卡性能的80%以上。很多卡单看性能不错一上集群扩展比掉到50%训练时间成倍拉长这才是最坑的地方。2.4 能效比和功耗大规模部署时决定成本能效比通常用TOPS/W或者TFLOPS/W表示意思是每瓦功耗能提供多少算力。这个数字在边缘和终端场景是生死线因为设备没有足够空间和电源去塞一块几百瓦的板卡。在云端场景能效比同样重要你部署1000张推理卡每张卡功耗差50瓦一年的电费就差几十万这还没算散热和机柜改造的成本。国产推理芯片在能效比上这两年做得相当不错很多产品在INT8场景都能做到每瓦几百TOPS以上已经可以和国际主流产品同台竞争。训练卡因为浮点算力大、显存多功耗普遍在300瓦到600瓦之间这个数字决定了你的服务器电源、配电柜和散热方案必须提前纳入评估。2.5 软件栈和算子覆盖规格书不会告诉你的“有效算力”这一条是大多数人踩坑的重灾区。芯片的硬件算力只是理论上限真正落地时你能用到的是软件栈把算子编译成硬件指令之后实际发挥出来的性能。如果厂商的算子库很薄模型里有10%的算子需要走通用回退那这部分的性能可能直接掉一个数量级整卡的“有效算力”大打折扣。判断软件栈成熟度有一个很简单的办法拿你真实业务里的模型转成ONNX或者直接用PyTorch的厂商适配版本跑一遍完整的端到端推理看看算子覆盖率报告里有多少算子需要fallback到CPU或者通用内核。这个数字如果在5%以内属于可用超过10%就要慎重考虑迁移的代价了。很多厂商会提供算子迁移工具但它只能帮你识别差异不能帮你重写算子核心工作量还是得自己的工程师来扛。3. 国产AI厂商分类参考按技术路线与场景对号入座国产AI芯片厂商这几年的产品线已经非常丰富如果只知道“华为、寒武纪”那几家的名字很容易在选型时迷失方向。我的做法是先按技术路线和主打场景把它们分成四大类然后对照自己的需求去匹配效率会高很多。3.1 云端高算力训练派第一类是以训练为主要目标兼顾推理的高算力云端芯片。这类厂商的拳头产品基本都瞄准大模型预训练和微调场景产品形态以PCIe板卡和整机服务器为主典型代表包括华为昇腾系列、寒武纪思元系列、海光DCU系列、燧原云燧系列以及百度的昆仑芯系列。华为昇腾目前是国产云端训练芯片里生态最齐全的昇腾910系列在FP16/BF16算力、显存容量和HCCS互联上都有完整方案配合MindSpore框架和CANN开发套件很多大模型都能直接跑起来。寒武纪思元系列的特点是编译器做得早从思元270到思元370再到590产品迭代节奏稳定MLU平台对PyTorch的支持也在逐步加深。海光DCU走的路线比较特别它基于通用GPU架构对ROCm生态有天然兼容性很多为AMD GPU写的代码经过简单适配就能迁移这一点在存量优化项目里优势明显。燧原云燧系列主打开放生态训练卡和推理卡产品线兼顾和多家互联网厂商有过合作。昆仑芯P800系列则更多出现在百度自己的搜索、智能云业务里对外商业化也在持续铺开。选这类芯片的时候我的经验是别纠结单卡算力更要关注整个训练集群的交付形态厂商是不是直接卖整柜方案是不是提供完整的镜像和调度插件和你的HPC集群能不能衔接。因为训练不是一个单卡问题而是一个系统工程问题。3.2 云边推理专用派第二类是以推理加速为主打方向的芯片最典型的就是昇腾310系列、寒武纪思元220/270/370推理版、沐曦曦思N系列、天数智芯智铠系列。这些芯片普遍在INT8精度下做文章功耗从几瓦到几十瓦不等能效比突出非常适合做云端的在线推理服务、视频分析、OCR、语音识别以及边缘盒子、智能网关这类设备。昇腾310系列在边缘盒子市场非常有存在感很多安防摄像头和智能巡检设备里都用了这代架构。寒武纪思元270和370的推理版在云端也常见尤其是智慧园区、工业质检场景会以PCIe板卡形式插在普通服务器上做批量图片识别。沐曦是天数智芯一家产品路线比较清晰的年轻公司曦思系列主打推理曦云系列主打训练产品线定位明确。天数智芯的智铠系列在AI视频处理方面做得比较深走的是软硬件一体方案。如果你的业务是“已经有模型要把它部署成稳定的在线服务”第二类芯片通常是性价比最高的选择。它们单卡价格远低于训练卡部署灵活度又高电费和散热压力也小用于大流量推理场景时投资回报周期比训练卡短得多。3.3 终端与车端AI芯片派第三类是面向终端侧推理的处理器可以理解为集成在手机SoC、智能座舱、自动驾驶域控制器里的NPU或专用计算单元。这一类代表是地平线征程系列、黑芝麻华山系列以及瑞芯微、晶晨、全志科技这些做端侧SoC的厂商。地平线的征程系列在自动驾驶领域尤其出名征程3、征程5再到征程6BPU架构一代比一代强主打的是在车规级功耗预算内实现高帧率的视觉感知计算支持Transformer类模型在端侧跑起来。黑芝麻的华山系列则是走“大算力高性价比”的车载计算方案面向L2到L4级别的泊车、行车场景。瑞芯微RK3588这类通用SoC虽然算力没那么夸张但胜在出货量大、价格低、生态简单做边缘图像处理、机器人控制都非常合适。如果选型时你的产品形态是车载设备、摄像头、机器人、智能门锁之类就不要把精力放在云端大卡上重点应该是这一类的端侧芯片。它的评估逻辑和云卡完全不同要考虑Joule功耗、PCB面积、成本、散热方案以及量产供货的稳定性。3.4 互联网自研与垂直场景ASIC第四类是互联网大厂或垂直厂商自研的ASIC芯片它们往往不对外公开发售但对行业风向影响很大。典型的是阿里平头哥的含光NPU和倚天CPU百度的昆仑芯字节自研的视频转码AI芯片等。这一类的特点是高度定制针对自家业务和海量流量做架构优化所以单场景能效比会做得非常夸张但通用性不如独立芯片厂商的GPU类产品。这些自研芯片对普通技术团队的意义更多是“风向标”。它们的成功证明了在某些单一场景下ASIC完全能吊打通用芯片这也推动了推理专用芯片市场的整体认知。如果你判断自己的业务量已经大到足以支撑定制芯片的成本这类方案可以作为远期规划参考但在短期内绝大多数团队还是应该选择能买到、能备板、有完整软件生态的独立厂商产品。3.5 分类对比表为了方便大家快速定位我把上面四类整理成一张对比表可以参考一下。类型代表厂商/系列主攻能力常见部署形态适合场景云端训练派昇腾、寒武纪思元、海光DCU、燧原、昆仑芯高浮点算力、集群互联、混合精度训练训练服务器、整柜、云实例大模型预训练、微调、长文本推断云边推理派昇腾310、寒武纪思元推理版、沐曦曦思、天数智铠高能效Int8算力、低延迟、高吞吐PCIe卡、边缘盒子、一体机在线推理、视觉识别、语音问答、边缘分析终端/车端派地平线、黑芝麻、瑞芯微、晶晨车规级功耗、视觉感知、轻量模型推理域控制器、SoC模组、嵌入式设备自动驾驶、机器人、智能终端自研ASIC派阿里含光、字节自研、昆仑芯超高能效比、垂直场景定制云端大规模专用集群海量固定场景、成规模的搜索/推荐需要注意的是四类之间有交叉。比如昇腾910既能训练也能推理昆仑芯也可以归属到云边推理派里面。分类的意义不是贴标签而是帮助你理解每张卡出厂时的“设计目标”从而在选型时找到那个最匹配业务的选项。4. 实战选型流程从业务需求倒推硬件方案聊完分类之后最关键的还是落地的选型方法。我的习惯是先用业务数据倒推算力需求再匹配厂商和产品千万不要先选芯片再想拿来干嘛。这就好比你去买手机肯定是先想清楚自己主要是拍照还是打游戏再决定买高通还是联发科反过来就很容易花冤枉钱。4.1 先估算推理需求一份简单的算账方法推理场景的算力需求可以按“单次请求的计算量 × 每秒请求数”来估算。以一个大语言模型为例粗略估算生成一个token所需要的计算量大约是模型参数量的两倍。假设模型是70B也就是700亿参数那么生成一个token大约需要140GFLOPs的浮点运算。如果目标是端到端每秒生成500个token则需要的有效算力大约是70TFLOPS。考虑到实际模型的attention机制还有一些额外开销再乘一个1.2到1.5的系数最后你需要的有效算力在100TFLOPS左右。算完之后还要记得硬件厂商标称的FP16/BF16算力不等于有效算力。真实场景里运算单元利用率和显存带宽通常达不到理论值的80%以上。我一般按50%到70%的利用率来做估算。假设一张卡标称FP16算力是200TFLOPS按60%利用率算有效算力约120TFLOPS那它就差不多能满足上面这个需求。如果是INT8推理卡就按INT8算力和一次INT8操作的对应关系来换算逻辑相同。4.2 训练集群规模估算需求决定互联方案训练场景的估算逻辑类似但算法不同。业内常用一个近似公式训练一个参数规模为N、训练数据量为D个token的模型总计算量约为6ND。比如训练一个130亿参数、2万亿token的模型总计算量大约为6 × 13e9 × 2e12算下来大概是1.56e23 FLOPs。如果用一张FP16算力300TFLOPS、利用率50%的训练卡单个训练任务的有效算力约150TFLOPS也就是1.5e14 FLOP/s。拿1.56e23除以1.5e14大约是1.04e9秒折算下来约274天后完成。单卡跑274天显然不现实这就解释了为什么训练任务一定要集群。如果目标是一个月内训练完也就是30天约2.59e6秒需要的卡数就是1.04e9除以2.59e6约400张卡。这只是理论估算还没算上节点间通信开销、数据加载、断点续训等因素实际通常要在这个数字上再乘1.5到2。有了卡数之后你才能判断要不要上高速互联方案、要不要做整柜交付。这个逻辑就是选型时“先算需求、再定产品”的意义。4.3 部署形态与产品形态匹配需求算清楚了下一步就是匹配部署形态。你要考虑的不是单张卡而是整台服务器怎么配置。如果是云端集中推理通常会选择PCIe板卡插在通用服务器上通过K8s做容器调度。这个场景下要注意卡的物理尺寸是长卡还是短卡、散热是风冷还是液冷、驱动能不能适配你现有的操作系统内核。如果是边缘部署比如园区、工厂、网点就要考虑整机形态1U/2U边缘服务器、盒式设备还是无风扇的加固设备。边缘设备通常环境温度波动大、空间有限对功耗和尺寸非常敏感。同样的推理卡在数据中心能稳定跑在工厂车间可能因为散热能力不足直接过热降频。如果是车端等对可靠性要求极高的场景还要看车规认证级别、工作温度范围、功能安全等级。芯片选错级别可能量产时直接卡在认证环节。所以选型这件事从来不是“哪个算力高选哪个”而是“在满足业务约束的产品里挑性能与成本最平衡的那个”。4.4 兼容性评估和基准测试模板最后一步也是我最强调的一步真的动手跑一次基准测试。建议选一个最有代表性的业务模型覆盖编码、解码、微调和推理全流程分别测试这几项模型转换成功率把PyTorch模型转成厂商的格式时算子的转换成功率是多少精度对齐用同一个测试集对比GPU平台和国产平台上的输出看差异是否在可接受范围单batch推理延迟空载状态下处理一个请求的端到端耗时批处理吞吐把batch size从1一直拉到最大记录吞吐曲线和拐点多卡扩展性如果是训练集群额外测2卡、4卡、8卡的大batch训练性能。很多厂商会提供官方的benchmark工具但那种工具测出来的只是“参考性能”。真正的项目里模型结构五花八门说不定你的模型里就有一个冷门算子正好在厂商的算子里没有覆盖到那性能直接崩塌。所以凡是重要项目我都会坚持让厂商先跑一遍我提供的真实模型给我实测报告再做决定。5. 常见问题、坑位与排障心得前面讲了那么多方法论这一部分来点实操中会踩的坑。我做过的几个国产芯片落地项目里几乎每次都会遇到下面几类问题。如果能提前预判能省下很多排查时间。5.1 规格表亮眼实际性能差一大截最典型的案例是一张标称算力很高的卡跑自己的模型时性能只有规格书的30%。排查下来原因往往不是芯片本身不行而是模型里有某些算子没有走专用加速路径要么被拆分成了多个低效的基本算子要么直接回退到CPU计算。比如一个简单的“softmax layout转换 自定义op”的组合在GPU平台上有现成融合算子在国产平台上可能被拆成好几个步骤每一层都有额外开销。遇到这类问题我给的排查建议是先用profiler把每个算子的耗时拉出来找出耗时占比最高的几个逐个确认它们是否走了硬件加速单元有没有官方优化版本。如果确实没有优化算子可以尝试把模型结构微调替换成官方支持的结构实在不行再考虑自研算子或者联系厂商做联合优化。不要一上来就怀疑芯片性能大多数性能问题出在软件栈的覆盖深度上而不是硬件算力本身。5.2 CUDA生态迁移想说爱你不容易所有从CUDA平台迁移过来的项目都会体会到生态的价值。PyTorch里一行代码能调用的layer norm、flash attention、grouped query attention在国产平台上不一定都有对应实现。我们的做法是分三步走第一步先切换框架版本用厂商适配过的PyTorch。现在昇腾、寒武纪、海光这些平台都有各自的PyTorch发行版安装之后就接管了底层算子分发。第二步跑模型并打印算子清单把所有落回CPU的算子和精度对齐失败的地方记录下来逐个分析。第三步针对关键算子做替换优先选官方替代接口替代不了的用小算子组合重建这一部分最耗精力。我踩过的坑是有些算子表面上是支持的但输入数据的layout或dtype稍有不同就会触发低效代码通路。比如某个模型习惯用channels_last格式存中间张量厂商的底层算子在channels_first下性能很好换了个格式直接慢一半。这种问题靠读文档很难发现必须靠profile数据的对比。5.3 只看采购单价忽略TCO选型时如果只看硬件单价很容易后悔。我曾见过一个项目采购了便宜的推理卡结果两张卡的能效和吞吐加在一起才勉强顶得上一张贵的卡机柜空间占用翻倍维护成本也跟着涨。正确的比较方式是算总拥有成本把硬件单价、功耗、散热、卡数、软件适配人工成本、售后支持全部纳入。比较有效的方法是把两个方案放到同一个业务目标下进行比较同样支撑100路并发视频分析A方案需要40张卡、1500瓦总功耗、2人月适配成本B方案需要20张卡、800瓦总功耗、1人月适配成本。虽然A方案的卡单价便宜20%但总TCO算下来反而高出不少。表格化对比之后决策会非常有说服力这也是向老板汇报时特别管用的方式。5.4 快速自查清单最后整理一份自查清单每次选型之前过一遍能在很大程度上避免拍脑袋决策需求侧模型的参数规模是多少目标是训练还是推理在线延迟要求多高并发峰值大概多少芯片侧FP16/INT8算力是否满足上面按业务反推出来的有效算力需求存储侧显存显存容量能不能装下模型显存带宽能不能支撑目标吞吐集群侧如果训练是否有高速互联产品线多卡拉起来扩展比怎么样生态侧算子覆盖率和转换工具是否满足项目要求是否拿到了真实模型的测试报告运维侧驱动、容器镜像、监控工具、厂商技术支持的响应速度和人员配备是否到位成本侧不要只看单价按一年业务量算TCO并把迁移人力成本算进去。按这个清单过一遍选型报告的质量和落地成功率都会明显提升。我个人在实际项目里的体会是国产AI芯片这几年的真实进步速度远超规格书给人的印象。之前我带着半信半疑的态度做了多次迁移测试最后发现只要软件适配做到位很多业务跑在国产推理芯片上的单位成本是可以做到比国际方案更低的。如果你正在做类似选型我还有一个掏心窝的建议一定要把你自己的模型、你自己最真实的数据流量拿到目标芯片上做一轮实测让厂商帮你做算子优化预案再做最后决定。毕竟选芯片不是在超市挑苹果看着颜色好就行它是给未来半年到两年的线上业务选地基。把这篇文章里的思路走一遍至少能保证你不会在第一步就走偏。