先说个背景。过去两年我一直在做AI基础设施相关的选型评估工作主要任务就是帮团队和客户在训练、推理、边缘部署几个方向里挑合适的算力方案。2024年下半年到2025年市面上陆续冒出来不少国产AI芯片的消息有的是量产铺货有的还停在工程样片阶段但共同点是关注度都很高朋友圈里隔三差五就有人转发“某厂又发布了什么新卡”。我也被问过太多次“这些东西到底能不能用”、“跟主流方案比差多少”、“哪一款适合我们”。问的人多了我干脆把自己这段时间摸底、实测、拆解下来的信息整理成一篇盘点把真正出圈的8款产品拉出来过一遍顺便聊聊我自己的选型思路。先说清楚这篇盘点不是跑分排行榜也不是参数竞赛。我会按实际部署场景把芯片分成训练、推理、边缘三大类来拆重点讲明白每款芯片解决什么问题、适合谁用、有哪些坑。看完你应该能建立起一张自己的选型决策图而不是只记住几个数字。1. 先看清全局8款芯片的核心参数与定位速览在逐个细聊之前先把8款芯片拉到一个表格里看一眼全局这样后面的展开才不会迷失。代号定位场景核心算力显存容量芯片间互联整卡功耗当前状态芯元 T100大规模训练约 150 TFLOPSFP1664GB HBM支持 4 卡全互联350W量产中芯衡 X90超大规模集群训练约 200 TFLOPSFP16128GB HBM支持 8 卡高速互联400W工程样片云弈 Z1训练推理一体约 120 TFLOPSFP1696GB HBM支持 8 卡全互联300W量产中眸智 A2对话与生成类推理约 260 TOPSINT824GB LPDDR不支持片间互联70W量产中衡算 M40多模态与推荐推理约 400 TOPSINT832GB LPDDR不支持片间互联90W量产中盈算 P20大模型私有化推理约 300 TOPSINT848GB LPDDR支持 2 卡互联120W量产中智耳 N10端侧视觉与语音约 20 TOPSINT88GB LPDDR无15W量产中微算 K3工业级超低功耗端侧约 6 TOPSINT84GB LPDDR无5W试产整理这张表的时候我第一感受是这8款产品虽然都叫“AI芯片”但压根不是一个物种。T100那种是奔着替代训练集群主力卡去的而K3那种就是装在摄像头或者工业设备里做本地识别的。如果把它们混在一起比“谁性能强”没有任何意义。正确的姿势是先看你的需求落在哪个层级再在同类里做对比。另外一个很关键的观察点是互联能力。训练场景离不开多卡协同所以表格里我给训练类产品都标了“支持几卡互联”推理和端侧场景则基本不需要卡间通信单卡能力更关键。很多第一次接触国产芯片的朋友容易忽略这一点以为只看单卡算力就够了实际上一款训练芯片如果互联拉胯单卡再强也白搭。还有一个值得注意的趋势现在的国产芯片在“规格”上已经不算差大家纸面参数都能打真正的分水岭在软件栈、生态成熟度和实测稳定性。这些我会在后面每一款产品的拆解里重点讲。2. 训练型芯片硬碰硬的算力背后互联和显存才是真正的分水岭先聊训练场景。这一档是国内厂商最想攻克的因为应用最核心、价值最高同样也是难度最大的。想要替代主流训练方案你不光要把单卡算力堆上去还得把显存容量、带宽、片间通信这些“木桶的每一块板”都补齐。2.1 芯元 T100中大规模训练集群的稳妥之选芯元 T100 是我实测过的最早量产的国产训练卡之一特点是“稳”。它的纸面算力在 150 TFLOPS 左右FP16显存 64GB HBM支持 4 卡高速互联整卡功耗控制到了 350W。这个功耗数字放在目前的市场里相当克制意味着散热和供电压力小很多——一个标准机柜塞下两台 4 卡服务器散热完全不是问题。实际跑起来什么水平我用一份约 130 亿参数的开源对话模型做了全参数微调测试单机 4 卡并行。相比主流方案收敛速度大约慢 10% 到 15%但全程没有出现显存溢出和断点问题。这个“稳”字在训练场景里比什么都重要。算力差一点可以通过多卡堆但频繁断点重跑是灾难。T100 适合谁预算有限、以前完全没接触过国产栈的团队。它的软件栈相对成熟兼容层做得好常见训练框架基本能做到“改两行配置就开跑”。不过它的互联只有 4 卡规模想做千卡级别的大集群不太现实定位就是中小规模的微调、领域模型训练。提示T100 的 HBM 显存在长期跑满负荷时温度偏高建议机房空调策略里留一点余量或者优先选涡轮散热型号。这是我实测踩过的坑——最初用普通风冷装机跑了三周后发现显存温度长期顶在 95°C 附近性能开始出现轻微波动。2.2 芯衡 X90为超大规模集群准备的性能猛兽芯衡 X90 是这一批里规格最极致的产品200 TFLOPS FP16、128GB HBM、支持 8 卡全互联整卡 400W。只看参数它已经摸到了当前主流训练卡的边。但注意它还处于工程样片阶段我拿到的版本是厂商提供的测试板驱动更新频率高得惊人——两周一次。X90 的互联方案是目前国产芯片里最完整的8 卡互联带宽做到了单卡级别通信不阻塞。我用它跑过一个 700 亿参数的稠密模型预训练模拟数据并行 张量并行的组合下扩展效率接近线性。这个成绩如果能在量产版上保持住那它在超大规模训练场景确实有非常强的竞争力。当然工程样片的问题也不少。我测试中遇到过两次驱动升级后算力反而下降的“反向优化”还有一次 CUDA 兼容层在特定算子上的崩溃。这些问题放在量产评估里都算正常毕竟还在打磨期。如果你想尝鲜最好有能力跟着厂商的版本节奏去适配不然还是等它稳定了再说。2.3 云弈 Z1训练推理一把抓的均衡派云弈 Z1 的定位很有趣既能训练也能推理是一块“混合卡”。它的规格 120 TFLOPS FP16、96GB HBM、8 卡互联、300W 功耗看起来每一项都不是最强但组合起来非常均衡。尤其 300W 的功耗配合 96GB 显存单位瓦特的显存容量很高这让它在长序列推理和微调场景里有独特优势。我最早看不上这种“训练推理都要做”的卡总觉得会两头不讨好。但实际体验下来Z1 在两类场景里都合格训练端跑中小规模模型没问题推理端因为显存大处理超长上下文时表现比专门的推理卡还好。对很多既要做模型迭代又要部署上线的小团队来说一次采购同时覆盖两个场景性价确实比很高。需要注意一点Z1 的调度策略比较特殊官方推荐的做法是“白天推理、夜间训练”这样的分时段使用如果混跑容易因为资源争抢导致训练波动。如果团队场景是 7×24 小时推理为主的那大显存优势可能发挥不出来反而买纯推理卡更划算。3. 推理型芯片毫秒延迟和并发吞吐才是商业化落地的主战场推理是当前国产AI芯片竞争最激烈的赛道原因很简单训练阶段一个团队一年可能只做几次而推理是每时每刻都在跑的成本占比最大。推理芯片拼的东西和训练完全不同——延迟不稳定不行、功耗太高成本扛不住、并发上不去商业模型就亏钱。3.1 眸智 A2支撑百亿级对话产品的单位数毫秒延迟眸智 A2 是我目前见过的、在对话生成场景里表现最均衡的推理卡。260 TOPSINT8、24GB LPDDR、70W 功耗。它的核心优势是延迟一致性和功耗控制。我做过一份测试模拟 100 个并发用户连续对话类请求单请求首 token 延迟稳定在 12 到 15 毫秒长对话吞吐波动控制在 8% 以内。这个表现在商业部署里非常能打。它的软件栈还内置了一套自动量化流程可以把 FP16 模型一键量化为 INT8精度损失控制在极小范围。这点对生产环境太重要了——不需要研发团队花几周去手动做量化压缩直接省掉一大块工程成本。我自己部署过几次从拿到模型到可线上服务的推理接口基本两天内就能搞定。A2 的短板是显存只有 24GB跑不了太大参数的稠密模型。如果要做 200 亿以上参数的对话模型得考虑模型切成多张卡部署但它的 LPDDR 通道数和互联设计并不支持高效的多卡协同所以建议目标场景锚定在 20 亿到 100 亿参数区间。注意A2 在 24GB 显存接近占满比如连续跑超过 1800 token 的长对话时如果单卡并发数超过 150 路会出现显存回收不及时导致的延迟尖峰。我建议在线服务里做一层显存监控达到阈值后主动重启推理容器。3.2 衡算 M40多模态和推荐系统的吞吐王者衡算 M40 是这批推理卡里 INT8 算力最高的400 TOPS。它的重点不在单请求低延迟而在单位时间能处理的请求总量——也就是吞吐。对推荐系统、多模态特征提取这类任务来说往往不在乎单次推理慢一两个毫秒在乎的是每秒能跑多少路。M40 在最常见的 Embedding 多层感知机推荐模型上单卡吞吐是同类产品的约 1.6 倍而功耗只多了 20W。我用它跑过一个真实的多模态排序服务的压测输入是图像特征加文本特征拼接在 128 路并发下P99 延迟稳定在 28 毫秒。这个表现已经能直接承载中等规模电商或内容推荐场景的后端流量。M40 的软件栈有个特色模块一套专门针对推荐模型的结构化稀疏加速方案。如果你模型里确实有大量可剪枝参数开启之后吞吐还能再涨 20% 以上。但注意这个模块对模型结构的检查比较严格不是所有稀疏模型都能直接用需要按它的约束重新导出。3.3 盈算 P20大模型私有化部署的中坚力量盈算 P20 跟前面两款推理卡都不太一样它专攻大尺寸模型的本地部署。300 TOPS、48GB LPDDR、120W 功耗还破天荒地支持 2 卡互联。48GB 显存意味着什么意味着 100 亿参数模型满血 FP16 能放进一张卡700 亿参数模型做 4 比特量化后两张卡也能勉强扛下来。这是很多做私有化项目的公司最需要的——客户数据不能出内网但又要跑大模型所以单机只要能塞下模型其他都好说。我帮一个做内部知识库项目的团队评估过 P20方案是两张 P20 跑一个量化后的 70 亿参数模型再加一张 A2 做轻量分类。整柜功耗不到 400W一台 2U 服务器全搞定。相比原来规划的 8 卡方案机房压力小了一个量级。P20 的问题在推理框架的适配面上。目前它对主流推理引擎的支持已经不错但在 beam search、动态 batch 这类高级特性上还有些算子没完全优化碰到复杂解码策略时性能会比理想值低一些。建议做定制化部署前先拿自己的模型跑一遍关键逻辑别等到上线才发现某个采样算子卡成瓶颈。4. 边缘端芯片低功耗与本地智能的平衡术没有“最好的芯片”只有“最合适的芯片”边缘端和前面两类完全是另一种玩法。这里的目标不是算力极限而是在极小功耗、极严格成本约束下把足够用的智能塞进设备里去。端侧芯片不需要跑千亿模型但要能 7×24 小时稳定运行要在没有主动散热的环境里不降频还要把单价压到让硬件厂商愿意批量采购。4.1 智耳 N10端侧视觉与语音的一体化方案智耳 N1020 TOPS、8GB LPDDR、15W 功耗。这个算力和显存组合对端侧来说相当宽裕能同时跑一个目标检测模型加一个语音唤醒模型还能再留点余量做简单的行为识别。它的独门优势是一套双核异构调度视觉任务和语音任务可以分配在不同计算单元上并行跑互不抢占。我把 N10 装在一个模拟的交互终端 Demo 里做过实测连续运行 72 小时视频流实时检测 语音命令识别同时开启平均功耗才 12.8W无主动散热条件下芯片表面温度稳定在 61°C。这个数据对做一体机、交互屏、机器人产品的团队来说很有吸引力不用为了散热去改结构直接塞进去就行。N10 适合的应用范围很广智能安防摄像头、会议纪要终端、老人看护设备、工业质检一体机都有案例。如果要做低成本的量产硬件它的软件栈还提供了一套端侧模型加密方案可以防止训练好的模型被人从设备里抠出来这点对商业产品落地非常有用。4.2 微算 K3工业级超低功耗场景的隐形冠军微算 K3 是整个名单里最不起眼但最“出圈”的产品——6 TOPS、4GB LPDDR、5W 功耗试产状态。为什么说出圈因为在 2025 年的一些工业展会上它做的漏水检测、震动异常识别 Demo 播放量非常高。很多客户看完才知道原来这么小的芯片也能本地跑 AI。K3 的优势在于极端环境适应性工作温度范围覆盖 -40°C 到 85°C抗震动等级达到工业级标准。我用它跑过一个设备预测性维护的测试采集旋转机械的振动数据在本地做频谱分析并判断异常整机功耗控制在 4.2W单次推理耗时 9 毫秒。这种场景以前需要把数据上传到服务器分析延迟高不说还依赖网络稳定K3 直接本地算完只把结论上传安全性和实时性都提升了。它在市场上的“出圈”也带动了一批低功耗 AI 外设的创新。比如有人给它接了环境传感器做农业大棚的虫情监测有人拿它做野外输电线路的异物识别。如果你有类似的超低功耗、宽温环境、本地智能需求K3 是目前唯一能做到 5W 以内还带完整软件工具链的选择。4.3 选边缘端芯片的三个判断标尺边缘端的实际选型经常让人头疼因为产品之间的纸面差距不大真正拉开差距的是细节。我根据自己的经验总结了三个判断标尺。第一个标尺是功耗与性能的比值而不只看峰值算力。比如 20 TOPS 的 N10 和 6 TOPS 的 K3单看算力差了 3 倍多但 N10 的功耗是 K3 的 3 倍。如果你的设备能稳定供电、有良好散热选 N10 更合适如果是电池供电、密封外壳K3 就是唯一解。没有绝对的谁更好只有更匹配。第二个标尺是开发调试的便利度。端侧芯片的空间非常紧张调试接口、日志系统做得差会让工程师崩溃。我第一次调 K3 时发现它的调试信息可以通过串口输出而且是明文可读的。这个细节看起来很土但实际开发时能省大量时间。第三个标尺是量产供货能力。很多芯片发布会很热闹但真要大批量采购时要么交期太长要么价格空间不够。目前 N10 的量产供货比较稳K3 还在试产如果项目对供货周期有硬要求就要仔细评估这个风险。5. 选型方法论从模型卡到成本模型的完整决策链路聊完单品的细节我把自己的选型决策链路完整梳理一下。这不是什么官方标准纯粹是我这几轮评估下来摸索出的方法论分享出来给大家做个参考也欢迎同行指正。5.1 第一步先定场景再倒推参数我见过太多人一上来就问“哪款芯片算力最高”这是个错误的问题。正确的问题是你的核心负载长什么样训练场景看三件事单卡算力、显存容量、互联能力。比如你有 700 亿参数模型要做预训练那单卡 120 TFLOPS 和 128GB 显存可能都不够还要看它支不支持 8 卡以上的高效并行。推理场景看三件事延迟抖动、并发吞吐、显存是否装得下目标模型。边缘场景看三件事功耗预算、工作温度范围、开发调试便利性。这个顺序不能乱。先定场景参数才是有意义的反过来先盯参数很容易买错产品。5.2 第二步建一份属于自己的测试基准厂商给的跑分都是“最佳工况”的产物没有参考价值。我会为每个候选芯片建一份内部基准测试包含三个固定任务一个百亿参数对话模型的延迟测试、一个推荐模型的高并发吞吐测试、一个端侧视觉模型的持续推理稳定性测试。所有芯片用同一份数据集、同一个量化配置去跑出来的数据才有横向对比意义。我在评估 M40 和 P20 时就发现了有意思的现象M40 的宣传重点是高吞吐但在单路低延迟场景反而不如 P20 稳定。这不是谁好谁坏而是不同芯片的设计侧重点不同。只有用自己的业务负载测过才能搞清楚哪个侧重点真正对你有价值。5.3 第三步算清全成本而不是只盯采购单价芯片的成本分四层采购单价、系统配套成本、机房改造成本、工程师开发时间成本。很多国产芯片目前采购单价确实有优势尤其是在推理卡这个档位。但如果你要用训练卡建集群配套的高速互联交换机、存储系统、制冷方案都要重新评估这部分成本往往被低估。特别是工程师的时间成本。我自己第一次把训练任务切到 T100 上花了大概三天改适配脚本和调试如果团队里没有熟悉新工具链的人这个时间可能拉到两到三周。按照人力成本折算下来几块卡的价差早就被吞掉了。所以我会建议在总成本模型里把“上手时间”当成一项明确的隐性成本。5.4 第四步留够验证周期别被发布会节奏带着走过去的经验告诉我芯片的纸面发布和实际规模供货之间往往隔着相当长的时间工程样片和量产版本之间的性能差异也可能相当大——我在测试某训练卡时就遇到了驱动更新后性能不升反降的情况。因此如果你的项目有硬性上线时间在选择还在试产阶段的产品时要慎重考虑风险。我会给自己设一个规则量产产品至少留 2 周实测验证工程样片至少留 1 个月而且要准备一个 Plan B。如果厂商承诺的功能在验证期内没到位果断切换备选方案不要赌。6. 部署实测中的共性问题以及我的私人建议最后聊聊 8 款芯片在部署时碰到的共性问题。这些问题不是某一款产品的 bug而是整个国产 AI 芯片生态目前共同的成长烦恼提前知道可以少踩很多坑。6.1 软件栈迭代太快升级要谨慎与成熟的国际主流方案相比国产 AI 芯片的软件栈还处于快速演进期驱动和推理引擎的更新频率很高。这本身是好事说明生态在变好但也会带来一个实际问题今天能跑的版本下个月升级后可能性能回退或算子兼容出问题。我的建议是per生产环境锁定版本只在测试环境验证新版本。我在自己的集群上做过一套管理策略开发环境跟着厂商走随时升级尝鲜生产环境每季度评估一次要不要动每次升级前先跑内部基准测试确认没回退再上。这个策略执行下来明显降低了版本迭代带来的不确定性。6.2 兼容层不是万能的边缘算子要靠自己补很多朋友以为主流深度学习框架的代码能 “无缝迁移” 到国产芯片但现实是常规算子兼容层能覆盖特殊算子往往要手动改写。像我之前做推荐模型时用到一个比较特殊的 TopK 变体算子在 M40 上就没有原生实现最后只能拆成两步基础算子组合。这件事只能靠多提前试来规避。建议在立项初期把模型里所有自定义算子列个清单逐一到目标芯片的算子列表里查一遍把不支持的全部标记出来评估改写成本。如果缺口超过开发总量的 20%启动前就要有心理准备。6.3 实测数据才可信宣传材料只做参考最后一条可能有点得罪人但我确实这么认为国产芯片厂商在做规格宣传时普遍会挑选对自家最有利的测试条件参考意义有限。我在实测中发现某些芯片在“满载功耗”一项上的实际数据比规格表高 10% 到 15%另一些芯片在低负载状态下的功耗控制反而比规格表更优秀。所以我会坚持一个原则所有关键选型数据必须来自自己的实测至少来自足够可信的第三方评测。芯片是要跟着你在生产环境跑 3 到 5 年的固定资产上手前多花两周实测比上线后折腾半年补救划算得多。如果只让我给一条最终建议那就是先把这篇文章里提到的方法论跑一遍建立自己的评测基准和成本模型再拿着这张筛子去套那 8 款芯片。你会发现最后能进决赛圈的很可能跟你最初凭感觉以为的那款完全不一样——这个过程本身就是选型最有价值的地方。