算力卡这个词这两年几乎成了技术圈的硬通货。我前后帮团队做过三轮算力设备选型从最初只看显存大小到后来关注带宽、功耗、卡间互联再到被各种标称算力数字忽悠过几次之后才慢慢摸清楚门道。这篇就把我对主流算力卡性能对比的经验梳理一遍重点讲清楚哪些参数值得盯、哪些指标是营销话术、以及实际做评估时怎么避免踩坑。适合正在做GPU选型、准备搭大模型训练或推理环境、以及单纯想搞明白手里显卡能干啥的工程师参考。1. 算力卡到底是个什么东西1.1 从显卡到算力卡同一副硬件不同的活法很多人第一次接触“算力卡”这个概念是从游戏显卡开始的。RTX 4090插在台式机上打游戏性能猛得离谱但同样的卡放进服务器里跑大模型训练你很快就会发现它和正经的数据中心算力卡差距比想象中大得多。算力卡和普通显卡在硬件上没有本质区别核心都是GPU芯片区别在于设计目标和应用场景。游戏显卡为了适配单机场景会把功耗、显存、散热做得“刚刚好”渲染画面追求高帧率而算力卡是为7x24小时高负载计算设计的它要考虑多卡协同、显存带宽、数据吞吐甚至供电和散热都要按长时间满载去设计。所以你在市面上看到的H100、A100这些卡单张发热量比游戏卡高一大截机箱都不通用自然不可能塞进普通台式机里。我第一次踩坑就在这儿。当时想着买几张RTX 4090平替数据中心卡结果一上多卡训练两张卡之间走PCIe通信延迟直接把训练速度拖成了PPT。后来换了带NVLink的卡才明白算力卡最值钱的地方远不止算力本身。1.2 什么时候需要认真评估算力卡不是所有项目都需要重度评估但以下几类情况我建议认真做一轮调研要启动大模型训练或微调模型参数动辄几十亿上百亿显存、带宽、算力缺一不可随便选卡会导致训练效率极低。要上线推理服务比如部署一个面向用户的大模型聊天应用这时的瓶颈通常不在算力而在显存带宽和部署方式。要做多卡集群只要超过一张卡就会遇到通信瓶颈这时卡间互联能力直接决定集群能不能跑满。预算受限想做高性价比替代方案比如买不起H100退而求其次选消费级卡或者上一代产品这时候就要算清楚“够不够用”。我自己经历的项目里最典型的一个是给内部知识库做大模型推理服务。当时团队倾向买最新的卡我坚持先跑一轮压测最后发现旧款卡用对推理框架完全够用预算省下来一大截。原因后面细说核心在于推理场景对“算力峰值”的需求远远没有对“显存带宽”的需求高。2. 主流算力卡产品线盘点2.1 NVIDIA产品线从A100到H200一路看下来市面上能被称作“主流算力卡”的目前还是以NVIDIA的数据中心产品为主。我从实际接触过的几代产品说起。A100是上一代数据中心旗舰80GB HBM2e显存FP16算力标称300多TFLOPS放在今天依然能打。很多云厂商还在大规模提供A100实例生态非常成熟。如果预算有限又想要数据中心级稳定性和多卡互联A100是目前最稳妥的“过气旗舰”选择。H100接棒A100改用HBM3显存带宽从2TB/s级提升到3.35TB/s左右FP16算力标称将近500TFLOPS官方还有一个带稀疏性的指标能翻到近千但实际应用里极少用得上。H100是目前大模型训练的主流牌绝大多数公开的训练效率和性能数据都以它为基准。H200则是H100的“显存扩容版”算力基本没变但显存从80GB加到141GB带宽也提升到4.8TB/s级。这个改动对推理特别有意义因为更大的显存意味着单卡能塞进更大的模型或者同一批请求不用频繁换页。除了这三款还有定位稍低的L40S、L20等型号以及消费级的RTX 4090和RTX 5090。消费级显卡不是数据中心产品但胜在性价比高、货源充足不少个人开发者和中小企业都在用它们跑微调和推理效果还真不赖。2.2 训练卡、推理卡、消费级显卡的分工差异我刚开始研究算力卡时最大的困惑是为什么同为GPU有的叫训练卡有的叫推理卡价格差好几倍后来才明白训练和推理对硬件资源的需求差异非常大。训练阶段模型权重在更新大量的矩阵乘法和梯度计算并行发生GPU的“算力峰值”发挥得比较充分这时拼的是FLOPS和通信能力。推理阶段模型权重固定每次只跑一次前向计算单张卡处理一个请求时权重数据要从显存搬到计算单元这个过程受显存带宽限制非常大。所以推理卡往往把重点放在更大的显存和更高的带宽上算力反而不是第一优先。消费级显卡则是“两头都沾一点”。以RTX 4090为例它的FP16算力其实很猛单卡跑推理甚至不输某些老款数据中心卡缺点是显存带宽只有约1TB/s和H100的3.35TB/s差了三倍多也没有NVLink多卡扩展性尴尬。我做选型时一般会先问自己一个问题这批卡买回来70%时间是训练还是推理这个问题基本决定了该在哪个产品线上挑。3. 性能对比不能只看算力还要看这四个维度3.1 算力指标FLOPS背后的门道厂商宣传里最亮眼的数字就是FLOPS即每秒浮点运算次数。TFLOPS就是每秒一万亿次。这个数字越高理论上算得越快但问题在于不同精度的FLOPS完全不同。FP32单精度计算精度高但速度相对慢。FP16/BF16半精度深度学习训练和推理的主力速度通常比FP32快一倍甚至更多。INT8/FP8低精度主要用于推理加速速度最快。所以对比算力时先说清楚“在什么精度下比”。A100的FP16算力约312 TFLOPSH100则是495 TFLOPS左右RTX 4090约为82.6 TFLOPS。光看这三组数字好像H100碾压4090但别忘了一分钱一分货H100单卡价格能买好几张4090实际训练同一个小模型H100虽然快但没有六倍差距那么大。我个人的经验是选型时把FLOPS当参考但不盲从一定要结合自己的实际负载类型去判断。训练任务确实吃FLOPS但推理任务可能完全跑不满这个峰值。后面会算一笔账看完你就明白了。3.2 显存带宽真正卡脖子的地方如果说FLOPS决定了算力卡“理论计算上限”显存带宽决定的是“喂数据的速度”。GPU计算单元再快数据从显存搬运不过来也只能空转等待。我做推理压测时经常碰到的现象是GPU利用率显示只有百分之三四十看起来性能没吃满但每秒生成的token数已经上不去了。这时候瓶颈几乎都出在显存带宽上。拿一个70B参数的大模型为例用FP16存储权重文件大概140GB。推理时每生成一个token理论上要把全部权重至少读一遍。假设单卡只有80GB显存放不下完整模型得拆到多卡或做量化就算放得下H100的3.35TB/s带宽理论上生成速度上限大约是3.35TB/s除以140GB约等于每秒只能生成20多个token。这还只是理想上限实际能跑出的数字更低。换到RTX 40901TB/s的带宽撑死也就每秒七八个token。所以说推理部署时带宽才是真正决定体验的硬指标。3.3 显存容量与卡间互联显存容量决定单卡能装多大的模型。一个朴素的经验法则是模型权重占用显存约等于参数量乘以精度字节数。70B的模型用FP16就是140GB再加KV Cache和中间激活单卡没个150GB以上很难舒服地跑。显存不够就得靠多卡并行而多卡之间怎么通信就成了关键。数据中心算力卡普遍配备NVLinkA100和H100的NVLink带宽可以达到600GB/s到900GB/s而消费级显卡只能走PCIeRTX 4090的PCIe 4.0带宽大约32GB/s差了二十倍以上。所以用多张4090做张量并行训练通信一多扩展效率特别难看。我自己实测过两张4090跑同样的微调任务和单卡相比几乎没有加速比四张H100做张量并行扩展效率倒是可以接近百分之八十。原因就在卡间互联上。3.4 功耗、散热与降频问题这个维度最容易被忽视但它经常决定机器稳不稳定。数据中心算力卡功耗普遍在400W到700W之间H100 SXM版甚至能到700W必须配合专门的风冷或液冷方案。消费级显卡虽然标称功耗低一些但高负载下一样发热严重机箱风道不好就会降频。降频是算力卡性能的隐形杀手。显卡温度超过阈值后会自动降低核心频率来保护硬件算力直接下滑。我遇到过一台服务器四张卡满载跑了半小时其中两张温度飙到85度以上算力掉了将近两成整批任务的时间拖长了四分之一。排查到最后发现是机房空调风向问题调整风道后温度直接降了十度。所以做性能对比时一定要把“稳定满载功耗”和“持续运行温度”放进评估清单不能只看官方的最大功耗。4. 实操一套可靠的算力卡评估流程4.1 先定测试任务再选评估方法评估算力卡最怕什么都没想好就直接跑分。我推荐的做法是先确定“这张卡买回来干嘛”然后围绕这个目标设计测试。如果是训练场景测试任务就用真实的模型训练关注点放在单位时间处理的样本数和loss下降速度。比如用一个标准的Transformer模型固定batch size和序列长度跑固定步数对比不同卡的耗时。记得把CUDA、cuDNN、PyTorch版本统一软件版本不一致会让对比结果失真。如果是推理场景测试任务就用真实的服务请求关注点放在吞吐量和延迟两个指标。用vLLM这类推理框架起一个服务构造固定并发的请求压测记录每秒处理的请求数和每次请求的延迟。这时候显存带宽的影响会直接反映出来算力再高带宽不够也一样上不去。开发测试场景就简单多了跑一个轻量的pipeline确保框架能跑通重点看稳定性和有没有兼容性问题。4.2 采集数据与注意点测试时实时监控GPU状态是基本功。最简单的是用nvidia-smi命令每隔几秒刷一次看显存占用、核心频率、温度、功耗这些指标。多卡并行时可以加nvidia-smi dmon看动态负载或者用dcgmi看更详细的数据。我自己的习惯是写一个小脚本把测试过程中每个时间点的GPU利用率、显存占用、温度自动记录成表格测试结束后再做分析。只看最后的平均利用率会掩盖很多问题比如某段时间利用率骤降可能就是在等数据加载或者卡间通信。压测时长也有讲究。至少跑三十分钟以上让温度、降频、功耗这些“慢变量”充分暴露出来。只跑几分钟的测试烤机还没开始就结束了结果根本没有参考价值。4.3 常见误区与排查实录这里记录几个我实际碰到的坑希望对你有帮助。误区一看GPU利用率判断是否跑满。利用率高不代表性能好可能只是任务调度得不好。有一次我压测时利用率显示95%但吞吐量一直上不去后来发现是CPU喂数据的速度跟不上GPU在空等。误区二忽略PCIe通道数。消费级显卡插到PCIe x4的槽上带宽只有x16的十分之一性能损失巨大。装卡之前先确认主板插槽规格训练和推理任务对PCIe宽带要求不低。误区三供电不足导致掉驱动。电源瓦数不够显卡高负载时电压跌落驱动会直接崩溃。多卡机器尤其如此功率余量建议留到1.5倍。误区四旧卡不跑新框架。有些卡硬件还能用但官方驱动和CUDA版本已经不支持新版框架选型时要先查生态兼容性。我记得有一次帮朋友排查一台4090机器无论如何压测功耗都上不去跑分比基准低三成。查到最后发现是电源线只插了一根8pin第二根没接显卡自动限制了功耗。这种低级问题其实就是没有做好开机自检测试前好好看一遍硬件状态能省很多事。5. 不同场景下的选型建议5.1 训练场景优先看算力和互联如果你主要做模型训练尤其是从头训练或大规模微调我的建议很直接预算够就上H100或H200预算紧张就A100尽量不要用消费级显卡组大规模训练集群。原因在前面已经说过训练任务对算力和通信的要求都很高消费卡缺NVLink扩展性差组多卡集群会经常“空转”。A100虽然是上一代但NVLink完整生态成熟训练中小模型完全胜任。H100则适合更大规模、未来两三年不打算换设备的团队。5.2 推理场景优先看带宽和显存推理场景的选人标准恰好反过来显存带宽、显存容量然后才是算力。如果部署的是70B级别的大模型最好选H200这类大显存卡或者用多卡做模型并行。如果模型只有几B到十几B一张RTX 4090就能跑得不错性价比极高。这里要特别提一句量化和框架优化的作用。同样一张卡用上FP8量化和vLLM的PagedAttention推理吞吐量能翻数倍。我见过不少团队卡没换仅仅升级了推理框架和量化策略服务能力直接翻倍。选卡之前先把软件优化做到位再决定要不要为硬件花钱。5.3 开发测试与个人设备按实际预算来个人开发者和高校实验室的预算通常有限我见过最多的配置是RTX 4090单卡或者双卡。用它做模型调试、小规模微调、跑推理demo完全没有问题。除非你要做研究级别的预训练或者频繁处理超长文本否则消费级顶卡完全是够用的。如果你正在考虑买个工作站还想兼顾深度学习和日常使用RTX 4090算是目前综合体验和生态最稳妥的选择。不过装机时要注意电源、散热、机箱尺寸这几个问题几乎每天都有新手在问。5.4 选型决策建议最后给一个我自己的选型决策清单算是这几年折腾下来的总结先确定业务是训练为主还是推理为主这决定了看指标的顺序。再估算模型参数量和需要的显存量化出大致底线。然后查生态兼容性确认要用的框架和工具链是否支持目标卡。最后再算账把硬件价格、功耗、散热、机房改造成本都加进去看真实总成本。有条件的话一定先申请云上的同款实例跑一轮测试再决定是不是要自购。我一直坚持一个原则数据说了算。参数表再漂亮不如跑一次真实任务。纸上谈兵式的选型十有八九会在实际负载面前翻车。算力卡这个领域更新迭代非常快但评估方法论是稳定不变的。只要搞懂FLOPS、显存带宽、显存容量、卡间互联这几项指标再看任何型号的GPU基本都能快速做出判断。我自己也还在持续踩坑和学习如果后续碰到值得分享的评测案例再写出来和大家交流。