1. 算力账单背后的真实成本结构1.1 从一张电费单说起去年帮一个朋友看他那台跑本地大模型的机器他抱怨说每个月电费比之前多了四百多块问我是不是被偷电了。我让他把配置报了一下双路至强金牌 6338两张 RTX 4090128G 内存两块 2T NVMe外加一个 1200W 的铂金电源。我算了一下这配置满载功耗大概在 1400W 到 1600W 之间如果他每天跑 8 小时推理任务一个月光电费就接近三百块再加上空调散热四百多块完全合理。他当时就愣住了说买卡的时候只算了硬件钱压根没想过电费这回事。这件事其实特别典型。现在大家聊 AI 算力张口闭口都是 GPU 型号、显存带宽、卡间互联很少有人认真算过一笔账算力的尽头可能真的是电费。尤其是当你从“玩一玩”进入“持续跑业务”的阶段电费会从一个小透明变成每个月都在提醒你存在的固定支出。1.2 算力成本的三层结构要理解电费为什么可能成为下一道关卡得先把算力成本拆开看。我习惯把它分成三层硬件折旧层GPU、CPU、主板、内存、存储、电源、机柜、交换机。这部分是一次性投入按三年折旧摊到每个月。电力与散热层设备运行耗电加上空调、风扇、UPS 损耗。这部分是持续支出且随负载波动。运维与人力层部署、调优、故障处理、模型更新、数据管理。大多数人只盯着第一层因为买卡的时候心疼一次就过去了。但第二层才是真正磨人的地方它不会一次性让你肉疼而是每个月都来一刀。而且这一刀的大小直接取决于你的算力利用率和电价。1.3 为什么现在电费问题被放大了以前跑个小模型一张卡功耗两三百瓦电费感知不强。现在情况变了单卡功耗飙升从 GTX 1080 Ti 的 250W到 RTX 3090 的 350W再到 RTX 4090 的 450WH100 更是到了 700W。单卡功耗翻了两三倍。集群规模扩大以前一张卡跑一个任务现在动辄八卡、十六卡甚至整机柜。功耗是线性叠加的。运行时间拉长以前跑个 demo 几分钟现在训练一个模型几天几夜推理服务 7x24 小时在线。散热需求增加高密度算力意味着高密度发热空调和散热系统的电费也跟着涨。这四个因素叠加电费从“可以忽略”变成了“必须认真对待”。我认识一个做 AI 短剧生成的工作室他们租了一个小机房放了三台八卡服务器夏天最热的时候电费加空调一个月接近一万二比房租还贵。2. 不同规模下的电费实测与估算2.1 个人开发者一张卡的真实开销先看最小规模。假设你有一台个人工作站配置如下部件型号典型功耗GPURTX 4090450WCPUi9-13900K125W满载 250W主板内存存储-60W电源损耗铂金 94%约 5%合计-约 700W如果每天跑 6 小时推理或微调一个月 30 天用电量是 0.7kW × 6h × 30 126 度。按居民电价 0.55 元/度算一个月约 69 元。加上空调散热夏天可能翻倍到 140 元左右。这个数字看起来不大但如果你把运行时间拉到 12 小时或者换成双卡配置电费就奔着三百去了。对于个人开发者来说这不是一笔可以完全无视的钱。2.2 小团队八卡服务器的电费账再往上走一个量级。一台典型的八卡 A100 服务器部件数量单功耗总功耗A100 80G8300W2400WCPU2200W400W内存存储主板--200W风扇电源损耗--300W合计--约 3300W满载运行一小时 3.3 度电。如果 7x24 小时跑推理服务一天 79 度一个月 2376 度。按商业电价 0.8 元/度算一个月电费 1900 元。再加上机房空调制冷功耗通常是 IT 功耗的 0.6 到 1.0 倍取 0.8 算空调一个月又要 1500 元左右。合计电费支出约 3400 元/月。这还没算上如果机房 PUE 偏高的情况。有些小机房 PUE 能到 1.8 甚至 2.0那电费直接翻倍。2.3 中大型集群电费成为主要运营成本到了几十卡、上百卡的规模电费就彻底翻身做主人了。以 64 卡 H100 集群为例项目功耗H100 单卡700W64 卡 GPU 总功耗44800W配套 CPU内存存储约 8000W网络交换机约 2000W电源损耗约 3000WIT 总功耗约 57800W空调制冷PUE 1.3约 17340W总功耗约 75140W满载一小时 75 度电一天 1800 度一个月 54000 度。按工业电价 0.6 元/度算一个月电费 32400 元。一年就是将近 39 万。这个数字已经超过了很多小团队一年的硬件采购预算。注意这里的电价按 0.6 元/度估算实际工业电价因地区差异很大有的地方能到 0.4 元有的地方超过 1 元。选址对电费的影响极大。2.4 电费占比的临界点我整理了一个简单的对比表看看不同规模下电费在总成本中的占比规模硬件月折旧电费月支出电费占比个人单卡约 1200 元约 100 元7.7%小团队八卡约 25000 元约 3400 元12%中型 64 卡约 200000 元约 32400 元14%大型 512 卡约 1600000 元约 260000 元14%可以看到随着规模扩大电费占比稳定在 12% 到 15% 之间。这个比例看起来不算致命但关键在于硬件折旧是固定的电费是浮动的。如果你的算力利用率不高电费占比会更高如果你的电价高电费占比也会更高。而且电费是每个月都要掏的现金对现金流的影响比一次性硬件投入更直接。3. 降低电费支出的实操路径3.1 硬件选型能效比优先买卡的时候不能只看算力峰值要看每瓦算力。我对比过几款常见卡在推理场景下的能效显卡典型功耗FP16 算力每瓦算力RTX 3090350W71 TFLOPS0.203RTX 4090450W165 TFLOPS0.367A100 80G300W312 TFLOPS1.04H100700W989 TFLOPS1.41从每瓦算力看H100 是最优的A100 次之消费级卡垫底。但消费级卡便宜所以要看你的预算和运行时长。如果你只是偶尔跑跑消费级卡的总拥有成本可能更低如果你是 7x24 小时跑专业卡的能效优势会逐渐摊平硬件差价。实操心得我试过用 RTX 4090 跑 7x24 小时的推理服务电费确实比 A100 高不少。后来换成 A100 之后虽然卡贵了但每个月电费省下来的钱两年左右能把差价补回来。所以如果你的业务是持续性的优先考虑能效比高的专业卡。3.2 功耗调优让 GPU 少喝点电GPU 不是非得跑在满功耗。通过调整功耗墙可以在损失少量性能的情况下大幅降低功耗。以 RTX 4090 为例# 查看当前功耗限制 nvidia-smi -q -d POWER # 将功耗限制设为 300W默认 450W sudo nvidia-smi -pl 300实测下来4090 从 450W 降到 300W推理性能大约下降 10% 到 15%但功耗降低了 33%。每瓦算力反而提升了。对于推理任务来说这个 trade-off 非常划算。对于 A100也可以用类似的方式# 设置 A100 功耗上限为 250W sudo nvidia-smi -pl 250注意功耗墙设置需要 root 权限且不同型号的允许范围不同。设置前先查清楚你的卡支持的最低功耗是多少。另外功耗墙设置在重启后会失效需要写进开机脚本。3.3 调度策略让算力在电价低的时候跑如果你有自己的机房或者能控制运行时间可以利用峰谷电价差来省钱。很多地区的工业电价峰谷差能达到 0.4 元/度以上。具体做法批量任务安排在谷电时段比如晚上 10 点到早上 6 点电价通常是峰电的 50% 到 60%。推理服务做弹性伸缩低峰时段减少实例高峰时段再扩容。训练任务用抢占式调度把非紧急的训练任务标记为可中断在电价高的时候自动暂停电价低的时候恢复。我用过一个简单的调度脚本核心逻辑就是根据时间段决定是否启动训练任务import datetime import subprocess def is_valley_hour(): now datetime.datetime.now() hour now.hour # 假设谷电时段为 22:00 到 06:00 return hour 22 or hour 6 if is_valley_hour(): subprocess.run([python, train.py]) else: print(当前为峰电时段训练任务暂停)这个脚本很粗糙但思路是对的。实际生产中可以用更完善的调度系统比如结合 Kubernetes 的 CronJob 或者专门的算力调度平台。3.4 散热优化别让空调吃掉你的利润散热是电费里的隐形杀手。我见过太多机房IT 设备功耗 10kW空调功耗 8kWPUE 直接干到 1.8。其实很多散热优化手段成本不高效果却很明显冷热通道隔离把机柜面对面排列形成冷通道和热通道避免冷热空气混合。这个改造花不了多少钱但 PUE 能降 0.2 到 0.3。提高回风温度很多机房空调设得太低其实服务器进风温度在 18 到 27 度之间都能正常工作。把空调温度调高几度压缩机功耗能降不少。使用变频空调定频空调频繁启停能耗高。变频空调根据负载调节功率长期看更省电。自然冷却如果所在地区气候凉爽可以考虑新风系统在室外温度低的时候直接引入冷空气。实操心得我给一个小机房做过冷热通道隔离材料费不到两千块但每个月空调电费省了四百多。不到半年就回本了。这个投入产出比非常高。4. 电费约束下的算力选型与架构设计4.1 算力约束下的资源配置建模思路当电费成为约束条件时算力配置就不能只看峰值性能了。我习惯用一个简单的模型来评估总拥有成本 硬件折旧 电费 运维 场地其中电费 功耗 × 运行时间 × 电价 × PUE。这个模型里功耗和运行时间是可控的电价和 PUE 是半可控的。所以优化方向就很明确降低单卡功耗功耗墙、能效比选型降低运行时间调度、弹性伸缩降低电价选址、峰谷套利降低 PUE散热优化4.2 不同精度对算力和功耗的影响精度选择直接影响算力需求和功耗。我整理了一个对比精度显存占用算力需求典型功耗适用场景FP32最高最高最高科学计算、高精度训练FP16中等中等中等常规训练、推理INT8较低较低较低推理加速INT4最低最低最低边缘推理、大模型量化从 FP16 降到 INT8显存占用减半算力需求降低功耗也跟着降。对于推理任务来说INT8 量化通常能保持 95% 以上的精度但功耗能降 30% 到 40%。这个账很划算。注意量化不是万能的。有些任务对精度敏感量化后效果下降明显。建议先在小规模上测试确认精度损失可接受后再全面推广。4.3 异构算力调度的价值不是所有任务都需要 GPU。CPU、NPU、甚至专用加速卡都可以承担一部分算力。异构算力调度的核心思想是让合适的硬件做合适的事。比如数据预处理用 CPU省 GPU 功耗小模型推理用 NPU能效比更高大模型训练用 GPU发挥并行优势我见过一个团队用 OpenFuyao 构建异构算力调度平台把 CPU、GPU、NPU 统一管理根据任务类型自动分配。他们的电费比之前纯 GPU 方案降低了 25% 左右因为很多轻量任务不再占用 GPU 了。4.4 本地部署 vs 云算力的电费对比很多人纠结是本地部署还是用云算力。从电费角度看方案电费承担方优点缺点本地部署自己长期成本低、数据可控前期投入大、运维复杂云算力云厂商按需付费、无运维单价高、长期成本可能更高关键看使用率。如果你的 GPU 利用率超过 40%本地部署通常更划算如果低于 20%云算力更经济。电费在这个决策中扮演重要角色因为本地部署的电费是固定支出而云算力的电费已经包含在单价里了。实操心得我建议先用云算力跑一段时间记录实际使用率和任务特征再决定是否本地部署。不要一上来就买卡很容易买完发现利用率太低电费白交。5. 常见问题与排查技巧实录5.1 电费异常排查速查表现象可能原因排查方法解决思路电费突然翻倍GPU 未进入休眠nvidia-smi 查看功耗设置功耗墙、启用持久模式空调电费过高PUE 偏高测量进风回风温度冷热通道隔离、调高空调温度待机功耗高电源效率低查看电源铭牌换铂金或钛金电源峰谷电费差不大未利用谷电查看电费单调整任务调度时间单卡功耗波动大任务负载不均监控 GPU 利用率优化批处理大小5.2 几个容易踩的坑坑一只看显卡功耗忽略整机功耗。很多人算电费只算 GPU实际上 CPU、内存、主板、风扇、电源损耗加起来也不少。一台八卡服务器GPU 功耗 2400W整机功耗可能到 3300W。算电费的时候要把整机功耗算进去。坑二忽略空调电费。机房空调的功耗经常被低估。实际上制冷功耗通常是 IT 功耗的 0.6 到 1.0 倍。如果你的 PUE 是 1.8意味着每花 1 块钱 IT 电费就要花 0.8 块钱空调电费。这个数字很吓人。坑三功耗墙设置后忘记持久化。nvidia-smi -pl 设置重启后会失效。我见过有人设了功耗墙结果机器重启后忘了重新设置白跑了好几天满功耗。建议写进 systemd 服务或者开机脚本。坑四忽略电源效率。电源在 50% 负载时效率最高满载时效率下降。如果电源选得太大长期在低负载运行效率反而低。选电源的时候要算好整机功耗留 20% 到 30% 余量就行不要盲目上大电源。坑五量化后不做精度验证。INT8 量化确实省电但有些任务精度损失很大。我见过一个团队把模型量化后直接上线结果效果下降明显又回滚到 FP16白白折腾了一周。量化后一定要做 A/B 测试。5.3 监控与告警建议电费问题最好是提前发现不要等账单来了才后悔。建议做以下监控GPU 功耗监控用 nvidia-smi 或者 DCGM 采集每张卡的功耗设置阈值告警。整机功耗监控用智能 PDU 或者带电量统计的电源采集整机功耗。温度监控监控进风温度、回风温度、GPU 温度异常时告警。电费预估根据实时功耗和电价估算当月电费超预算时告警。我用过一个简单的方案用 Prometheus 采集 GPU 功耗Grafana 做面板设置当月电费预估超过预算时发邮件告警。这套方案成本很低但效果很好能让你在电费失控之前采取措施。6. 一些个人体会电费这个问题我一开始也没太在意。直到有一次帮朋友算账发现他那台机器一年电费够买一张新卡了我才意识到这个问题的严重性。后来我自己做本地部署的时候就特别关注能效比和功耗调优。我的经验是如果你的算力是持续运行的电费一定会成为你不得不面对的问题。与其等到账单来了才想办法不如在选型和架构设计阶段就把电费纳入考量。选能效比高的卡、设置合理的功耗墙、优化散热、利用峰谷电价这些手段加起来能把电费降低 30% 到 50%。还有一点不要为了省电费而牺牲太多性能。我见过有人把功耗墙设得太低结果任务跑得慢如蜗牛虽然电费省了但时间成本更高。省电费的前提是不影响业务这个平衡点需要自己根据实际情况去找。最后分享一个小技巧如果你不确定功耗墙设多少合适可以从默认功耗的 70% 开始试跑一下你的典型任务看性能下降多少。如果下降在 10% 以内就继续用如果下降太多就往上调。多试几次就能找到最适合你任务的功耗设置。