最近圈子里聊 AI 基础设施绕不开两个缩写NVLink Fusion和UALink。围绕“超节点”和“Scale-up”这两个词大家争论的焦点已经从“要不要高速互连”变成了“这条高速公路到底该由谁来修、谁来收费”。作为一个从 GPU 集群运维一路做到芯片互连方案评估的人我来说说我看到的真相。这话题看起来像是纯芯片厂商之间的路线之争但实际上它直接关系到明年你采购的服务器是整柜交付还是按张卡拼装、你的大模型训练代码要不要为通信拓扑重写、以及你团队的运维预算会不会被互连功耗吃掉一大块。我尽量用从业者的视角把这些门道拆开讲清楚不堆 PPT 概念只聊实际影响。1. 为什么超节点和Scale-up突然成了算力领域的“必答题”1.1 模型参数量涨上去之后通信瓶颈从交换机转移到了GPU后背早几年的 AI 训练集群大家习惯用“千卡万卡”的数量来堆算力。那时候每个 GPU 之间的通信压力主要靠 InfiniBand 或者高性能以太网扛着网络架构是典型的 Scale-out算力节点通过交换机互联节点之间可以无限扩展。这套思路的问题在 MoE混合专家模型、长序列训练、以及大规模张量并行出现之后越来越明显——模型被切得太碎训练过程中需要频繁交换中间激活值、梯度、专家路由信息而这些通信几乎都发生在“相邻”的 GPU 之间如果大家都跑去挤交换机那延迟和拥塞很快就把算力提升吃掉了。我印象很深的一次是帮客户调一个千亿参数模型的训练性能单看 GPU 利用率已经到 85% 以上但端到端吞吐怎么都上不去。后来抓包一看每步迭代里有将近 40% 的时间花在跨节点的 all-to-all 通信上交换机端口全部跑满数据包排队延迟从微秒级跳到了几十微秒。那一次之后我才真正理解为什么业界要强调 Scale-up当模型规模突破一定阈值真正的性能瓶颈不在 GPU 芯片本身而在 GPU 背后那几条高速互连链路。1.2 Scale-up和Scale-out的本质区别一个是造巨型计算机一个是组计算机集群把这两个词放到一起对比很多人容易混淆。Scale-out 是“拼装集群”每台机器是独立个体通过网络交换机连起来扩的是节点数量机器之间通信走的是标准网络协议延迟在微秒到几十微秒量级。Scale-up 是“造巨型计算机”多个加速器通过专用高速互连直接连成一个大域对外表现就像一台拥有超大显存、超大算力的单体设备通信走私有协议或专用总线延迟能压到亚微秒甚至更低。超节点这个词本质就是 Scale-up 的具体产物。NVIDIA 的 DGX GH200 把 256 颗 Grace Hopper 超级芯片连成一个逻辑 GPUGB200 NVL72 把 72 颗 Blackwell GPU 通过 NVLink 全互联——这些都不是普通集群它们是“一台巨型计算机”。而其他芯片厂商要想在超大模型训练这个赛道上和 NVIDIA 竞争单靠堆 GPU 规格是不够的必须拿出能和 NVLink 抗衡的 Scale-up 互连方案。UALink 就是在这样一个背景下被推出来的。2. NVLink FusionNVIDIA把“互连”做成了整机架构的一部分2.1 NVLink的演进路径GPU之间的专用通道怎么变成超节点骨架NVLink 这套东西不是一天建成的。从 2016 年 Pascal 时代的 NVLink 1.0到 Volta 的 2.0、Ampere 的 3.0、Hopper 的 4.0再到 Blackwell 的 5.0每一代的带宽几乎都是翻倍着走从最初 160 GB/s 一路飙到 1.8 TB/s。每代升级除了速度翻倍还在不断改变连接形态。最开始 NVLink 只是点对点连接两块 GPU后来引入 NVSwitch 把多块 GPU 全互联起来再往后把 Grace CPU 和 Hopper GPU 用 NVLink-C2C 连成超级芯片。这几步走下来NVLink 已经从“显卡之间的数据线”变成了 NVIDIA 数据中心平台的骨架。这里要特别说下 NVLink-C2C它是 chip-to-chip 接口直接支持芯片与芯片之间的裸片互连。NVLink-C2C 既可以连接 CPU 和 GPU也可以连接两颗 GPU甚至可以实现两颗芯片在逻辑上融合成一颗。Grace CPU 内部的两个计算块、还有 Grace 和 Hopper 之间的互联都是靠 NVLink-C2C 打的底子。这套设计思路为后来的 “NVLink Fusion” 埋下伏笔互连不只是机箱里的一根线而是可以渗透到封装和裸片级别的系统级能力。2.2 Fusion的这步棋为什么说是对Chiplet时代的一次卡位说回 NVLink Fusion。从目前公开的技术架构信息看NVIDIA 已经不满足于用 NVLink 去连接独立的 GPU、CPU而是试图把互连的边界继续往前推形成一个“融合”的计算域。你可以把它理解为把过去分立在多个芯片上的计算单元、缓存、内存控制器、甚至网络接口通过统一的互连协议整合到一个虚拟设备里。它和 NVLink-C2C 的区别在于NVLink-C2C 解决的是芯片与芯片之间的物理互连而 NVLink Fusion 更像是在架构层面定义了“什么样的芯片组合可以被融合成一台逻辑机器”。这和 Chiplet 的发展趋势高度吻合。Chiplet 的意思是把原本一个大 die 的处理器拆成多个小 die芯粒再用封装和互连技术把它们组合成一个系统级封装SiP。这颗新的“大芯片”在物理上是多颗 die但在逻辑上是一颗芯片。NVIDIA 在 Blackwell 的 B200 上已经做了双 die 封装两颗 Blackwell 芯片通过 NVLink-C2C 连接共享统一显存域。到了 Fusion 阶段这套逻辑可以继续扩展一个超大节点里的所有加速器不管物理上拆成了多少 die、多少颗芯片在系统看来就是一个巨大的、连续的计算和内存池。这一手卡位非常关键。如果 Chiplet 真的成为下一代芯片设计的主流那互连协议就是决定 Chiplet 组合能力的天花板。NVIDIA 做 NVLink Fusion 明摆着是想告诉大家你们用 Chiplet 拆出来的芯粒只有按我的协议连起来才能发挥出最大的 Scale-up 性能。2.3 时延确定性比带宽更值钱的隐性壁垒很多人在对比互连方案时只盯着带宽数字标称多少 TB/s、多少 Gb/s看得很过瘾。但真实跑大模型训练的时候时延确定性往往比峰值带宽更致命。大模型训练是同步并行模式每一轮迭代中所有 GPU 都要完成前向传播、反向传播、梯度同步最慢的那个 GPU 决定整轮迭代的耗时。如果通信时延有抖动哪怕只有几次超出预期也会导致整体训练效率往下掉。NVLink 系列经过多代迭代最值钱的地方恰恰在于它提供了极低的、可预测的通信时延。NVLink-C2C 可以把 CPU-GPU 或 GPU-GPU 通信时延压到纳秒级而且因为是私有协议NVIDIA 能对整条链路做端到端的 QoS 控制从硬件层面保证关键同步消息优先传输。这种确定性是标准化的通用协议很难做到的——通用协议要考虑兼容性优先保证“都能用”很难为了极致时延去砍掉不必要的兼容逻辑。3. UALink的开放突围行业联盟想在NVLink的护城河上架一座桥3.1 联盟的来由用什么技术、由哪些人推动如果只有 NVIDIA 自己在玩 Scale-up那这篇文章也就没什么好对比的了。真正让 NVLink Fusion 产生压力的是 UALink 的出现。UALink 的全称是 Ultra Accelerator Link由 AMD、Intel、Microsoft、Google、Meta、Broadcom、Cisco、HPE、Dell 等公司联合推动这个阵营基本把 NVIDIA 之外所有和 AI 加速器相关的巨头都拉进来了。他们的目的非常明确定义一个开放的加速器互连标准防止 NVLink 继续垄断超节点内部的 Scale-up 连接。UALink 联盟想解决的核心问题和 NVLink 在过去十几年解决的问题高度重合让多个加速器像一台机器一样协同工作。但思路不同。NVLink 是 NVIDIA 的私有协议只有用 NVIDIA 的 GPU、NVIDIA 的 NVSwitch才能享受完整的 NVLink 能力。UALink 则想提供一套公开标准任何加速器厂商都可以围绕它设计自己的芯片和系统让 AMD 的 GPU、Intel 的 Gaudi、甚至各种 AI ASIC 芯片都能连进同一个超节点。这里需要注意UALink 不是想替代 PCIe也不是想替代 InfiniBand 和以太网。它在协议栈里的位置很明确面向 Scale-up 域中加速器与加速器之间的本地连接。跨超节点的互联仍然是标准网络的事情UALink 只负责“节点内部把这些加速器拧成一股绳”。3.2 UALink 1.0的技术目标与时间线根据 UALink 联盟公开发布的信息UALink 1.0 规范主要面向连接同一 Scale-up 域中的加速器。技术上它建立在 PCIe 物理层基础之上但针对大容量、低时延、高带宽的加速器通信做了大量优化。UALink 1.0 支持的速率达到 448 Gb/s 的 SerDes 通道理论上可以支撑上百个加速器的高效互联。联盟的目标是在较短时间内推出可供各厂商量产实现的规范让第一批 UALink 设备在 2025 年前后进入市场。这里有个很关键的细节值得关注UALink 选择建立在 PCIe 物理层之上而不是从头设计一套物理层。这么做的好处是能最大程度复用现有 PCIe 生态的成熟度减少重复设计和验证工作让各厂商的产品更容易做出来。但代价是它在物理层特性上会被 PCIe 的技术约束牵着走和 NVLink 这种从头到尾为 GPU 通信量体裁衣的方案相比某些极端场景下的能效比或时延指标可能不占优。时间线上UALink 的推进速度在开放标准里算快的。但开放标准“发布到量产”之间的距离往往比大家想象的远得多。规范写完只是第一步后面还有各厂商芯片流片、系统验证、互操作性测试、软件栈适配等一大串工作。我见过不少开放标准发布时轰轰烈烈等到真正能用已经过去三四年最后生态早就被私有方案抢占了。3.3 开放联盟的“通病”统一标准易统一交付难我在系统集成这个圈子里待久了对“开放标准”有比较复杂的感情。开放标准最大的价值是多元选择最大的风险是碎片化。UALink 的成员公司来自不同领域AMD 和 Intel 本身是竞争对手Google 和 Microsoft 在 AI 业务上也有重叠这决定了它们在 UALink 的大旗下还要各自做差异化。到了具体实现阶段不同厂商对标准的理解、对时延指标的把控、对软件接口的支持程度都会存在细微差异。这种差异在单一厂商方案里不存在但在开放生态里会直接变成系统集成时要面对的兼容性问题。以实际可参考的例子来说PCIe 规范和 NVMe 规范都相当成熟但不同品牌 SSD 在同一块主板上的表现仍然千差万别。UALink 要面对的加速器设备可比 SSD 复杂得多对齐难度完全不是一个量级。所以我对 UALink 的态度是方向绝对正确但落地节奏和最终交付体验还需要时间观察。它想撼动 NVLink 的生态壁垒靠的不能只是一纸规范而是要靠一批真正能被大客户信任的量产产品。4. 藏在Chiplet背后的互连经济学4.1 Chiplet拆的是芯片连起来的是超节点聊完两大阵营的明争暗斗回过头来看一个更底层的问题为什么 Scale-up 互连会和 Chiplet 绑在一起讨论。你看标题里就带着 Chiplet这不是凑热点而是技术逻辑的必然。Chiplet 的核心动机是成本。芯片制程越先进单颗大芯片的良率越低、成本越高。把大芯片拆成多个小 die每个小 die 面积小、良率高还能混用不同制程需要高性能逻辑的用先进制程需要大容量缓存的用成熟制程最后用先进封装把它们封装在一起。这套玩法的前提是die 与 die 之间的互连带宽要足够大、时延要足够低否则拆开之后的性能损耗会吃掉拆分带来的成本优势。从这个角度看Chiplet 和 Scale-up 是一条绳上的两个环节Chiplet 在封装层面把多个 die 连成一颗“逻辑芯片”Scale-up 在系统层面把多颗“逻辑芯片”连成一个“逻辑设备”。NVLink Fusion 之所以值得关注正是因为它试图把这两层用同一套互连思想贯穿起来。4.2 UCIe、NVLink Fusion、UALink三者怎么分工不是一回事这里很多人会问UCIeUniversal Chiplet Interconnect Express和 UALink 是不是要打架它们和 NVLink Fusion 到底什么关系先理清 UCIe。UCIe 是专门为 Chiplet 之间互连定义的标准关注的是封装级别 die-to-die 的互联可以把它理解成“芯片内部高速公路”的路面标准。UCIe 主要解决的是几个 die 放在同一个封装里它们之间的物理层、协议层怎么对齐。它的应用范围基本局限在一个封装或一个系统级封装内部。UALink 则是系统级的互连标准管的是“多颗独立加速器芯片之间的 Scale-up 连接”通常跨芯片、跨模组、甚至跨机柜。它工作的物理距离比 UCIe 大得多面对的工程挑战也不一样。NVLink Fusion 则更像一个框架把封装内互连类似 UCIe 的层面和系统级互连类似 UALink 的层面都纳入同一个架构体系只是它这套体系是 NVIDIA 私有的。所以三者不是替代关系而是不同层面的协议只是 NVLink Fusion 想用自己的标准把多个层面统一起来UALink 则希望至少在系统级 Scale-up 这个层面建立一个开放的分水岭。4.3 从封装到机柜Scale-up互连的成本到底花在哪很多人评估互连方案只看带宽单价却忽略了 Scale-up 互连在真实系统中的成本远不止线缆和连接器。做一个粗略拆解成本项说明大致占比经验值交换芯片/桥接芯片实现多个端口无阻塞互联的芯片研发与制造成本30%-40%高密度连接器与线缆铜缆、光缆、背板连接器要求极高信号完整性10%-20%封装与基板先进封装、高密度布线基板是 Chiplet 互连的主要载体20%-30%功耗与散热高速 SerDes 每通道功耗不低需要额外散热设计10%-15%测试与验证高速信号的测试设备、一致性验证、系统级调优5%-10%这个表格是基于一般系统集成经验估算的具体产品差异很大但它能说明一个问题Scale-up 互连的成本大头不在最后一米线缆而在交换/桥接逻辑和封装基板。NVIDIA 选择做 NVLink Fusion本质上就是把这些成本全部内化到自己的系统方案里用整机毛利来消化UALink 阵营则需要说服各成员公司自己承担这部分成本这对开放生态的推广速度是个不小的考验。5. 工程实测视角的对比维度带宽、时延、功耗与生态系统5.1 规格表之外的数字游戏标称带宽和实际可达带宽做技术选型不能只看 PPT 上的标称值。互连方案的标称带宽通常是指物理层的双向聚合速率而真实应用能用到多少要打一个大大的折扣。影响因素包括协议封装开销、拥塞控制机制、内存带宽是否匹配、驱动和通信库的实现质量。以实际项目经验来看在高速互连上跑分布式 AI 训练实际可用带宽往往只有标称值的 60%~75%。如果你的通信库不支持高效的 RDMA 操作或者内存分配没有做 NUMA 感知实际带宽可能连 50% 都到不了。所以在对比 NVLink Fusion 和 UALink 时与其纠结峰值数字不如关注两个更实际的问题第一这个互连方案能不能给你提供清晰的“有效带宽/时延”测试方法第二主流 AI 框架如 PyTorch、JAX对它的支持深度如何。5.2 生态绑定的真实代价开发、运维、供应商锁定NVLink Fusion 最大的优势是生态完整从芯片、交换、软件栈到上层框架全部由 NVIDIA 一体化集成。这种闭环带来的是开箱即用的体验你用 NCCL一行代码不改就能享受到 NVLink 的高带宽你用 CUDA 编程模型互连的细节被封装得非常好不需要处理底层的拓扑和路由。但闭环的代价也很明显。最直接的就是价格话语权NVIDIA 的整机方案往往是“捆绑销售”你不能只买 GPU 不买 NVSwitch也不能拿自己的交换芯片去替代 NVLink Fusion 中的某个组件。对于超大规模云厂商和国家级算力中心来说这不仅是成本问题更是供应链安全与自主可控的问题。UALink 的意义在这里就体现出来它提供了一种潜在的可能性让加速器、交换机、服务器机柜可以由不同供应商提供避免单一厂商卡脖子。只是这条“开放”路径要真正成熟还需要软件生态全力跟上。毕竟对最终用户而言技术再先进如果跑不了主流框架那也只能停留在实验室里。6. 给算力规划者的选型建议与我的判断6.1 一句话判断法看你的核心瓶颈是训练还是推理如果你现在需要做算力规划又不想被各种 KOL 的站队言论带偏我建议你先做一个判断你的核心场景是什么如果是超大模型的预训练、全参数微调特别是用了大规模张量并行或专家并行的场景那么 Scale-up 域的带宽和时延直接决定训练效率这时候选择生态成熟、确定性高的方案目前就是 NVIDIA NVLink Fusion 这套体系是最稳的。如果是推理服务、云服务上的多租户 GPU 调度或者训练规模不大比如单机 8 卡以内就能搞定Scale-up 互连的重要性就没那么高普通 PCIe以太网的组合已经够用没必要为超节点溢价买单。6.2 分规模场景的互连策略我再给不同规模的团队一些可落地的参考。小型团队实验室、创业公司卡数在 32 卡以内建议直接选择 NVIDIA 的整机方案比如 8 卡机加 NVLink 桥接不要折腾任何第三方互连。这个阶段核心是快速把模型跑起来时间比钱贵。中型团队100 卡~1000 卡规模需要认真评估 Scale-up 拓扑。如果主要跑开源大模型NVIDIA 方案依然是稳妥选择但要为未来的供应商多样化做些准备比如代码层面尽量避免绑定某些 NVIDIA 私有通信库的扩展接口。也可以关注 UALink 阵营的动态等第一批量产设备出来后在测试环境里验证。大型云厂商/算力中心千卡以上必须在技术路线和供应链安全之间做平衡。短期内NVLink Fusion 训练效率确实占优但长期来看保留多套互连方案的兼容能力避免被一套私有大网锁死会是更理性的策略。这时候选择服务器时优先考虑支持 OCP 开放加速器模块等标准的机型为未来接入 UALink 设备留好空间。6.3 我的一些个人看法说句掏心窝子的话过去一年我在多个项目里同时接触到两套方案的早期形态。我的感受是NVIDIA 在 Scale-up 互连领域的领先是系统性的它不只是带宽数字领先而是在互连架构、软件栈、调试工具、运维经验上全面领先。这个壁垒很难靠一个联盟的标准在短时间内推翻。但 UALink 的出现重要意义在于它第一次让行业里有了一个可以认真讨论的“备选方案”让互连协议不再是一个锁死生态的黑盒。对于做技术的我们来说最好的应对方式不是押注某一边而是把互连机制本身理解透——知道时延来自哪里、带宽消耗在什么地方、哪些场景需要资源预留、哪些场景通信可以被计算隐藏。这些东西学会了不管是 NVLink Fusion 还是 UALink 时代的设备你都能很快上手。最后分享一个我自己的经验在评估任何互连方案时我都会坚持让厂商提供一份“最坏情况下的通信时延”测试报告而不是只给平均时延。正常运行时平均时延很好看但分布式训练最怕的是长尾延迟是那些偶尔冒出一次的高延迟然后拖慢整个迭代的异常。互连方案是否具备有效的流控和优先级调度这在你真正跑到千卡规模时会比任何宣传文档都重要。这一点大家在选型时一定不要忽略。