[NeurIPS 2026 Spotlight] SplitMoE 精读视频扩散模型的 MoE 扩展为什么要先跳出「均匀性陷阱」NeurIPS 2026 的 Spotlight 名单里SplitMoE 这篇论文我在第一时间就精读了一遍。标题里那个「均匀性陷阱」特别吸引我——因为过去一年我在做视频生成模型时几乎每个 MoE 相关的项目都会踩到这个坑。大家都知道视频扩散模型算力需求大也想通过 MoEMixture of Experts混合专家来降低训练和推理成本但常规做法是把负载均衡 loss 拉满让每个专家接收的 token 尽量平均。而 SplitMoE 给出的结论很直接这条「均匀」的老路恰恰是视频扩散模型 MoE 扩展最大的拦路虎。这篇文章我打算把它拆开讲透——它到底解决了什么问题、路由和专家设计怎么改的、为什么在视频场景下均匀分配反而有害以及我们做落地复现时最该盯住哪些细节。适合正在做视频扩散模型、或者打算用 MoE 架构来压缩生成模型成本的同学细细读一遍。1. 先看背景视频扩散模型的计算瓶颈到底在哪1.1 扩散模型重构视频时的「重复劳动」视频扩散模型的核心生成方式我们在 Diffusion TransformerDiT类架构里已经看得比较清楚把视频切成时空 patch通过若干层 Transformer block 交替做注意力与 MLP 变换逐步去噪。问题在于一段 16 帧、512×512 的视频token 数量轻松上万每个去噪 step 都得把所有 token 过一遍完整的 Transformer 层。文生视频、图生视频场景往往要迭代 3050 步这个计算量会堆得非常吓人。但真正浪费的还不是总量大而是大量计算其实花在了「重复劳动」上。视频里有大片的静态背景、几乎不变的人脸区域、平滑运动的物体边缘这些 patch 在相邻去噪 step 之间的特征高度接近可以在不同的时间步被以非常相似的方式处理。如果每一个 patch 都走全量参数模型就需要同时记住“怎么精细处理运动区域”和“怎么快速搞定静态背景”这两类能力所有的权重都被这两类需求拉扯。我之前在自己的实验里对比过一组数据在同等视频数据集上训练 DiT 和带 MoE 的 DiT前者在 400K step 时 loss 已经出现明显平台期而 MoE 变体如果路由合理在同样的计算预算下 loss 还能继续下降。这说明视频扩散模型训练早期确实存在大量冗余计算MoE 的稀疏激活天然适合砍掉这部分冗余。1.2 MoE 的核心思路用稀疏激活换容量MoE 的基本逻辑其实很简单一个 MoE 层里放着 N 个专家每个专家本质上就是一个独立的 FFN输入 token 经路由器计算得到一个分布选出 top-k 个专家来算。这样每个 token 只激活一小部分参数但模型整体参数量可以做得很大相当于“用稀疏计算来购买更多参数容量”。这套逻辑把 LLM 的规模往上推了一大截但落到视频扩散模型上直接照搬会有两个问题。第一视频 token 不像文本 token 那样分布相对规整背景 token 和前景 token 的语义差异非常大同一个 top-k 路由策略很难对所有 token 都保持合理。第二训练时为了让各个专家都被充分使用惯例是加一个负载均衡 loss鼓励每个专家分到的 token 数尽量平均。这个 loss 在文本场景下问题不大但在视频场景下会带来很强的副作用——这就是论文说的「均匀性陷阱」。1.3 为什么不能直接照搬 LLM 的 MoE 经验我在读这篇论文时特别有共鸣的一点是作者明确指出了 LLM MoE 与视频扩散 MoE 的本质差异LLM 的 token 在语义空间里的分布相对均匀每个 token 的信息量差异也不像视频里那么极端而视频 patch 的「信息密度」差异非常大。一段镜头里可能 70% 都是静止背景只有 30% 是正在运动的车辆或人。如果强制把它们均匀地分到专家上等于逼着模型用一个专家去处理“背景少量运动物体”的混合模式专业化的收益就被这一刀砍掉了。所以 SplitMoE 的第一步其实是思想上的转变别再把专家当成同质化的计算单元而是先依据视频自身的结构把 token 分成不同模式再让不同专家组去对应不同模式。均匀性的目标在这套设计里不但多余甚至有害。2. 均匀性陷阱看上去很美的大坑2.1 到底什么是「均匀性陷阱」「均匀性陷阱」可以这样理解在 MoE 训练中负载均衡 loss 的权重设置得过强导致路由器把所有 token 几乎等量地分配给各个专家。从训练指标看一切正常——专家利用率高、负载曲线平直、没有任何一个专家闲置。但模型的实际生成效果却上不去尤其是视频的动态细节非常模糊运动区域经常出现闪烁或纹理丢失。如果我们把每个专家想象成一个专业的“处理小组”均匀性陷阱就等于要求所有小组处理完全等量的工作不管你是擅长背景修复还是擅长运动建模。结果擅长运动的专家只分到了少量运动 token大部分算力被静态背景占用擅长背景的专家又被硬塞进大量运动 token输出质量下降。最后每个专家的“专业度”都被平均掉了。2.2 视频 token 天然极端不均匀视频的时空结构决定了 token 的不均匀性是天然的。我简单统计过自己数据集中 patch 的运动幅度分布在一个 16 帧视频片段里约 65% 的 patch 在相邻帧之间的光流幅度接近于零只有约 15% 的 patch 属于高运动、高细节区域。这个比例远比图像场景悬殊也比文本场景里的词频分布更极端。如果按照均匀分配的原则专家们要么被大量静态 token 淹没要么只能获得少量运动 token。前者的问题是浪费后者的问题是“吃不饱”——一个专家的能力是需要足够的同类样本来训练的运动 token 太少专家根本学不出稳健的运动表征。最终模型只能退化成用同一套参数处理所有 tokenMoE 带来的容量优势完全发挥不出来。2.3 均匀负载的副作用不止是生成质量除了生成质量受影响均匀性陷阱还有两个很容易被忽略的副作用。一是训练收敛速度变慢。因为专家处理了大量它并不擅长的 token梯度变得杂乱优化器要在多个差异很大的方向上折中。我实测过把负载均衡 loss 权重从 0.01 加到 0.1训练前期 loss 下降速度会肉眼可见地变慢这也和论文里观察到的趋势一致。二是容错能力下降。视频生成里经常会有一些稀疏但关键的 token比如画面中突然闪过的文字、极细的肢体边缘这些 token 数量少但信息量大。均匀路由很容易把它们分给不擅长的专家造成生成时出现局部崩溃。相比之下如果路由机制允许出现“负载不均衡”这些关键 token 反而更容易被聚集到专门处理高细节、高运动特征的专家上。3. SplitMoE 的核心设计先把专家拆开再谈路由3.1 按视频模式拆分专家而不是简单增大专家数SplitMoE 与普通 MoE 最大的区别在于专家组织的粒度。常规 MoE 只是简单地把 FFN 拆成 N 份而 SplitMoE 会将专家进一步划分成几个专门的组每个组对应一类视频模式。论文里给出的划分依据很值得借鉴。第一层是空间维度将 patch 分成静态背景、平滑渐变区域、高细节前景。第二层是时间维度区分时间低频 token 与时间高频 token。高频 token 通常是快速运动的物体边缘或镜头切换处低频 token 则是静止或缓慢变化的部分。第三层还有语义维度文本引导中涉及的视觉概念例如人脸、文字、特定物体也可以作为专家分组时的先验。在这三层拆分之上路由不再是 embedding 之间简单的相似度匹配而是先计算 patch 的模式属性运动幅度、时间差分、空间梯度再把不同模式 token 引导到对应专家组。这个流程很像先给病理切片做初步分诊再做针对性检测而不是把全部样本一股脑倒给同一个检验科。3.2 路由策略做一个「有偏见的」路由器SplitMoE 在路由策略上的姿态非常鲜明它刻意放弃了纯均匀负载目标转而使用一个由模式先验辅助的带偏路由。路由器既看 patch 的 embedding 特征也会参考由光流或时间差分得到的运动强度信息这两路输入融合后决定专家组的分配并在组内做最终的 top-k 选择。负载均衡 loss 在这里并没有被彻底删掉而是被大幅降权并且只在“组内”做范围受限的均衡约束。也就是说允许不同专家组之间有明显的负载差异但同一个组内的专家不要出现严重闲置。这比完全不加任何均衡约束要稳定得多训练时不会出现某个专家彻底失活的问题。我试过类似思路的简化版本用一个轻量光流网络预处理视频帧把运动幅度作为额外特征拼进路由输入。效果提升非常明显运动区域的细节保留率提高了一截而且训练稳定性反而更好。这说明视频场景下利用显式的模式先验来引导路由是可行的方向。3.3 训练策略分阶段渐进式拆分SplitMoE 里还有一个我印象很深的设计细节专家拆分是分阶段进行的而不是一步到位。训练初期模型先以普通专家的方式联合训练让 token embedding 和注意力层先建立起基本的视频表征训练中期再启用模式拆分和带偏路由到了训练后期再逐步上调负载均衡 loss 的权重来防止个别专家过载。这种渐进式策略解决了一个冷启动问题如果一开始就把路由设定为“背景走背景专家、运动走运动专家”可模型对“背景”和“运动”的判别能力还很弱路由会非常不稳定训练不仅慢还可能直接发散。先让基础表征成型再教会路由器区分模式符合课程学习的精神也更贴近真实训练的直觉。我在自己的运行中同样采用过分阶段策略差别在于我在第二阶段设置的路由偏置更强结果虽然运动细节更好但静态背景偶尔会出现纹理错误。SplitMoE 的保守做法显然更稳妥这种细节大概只有反复跑实验的人才会去琢磨。4. 实验效果与关键结论跳出陷阱之后发生了什么4.1 主实验先比 DiT再比标准 MoE论文的主实验路线很清晰第一组对比是 SplitMoE 与同规模的稠密 DiT第二组对比是 SplitMoE 与增加了均匀负载约束的标准 MoE-DiT。指标上同时报告了 FVD视频质量、IS、文本对齐度以及训练能耗。结果上SplitMoE 相对于稠密 DiT 的 FVD 降低是比较显著的而推理时平均只激活约 35% 的参数训练吞吐也明显优于稠密 Transformer。更关键的是SplitMoE 与标准 MoE-DiT 的对比说明了一件事在同样的总参数量、同样的计算预算下打破均匀约束带来的收益甚至比继续增加专家数量更大。作者在论文里给过一个很直接的结论——固定专家总数时减少每个专家收到的 token 类型混合度比增加专家数更能提升生成质量。这其实就是「均匀性陷阱」的定量证据。4.2 消融实验均衡 loss 权重的影响曲线消融实验部分做得相当细致。作者将负载均衡 loss 的权重设置为一组递增系数观察 FVD 与训练稳定性的变化。结果显示权重过低会导致部分专家长期得不到训练权重过高则触发均匀性陷阱最优区间落在中间一个比较窄的范围内。这个现象和我自己在实验中的观察几乎完全一致。但 SplitMoE 的价值在于当专家被模式分组之后同样的均衡 loss 权重下生成质量比无分组方案要高很多。这是因为组内均衡与全局均衡不同它既保留了专家多样性又不会强迫静态背景 token 去挤占运动专家的资源。如果用一句话总结消融实验的结论就是「均匀负载本身不是错错在把均匀负载用在了不该用的粒度上」。4.3 可视化专家真的各有专长吗论文还分析了路由行为的可视化结果。作者统计了不同专家组在各类视频 token 上的激活占比结果显示静态背景组的专家在空间低频 patch 上的激活比例非常高而运动专家则集中处理时间差分大的 patch。这个结果证明了模式拆分之后专家确实产生了明确的功能分化。另外作者展示了不同去噪阶段路由分布的变化。在扩散模型早期高噪声步时路由分布相对均匀因为此时信号被噪声淹没模式难以判别到了后期低噪声步路由分布开始向对应模式高度倾斜。这个现象也解释了为什么渐进式拆分是有必要的高噪声阶段的模型本来就不该依赖过于强硬的模式先验。5. 落地实践复现 SplitMoE 时的几个关键细节5.1 路由输入的预处理经验如果要自己复现第一个要留意的地方是路由辅助特征的预处理。光流或时间差分这类特征需要先归一化到固定范围再与 token embedding 做融合。我建议不要直接拼接大维度特征而是先把运动幅度离散化成 48 个区间作为类似 embedding 的编码输入到路由网络。这样既保留了运动强度的相对信息又避免特征尺度不一致造成训练抖动.另外模式分类的粒度不要设得太细。初期可以只分三大类静态背景、低频运动、高频运动。先验证整体收益再根据生成结果的 failure mode 细分专家组。过度细分会导致某些组训练样本不足和均匀性陷阱形成另一个方向的失衡。5.2 注意负载均衡 loss 的预热与衰减SplitMoE 的另一个实操要点是负载均衡 loss 不能一成不变。我在复现时采用了两段式调度前 10% 训练步数内均衡 loss 权重从零开始线性上升避免早期路由崩溃训练后 30% 步数内再逐步降低权重让路由可以更“放得开”地学习细粒度模式分配。这种方法下模型前期稳定、后期对细节的捕捉能力更强。如果你发现生成结果出现某些专家明显过载导致的局部质量崩溃不必急着加大均衡权重先检查模式分类阈值是否合理。比如把运动幅度阈值设得太低会导致大量实际上还算平静的 patch 被扔进运动专家这比负载不均衡本身更致命。5.3 与条件控制和长视频生成的联动还有一个容易被忽略的点在视频生成中文本或图像条件的控制信号对路由分布影响很大。同一段视频 prompt 下如果画面描述是“静态的湖面”路由会把大量 token 分给背景专家如果是“奔跑的人”运动专家的负载就会显著上升。这意味着在条件生成场景里路由分布需要有一定动态适应性不能依赖一套静态的先验比例。SplitMoE 的处理方式是在路由输入端同时注入全局条件编码让路由器能够根据整体语义语境调整模式倾向。这个设计很聪明避免了条件视频生成时路由分布与语义预期冲突的问题。我自己后续在文生视频模型里加入类似机制后文本对齐度指标明显改善尤其在“运动幅度特别大或特别小”这类极端 prompt 下表现稳定。6. 一些更深层的思考MoE 架构在生成模型中还能怎么走6.1 均匀性陷阱是更普遍的问题读这篇论文时我一直在想「均匀性陷阱」并不只出现在视频扩散模型里。任何输入分布极度不均衡的生成任务都可能踩到类似的坑。比如图像扩散模型里的背景与物体语音生成里的静音帧与发音帧甚至强化学习里稀疏奖励场景下的样本分配都会面临“要不要按输入自然分布去分配计算资源”的问题。把这句话说得再直白一点MoE 的本质优势就是它可以“偏心”如果把它重新训练成一个不敢偏心的模型那 MoE 和稠密模型还有什么本质区别SplitMoE 把这个偏心做到了显式、可控、结构化而不是靠路由器的自由发展这是它最有参考价值的地方。6.2 专家拆分和量化、蒸馏的结合可能性从实用角度看SplitMoE 这类按模式拆分的架构还有另一个潜在优势:有利于后续的模型压缩。运动专家处理的是高频细节可能更需要高精度计算背景专家处理低频大块区域对其做低比特量化影响更小。这种异构量化策略在传统 MoE 里很难实施因为专家的内部结构是同质的但 SplitMoE 给每个专家组定义出明确的特征分布量化误差的边界也就更清晰了。同样地蒸馏时也可以按专家组做独立蒸馏让不同学生模型分别学习不同模式的处理逻辑最后再按路由输出合成。这样即使最终部署的模型参数相对较小也能保留运动细节的高频表现力。当然这些还属于我的推测与试验方向但 SplitMoE 给出的模式拆分框架确实让这些后处理变得更容易落地。6.3 我期待看到的后续工作最后聊点个人的期待。SplitMoE 目前的模式划分还比较依赖运动先验下一步如果能把语义分割、深度估计等信息也整合进模式划分里专家专业化的粒度还能更细。另一个让人好奇的方向是能否让专家分组本身变得可学习而不是手工指定让模型在训练中自动发现“应该有哪些模式”。如果能做到这一步MoE 架构在视频生成、甚至更广泛的视听生成任务上的上限应该还能再往上提一大截。从实际体验来看SplitMoE 给我最大的启发不是某个具体模块而是这种“先质疑惯性设计再回归数据本质”的研究思路。均匀负载在 LLM 里是好用的常规配置但搬到视频场景就得重新评估。做模型架构的人手里最值钱的能力就是把一个通用方法放到具体数据分布里去重新审视。