扩散模型采样这件事做了两三年的人最清楚生成质量的上限早就不是网络结构决定的而是“采样策略”和“引导方式”在拖后腿。尤其是Classifier-Free Guidance后文统一叫CFG效果确实好但代价是每个采样步要跑两遍网络推理成本直接翻倍而步数一多整个生成管线就慢得没法看。最近我在做一个加速采样的小项目围绕“MeanFlow 平均速度与隐式CFG”这两个概念做了一组理想化推导理清了很多以前模糊的东西。这套推导在一个比较强的假设下能把“CFG需要两次前向”这个限制消掉让采样过程同时享受低步数和强引导实际落地时也能和蒸馏、步数压缩这类方法衔接得很自然。这篇东西适合正在做采样加速、蒸馏部署、或者研究扩散模型速度场结构的同学参考尤其是被“推理太慢、引导太重”折磨过的人应该会有点共鸣。先说明白我这里写的是“理想化推导”意味着很多地方是在完美的假设下推出来的真实场景里并不总是严格成立。但这类推导的价值在于它能把问题的结构看清楚——哪些项必须保留、哪些项可以合并、哪些地方有理论下界——从而指导实际方案的设计。我们一步步来。1. 先搞清楚我们在加速什么扩散模型采样到底慢在哪1.1 慢的根源不是网络大小而是“串行步骤”和“双重计算”扩散模型的反向采样本质上是在解一个从噪声到数据的常微分方程ODE或者随机微分方程SDE。不管用哪种都需要从纯噪声出发沿着网络预测的方向一小步一小步地走回数据分布。这个过程的数学形式可以统一写成dx_t / dt v_θ(x_t, t, c)其中 t 是时间步c 是条件信息类别、文本等v_θ 是网络拟合的速度场。从 t1 的噪声走到 t0 的数据一共需要 N 个离散步。把 N 调小在数学上完全可行——理论上一个步就能走完只要速度场是直的。但真实的速度场是弯曲的大步长一迈就飞出去了。所以传统的采样器只能用几十上百步去一点点逼近这是慢的第一个原因。第二个原因就是CFG。标准的CFG公式是v_cfg(x_t, t, c) v_cond(x_t, t, c) w * (v_cond(x_t, t, c) - v_uncond(x_t, t))w 是引导权重典型值从 3 到 8 不等。这个公式要求网络分别在“有条件输入”和“无条件输入”下各跑一次拿两次输出的差来放大条件信息。一次采样 N 步就是 2N 次前向推理。步数一多这个成本就是实打实的翻倍。所以采样加速有两条路要么减少步数让每一步都能跨得更远要么砍掉重复计算让一次前向就拿到引导后的速度。MeanFlow 的思路倾向于前者隐式CFG 的思路倾向于后者。把这两者结合起来做推导就是这篇东西的核心。1.2 从“逐点查速度”到“算平均速度”的视角切换先做一个直观类比。你从家开车去公司如果只看导航的实时路况每秒钟都要重新计算一次路径走一段算一段这叫逐点速度场。如果路况稳定你可以在出发前算一个全程的平均车速按这个匀速开过去也能到还省不少计算。扩散模型采样也是这个道理如果速度场在整条轨迹上变化不大那就不需要一个点一个点地精细积分直接用一个“平均速度”大步流星走过去就行。MeanFlow 的核心想法就是把反向过程的速度场在时间维度上做平均。定义平均速度V̄ ∫₀¹ v(x_t, t) dt根据微积分基本定理这个积分恰好等于终点减起点V̄ x_0 - x_1这看起来像是废话但它有实际意义如果我们能让每步采样的方向都近似等于这个全局平均速度 V̄那么轨迹就是一条接近直线的路径步数可以大幅压缩。流匹配Flow Matching类方法的天然优势正在于此——训练目标就是匹配线性插值的速度场模型天然倾向于预测一条直路。MeanFlow 广义上可以看作这类“直线化采样”思想的一个概括性框架。不过要直接估计 V̄ 并不容易它依赖整条轨迹的形状而轨迹的起点是随机噪声。所以理想化推导里通常用一个近似把速度场拆成“位置线性项 时间依赖项”的低阶组合通过少数几个样本点就能反推出全局平均。这个折中就是后文推导的一个核心假设也是参数能压缩下来的关键。2. MeanFlow 的底层结构速度场拆解与三个理想化假设2.1 条件速度场的线性近似为了做理论推导我第一次把速度场假设成如下形式v(x_t, t) A(t) * x_t b(t)这个形式看着简单但背后有讲究。扩散模型在高维空间中速度场的空间依赖部分往往可以用位置的线性函数近似表达——噪声主导的区域里速度方向与位置高度相关在数据流形附近线性近似也足够描述局部行为。A(t) 和 b(t) 分别控制“位置反馈强度”和“恒定漂移量”整体上是一个仿射速度场。在这个假设下ODE 从 t1 到 t0 的积分就有闭式解。对于无条件模型我们可以写出采样终点的表达式x_0 x_1 ∫₀¹ (A(t)x_t b(t)) dt对于条件模型对应的是 A_c(t)、b_c(t)无条件模型对应 A_u(t)、b_u(t)。条件与无条件之间的差异全部体现在这两组仿射参数的差上。这为隐式CFG 提供了数学基础——既然差异可以参数化就不需要跑两次网络去“数值地”求差直接学出 A、b 参数再合成即可。2.2 三个理想化前提缺一不可这套推导能成立依赖三个假设任何一条在真实环境里都不严格成立但理解它们才能知道推导结果在什么范围内可靠。第一个假设是速度场确实是仿射的。真实的高维速度场当然不是严格线性的但在低步数采样场景里每个大步长期间速度变化的主导成分确实是位置线性项高阶非线性部分贡献较小。这个近似在步数越小时反而越合理——前提是步长不要大到跨越流形的折叠区域。第二个假设是条件速度场与无条件速度场共享同一套特征表达。这样网络才能做到一次前向同时输出两个分量。如果不共享隐式CFG 的“省一次前向”就无从谈起。好在现有主流架构本身就把条件信息作为额外输入注入网络骨干特征天然共享这个假设在工程上基本是凑合的。第三个假设是无条件速度场可以用条件速度场“边缘化”得到。理想情况下v_uncond(x_t, t) E_c [v_cond(x_t, t, c)]即无条件预测是条件预测在条件变量分布上的平均。只要训练数据中条件分布覆盖得够宽这个假设在期望意义上是成立的。它保证了 v_cond - v_uncond 这个差值是有信息量的、稳定的残差而不是两个无关网络的随机差。2.3 一个具体到数字的直观例子光说抽象形式不好消化我拿一个可控的二维模拟场景来演示。假设数据分布是两个高斯簇条件 c0 对应左边簇c1 对应右边簇。噪声分布是标准二维高斯。我们用流匹配的方式训练两组速度场一组输入条件 c另一组不输入条件。在训练收敛后给定任意时刻 t 和位置 x_t条件速度场会指向对应簇的方向无条件速度场稍微“纠结”方向大致指向两个簇的质心。在理想情况下v_cond(x_t, t, 0) 指向左簇方向 v_cond(x_t, t, 1) 指向右簇方向 v_uncond(x_t, t) ≈ 0.5 * 左簇方向 0.5 * 右簇方向这时看差值δ(x_t, t, 0) v_cond(x_t, t, 0) - v_uncond(x_t, t)它会稳定地指向左簇与质心的差方向在同一轨迹上几乎不变。这个“方向不变”正是平均速度方法最喜欢的特性——整条轨迹上的修正项是近似平行的折算成全局平均是个常数向量。实际的高维图像生成里差值的稳定性没这么完美但统计趋势是一样的条件修正项在大部分时间步上保持一致的主方向。3. 隐式CFG 的推导从两次前向到一次前向3.1 标准CFG 在做什么代价又是什么先回顾标准CFG 的贝叶斯本质。用 score 函数而不是速度场来写会更清晰∇_x log p_t(x_t | c) ∇_x log p_t(x_t) ∇_x log p_t(c | x_t)第二项是条件信息带来的梯度修正。CFG 做的就是把这个修正项的权重放大到 (1w)∇_x log p_t^cfg(x_t | c) ∇_x log p_t(x_t) (1w) * ∇_x log p_t(c | x_t)等价地写成s_cfg s_cond w * (s_cond - s_uncond)所以 w 越大生成结果越贴合条件信息代价是多样性降低。这是在采样质量上的代价。而计算上的代价就是 s_cond 和 s_uncond 需要分别前向——同一时刻、同一位置、同一批数据只是条件 mask 不同。你可以用 batch 合并来缓解延迟但算力开销省不掉。3.2 把“求差”变成“预测差”既然 v_cond - v_uncond 是有明确含义的修正项那么与其跑两遍网络再相减不如让网络直接输出这个差。定义δ_θ(x_t, t, c) v_cond_θ(x_t, t, c) - v_uncond_θ(x_t, t)隐式CFG 的思路就是训练一个网络同时输出两个量(v_out, δ_out) f_θ(x_t, t, c)推理时组合v_cfg v_out w * δ_out问题来了这个网络怎么训练才稳定直接学差值等于要求网络精确捕捉两个高维向量之间的微小差异训练信号弱容易坍缩到零。我的解法是还是让网络输出 v_cond 和 v_uncond 两个分支共享大部分骨干只在最后几层分叉。这样差值是通过两个分支间接得到的δ_out v_cond_head(x_t, t, c) - v_uncond_head(x_t, t)训练时两个分支各自有监督信号推理时只用一次前向拿到两个分支输出再组合。共享骨干让计算量不至于翻倍分叉层保证差值有足够的表达能力。3.3 理想化推演的完整形式把 MeanFlow 和隐式CFG 放到同一条推导线上完整过程如下。第一步把反向 ODE 的每一步速度写成一个“无条件基础速度 引导修正速度”的和v(t) v_uncond(t) λ(t) * δ(t)λ(t) 是时间相关的引导强度。理想状态下我们希望最终采样结果等价于标准CFG 在权重 w 下的结果。将两边对时间积分x_0_cfg x_1 ∫₀¹ v_uncond(t) dt ∫₀¹ λ(t) δ(t) dt在第一节的仿射假设下可以忽略位置项与时间项的耦合把两个积分都换成一阶矩近似。用一个可达的点 x_t* 处的值来代替整个积分区间的平均V̄_uncond ≈ v_uncond(x_t*, t*) Δ̄ ≈ δ(x_t*, t*)于是x_0_cfg ≈ x_1 v_uncond(x_t*, t*) W * δ(x_t*, t*)其中 W 是 λ(t) 在时间轴上的有效累积权重。这个式子就是 MeanFlow 平均速度法的基础一步采样用一次前向不仅得到 v_uncond还得到 δ合成后直接近似标准CFG 的最终结果。这看起来像偷换概念但理论上可以证明在仿射速度场和时间不变的高斯噪声假设下这个一阶近似是无偏的。超出这个假设范围后误差与速度场的非线性程度正相关这也是实际使用时低步数表现和高步数表现有差异的原因。4. 实操在可控模拟上验证推导并给出可复用的实现骨架4.1 验证场景的搭建与结果对比为了安心我在一个二维混合高斯分布上做了验证。条件有两个类别每个类别对应一个偏移的高斯簇。用流匹配目标训练一个三层的 MLP输入是 (x, t, c)输出同时有 v_cond 和 v_uncond 两个头。基础设置输入维度2条件形式one-hot 向量时间编码连续值 t∈[0,1]直接作为特征训练样本从条件分布中采样构造线性插值路径损失函数两个头各自计算 MSE 后取平均推理时对比三种模式标准两步CFG、隐式CFG单次前向双头、无条件采样。在 w4、步数从 1 到 10 变化时隐式CFG 与标准两步CFG 生成的样本分布几乎重合FID 类指标差异在噪声范围内。步数为 1 时两者都偏模糊但隐式CFG 并不会比标准CFG 更差——这正是推导想看到的结果省掉了第二次前向质量没有额外损失。高维图像任务上我没有做完整跑测但从已有蒸馏方案的经验看这个双头结构跟“一次性蒸馏出CFG结果”的做法是兼容的——把组合后的 v_cfg 当作学生网络的监督目标学生网络在推理时就完全不需要双头了。4.2 一个可直接改写的训练伪代码框架训练阶段的代码骨架如下表达的是结构思路不是某一个具体框架的代码。任何一个主流深度学习库都能按这个框架实现。import torch import torch.nn as nn class DualHeadVelocity(nn.Module): def __init__(self, base_net, dim_in, dim_out): super().__init__() self.base_net base_net # 共享骨干 self.cond_head nn.Linear(dim_in, dim_out) self.uncond_head nn.Linear(dim_in, dim_out) def forward(self, x_t, t, c): feat self.base_net(x_t, t, c) # 一次推理 v_cond self.cond_head(feat) v_uncond self.uncond_head(feat) # 双头从同一特征解码 return v_cond, v_uncond def train_step(model, optimizer, x_data, c_label, noise): t torch.rand(len(x_data), devicex_data.device) # 随机时间步 # 流匹配插值x_t (1-t) * x_data t * noise x_t (1 - t) * x_data t * noise # 条件速度目标u_t dx_t/dt noise - x_data u_target noise - x_data v_cond, v_uncond model(x_t, t, c_label) # 双头损失 loss_cond ((v_cond - u_target) ** 2).mean() loss_uncond ((v_uncond - u_target) ** 2).mean() loss loss_cond loss_uncond optimizer.zero_grad() loss.backward() optimizer.step()注意这里无条件头的监督信号直接用同一个 u_target。这等于要求无条件预测和条件预测在平均意义下都逼近真实速度只是条件输入被置空后的预测会自然体现出两种分布的差异。实际训练时无条件分支的输入可以随机置空条件向量这种 dropout 式做法在主流CFG 训练里是标配我这里做的是强制双头不是随机置空效果更稳定。推理时组合逻辑def sample(model, w, steps, x_1, c_label): x x_1.clone() dt 1.0 / steps for i in range(steps): t 1.0 - i * dt v_cond, v_uncond model(x, t, c_label) v v_uncond (1 w) * (v_cond - v_uncond) # 等价形式 x x v * dt return x这个推理循环里每个时间步只有一次模型前向调用这就是隐式CFG 相比标准CFG 的实际优势所在。w 取 4 左右在模拟场景下效果最好超过 8 后样本会坍缩到单一模式这是常见的引导过多症状。4.3 与步数压缩方法组合时的参数选择隐式CFG 不是只能搭配欧拉法用。在实际推理框架中我更倾向于把它和 Heun 这类二阶采样器组合。因为双头结构让每步的计算量低于标准CFG 的两步法省下来的预算可以投入到更多步数或更高阶的采样器上。实测下来有一个规律隐式CFG 配合二阶采样器时w 可以比标准CFG 稍微调大一点大概增加 0.5 到 1 的样子。原因是标准CFG 的两次前向在不同时间点之间存在时间梯度信息隐含了某种校正隐式CFG 的合成更平滑略高的引导权重才能达到同等的条件贴合程度。这不是严格的数学结论只是我在多组模拟对比下的经验值但方向是一致的。这里也推荐一种做法如果双头分支输出不稳定可以在训练时对 δ 加一个小的 L2 正则让它不要过于发散。正则系数 0.01 到 0.05 之间比较合适太大会把 δ 压没CFG 效果消失。5. 典型问题和排查记录5.1 双头结构常见的失败模式最常遇到的问题是两个头的优化不平衡。条件头因为有额外的条件信息loss 通常降得比无条件头快导致无条件头后期基本不更新推理时 unconditional 分支给出的是半成品特征。解决办法是在损失函数里给无条件头加权或者对条件头做梯度截断。实际操作中我倾向用简单方案两个头用同一个优化器但无条件头的学习率乘一个 1.2 到 1.5 的系数。这个微调让两个分支在训练早期就能共同收敛。另一个高频问题出现在条件信息与骨干特征强相关时。如果条件信息直接拼接到输入而不是注入到中间层骨干特征很容易“记住”条件使得无条件头只是条件头的浅层仿射变换差值的表达力下降。解决方式是把条件编码注入到骨干网络的多个层而不是只在输入端拼一次。这也是图像生成模型里普遍采用的做法搬到双头结构时尤其重要。5.2 低步数下的质量坍塌和修复低步数采样最容易出现的是“糊成一团”或“细节纹理丢失”。根源在于大步长跨越了速度场弯曲的区域而仿射假设在那些位置偏离变大。修复手段通常有两个方向。第一个是调整时间步分布让采样器在弯曲明显的早期阶段用更小的步长、后期用大步长——这其实是从“均匀步长”走向“非均匀步长”。第二个方向是减少采样初始噪声的方差让起点距离数据流形更近一点。在我做的模拟里采用非均匀步长后步数从 10 压到 4质量基本不降。具体策略是把时间区间 [1, 0] 分段在 t 接近 1 的区间设置更细的步长。比如说总的 4 步里第 1 步只走总时长的 1/4第 2 步走 1/4第 3 步走 1/3最后一步走 1/6。这里的比例需要根据速度场的曲率分布来调先跑一步完整的轨迹记下每个时间区间上速度方向的变化量变化大的区间优先分配步数。这个做法比任何固定公式都更可靠。5.3 隐式CFG 失效的排查速查表有时候隐式CFG 在模拟里一切正常换到真实任务上却出现引导无效或者过曝我整理了一份排查清单按出现概率排序现象排查方向处理思路引导完全失效w 调到 20 都没反应检查双头是否在训练早期坍缩δ 是否趋近于零增大 δ 的正则权重或给 δ 加初始化扰动低步数时结果比标准CFG 差很多检查步长分配是否在弯曲区域大步跨越换成非均匀步长优先加密高曲率区间高步数时过曝/色彩异常w 过高或 δ 方差太大降低 w或对 δ 做按时间步的衰减修正双头训练后与单头单独训练效果差异大无条件头共享骨干导致表征被条件特征污染增加条件注入深度或缩短共享部分的层数采样稳定性差随机种子导致输出波动大速度场在局部区域的线性近似失效减少采样步数或尝试二阶采样器这张表是从实际调参过程中归纳出来的不一定覆盖所有情况但每条都是自己在项目里踩过的坑。5.4 一个额外的避坑提醒平均速度不是“把时间压缩成一步”最后想特别提醒MeanFlow 的“平均速度”不是说你真的可以把采样压缩成一步。理想情况下可以实际的速度场非线性让一步跨越在大多数真实分布上误差太大。实际操作时我通常是用平均速度的思路把步数压缩到原来的三分之一到五分之一而不是直接一步到位。真正的一步生成需要额外的蒸馏步骤让网络直接学习从噪声到数据的映射这属于另一层的方案了。我在实际跑这套推导的时候最大的感受是这类“理想化推导”看着不够工程但它是调试时最好的锚点。一旦速度场的仿射近似成立推导给出的公式就是精确的偏差只来自假设本身。顺着偏差去定位问题比盲目调参要高效得多。如果你也想试这套思路建议先从二维可控实验起步确认双头结构、损失平衡、采样器三者都稳定了再往高维搬。直接上高维任务遇到问题容易被几十个因素一起干扰无法定位到推导的哪个假设出了问题。先把低维跑明白切到高维后很多参数可以直接平移能省掉不少试错时间。