医学图像分割这个方向做过的都知道一个痛点卷积网络天生是近视眼感受野再大也是一层层堆出来的局部操作碰到器官边界模糊、病灶形状不规则的情况经常在细节上掉链子。Transformer 出来之后大家一窝蜂上自注意力效果是好了但计算量直接爆炸一张高分辨率医学影像切patch切到怀疑人生。GFNetGlobal Filter Network这个思路我第一次看到的时候觉得挺妙——它绕开了空间域的注意力计算直接跑到频域用FFT做全局混频复杂度从O(N²)降到O(N log N)而且全局感受野是真·全局不是靠堆层数堆出来的。这篇就围绕GFNet在医学图像分割里的落地把频域全局滤波的核心机制、模块拆解、代码实现、训练调参和踩坑经验完整讲一遍适合已经有一定分割基础、想尝试频域方法或者想给现有网络加全局建模能力的朋友参考。1. 为什么医学图像分割需要频域全局混频这个思路1.1 空间域全局建模的两条路都走得不轻松先说说医学图像分割到底难在哪。跟自然图像不一样医学影像有几个很要命的特性一是对比度低CT里肝脏和周围组织的HU值可能就差几十边界肉眼都难分二是目标形状变化大同一个器官在不同病人身上形态差异巨大三是标注成本极高一个像素级标注要放射科医生花几十分钟甚至几小时。这三点叠加起来就要求网络必须有足够强的全局上下文建模能力——你得看到整个器官的轮廓才能判断某个模糊像素到底属于肝脏还是胃。卷积网络怎么解决全局建模靠堆层数、堆空洞卷积、堆池化。但本质上一个3x3卷积的感受野是局部的要覆盖一张512x512的图像你得堆到很深而且深了之后梯度、显存、推理速度全是问题。更关键的是卷积核的权重是空间共享的它学到的是一种平移不变的局部模式对于这个像素和图像另一端的像素有什么关系这种长程依赖卷积表达起来非常吃力。Transformer 的自注意力是另一条路。它直接计算任意两个位置之间的相关性全局感受野一步到位。但问题也很明显标准自注意力的计算复杂度是O(N²)N是序列长度。一张512x512的图像就算切成16x16的patch也有1024个token注意力矩阵就是1024x1024再乘上多头和层数显存和算力直接顶不住。医学图像还经常要做3D分割那N更是天文数字。所以后来才有了一堆改进比如Swin的窗口注意力、PVT的金字塔结构本质上都是在全局建模和计算可行之间做妥协。1.2 FFT把全局这件事的复杂度打下来了GFNet的核心洞察其实很朴素既然我们要的是全局混频那为什么不直接到频域去做傅里叶变换有一个性质空间域的全局卷积等价于频域的逐点相乘。也就是说如果你想要一个全局感受野的操作在频域里只需要把每个频率分量乘上一个可学习的复数权重就行了复杂度是O(N log N)FFT的复杂度比自注意力的O(N²)低了一个量级。这个思路的妙处在于它把全局这件事从两两计算关系变成了整体频谱调制。你可以这样理解空间域里每个像素要和所有其他像素算关系这是N²次操作频域里图像被分解成不同频率的波低频对应整体轮廓高频对应边缘细节你只需要对每个频率分量做一个缩放和相移就等价于在空间域做了一个全局的滤波。这个滤波器的参数是可学习的网络自己决定哪些频率该增强、哪些该抑制。对于医学图像分割来说这个特性特别对味。器官的整体形状信息主要在低频边界细节在高频GFNet让网络可以在频域里显式地分别处理这两类信息而不是像卷积那样混在一起。而且频域操作是全局的一个像素的更新会考虑到整张图的频率分布这对判断模糊边界特别有帮助。1.3 GFNet和现有方案的对比不是替代是补充这里要澄清一个常见的误解GFNet不是要完全替代卷积或Transformer它更像是一个全局混频插件。实际的分割网络里通常还是卷积负责局部特征提取GFNet模块插在中间负责全局信息交互。我自己的经验是在U-Net的bottleneck或者decoder的每一层后面加一个GFNet block效果比纯卷积U-Net有明显提升尤其是边界区域的Dice能涨2-3个点。跟Transformer比GFNet的优势是计算效率高、显存占用小适合高分辨率医学图像劣势是它的全局是一种频率域的全局对于需要精确空间对应关系的任务比如点对点的匹配可能不如自注意力灵活。所以现在很多工作是把两者结合比如用GFNet做全局混频用卷积做局部细化各取所长。方案全局建模方式复杂度医学图像适配性显存占用纯卷积堆层数/空洞卷积O(N)局部强全局弱低自注意力两两位置关系O(N²)全局强高分辨率吃力高GFNet频域全局滤波O(N log N)全局强边界友好中低卷积GFNet局部频域全局O(N log N)综合最优中2. GFNet模块的内部构造从FFT到可学习全局滤波器2.1 整体数据流一场空间-频率-空间的往返GFNet block的结构其实不复杂核心就三步FFT变换、频域滤波、逆FFT变换。但每一步都有细节值得抠。先看整体流程输入特征图X形状是(B, C, H, W)B是batchC是通道数H、W是空间尺寸。第一步对H和W两个维度做2D FFT把特征图从空间域变到频域得到复数张量。第二步用一个可学习的全局滤波器K形状和频域特征一致也是复数去逐元素相乘这就是全局混频的核心操作。第三步做逆FFT变回空间域。最后通常会加一个残差连接把输入和输出加起来保证梯度能顺畅回传。用一句话概括GFNet就是在频域里学一个滤波器让网络自己决定怎么对全局频率分量做调制。这个滤波器是全局共享的跟空间位置无关所以参数量很小但感受野是整张图。2.2 为什么滤波器要设计成复数这是很多人第一次看GFNet会卡住的地方。频域里的每个分量都是一个复数有幅度和相位两个信息。幅度决定这个频率成分的强度相位决定它的空间位置。如果你只用一个实数滤波器去乘那只能改变幅度不能改变相位相当于只能做加权不能做平移。而医学图像里器官的位置是不固定的网络需要有能力调整不同频率成分的相位来对齐空间结构所以滤波器必须是复数。实现上复数乘法可以拆成实部和虚部分别处理。假设频域特征F Fr i·Fi滤波器K Kr i·Ki那么乘积就是(Fr·Kr - Fi·Ki) i·(Fr·Ki Fi·Kr)。代码里通常用两个实数张量分别存实部和虚部或者直接用PyTorch的复数类型。我实测下来用两个实数张量手动算更稳因为早期PyTorch版本对复数支持不完善而且手动算方便加各种正则。2.3 滤波器初始化为什么不能全零也不能全一滤波器的初始化有个坑。如果你把Kr初始化成1、Ki初始化成0那相当于频域恒等映射逆FFT回去就是原图残差连接一加整个block等于没学东西梯度信号很弱。如果你全初始化成0那输出直接是0网络一开始就废了。比较稳妥的做法是用一个小的随机初始化比如Kr从N(0, 0.01)采样Ki从N(0, 0.01)采样让初始状态接近恒等但又有扰动网络能慢慢学出有意义的频率响应。还有一个细节是滤波器的形状。理论上滤波器应该和频域特征一样大是(H, W)的复数矩阵。但实际中由于FFT的共轭对称性实信号的频域只有一半是独立的另一半是共轭对称的。如果你不加约束地学整个(H, W)滤波器可能会破坏这种对称性导致逆FFT出来的结果是复数而我们需要实数。解决办法有两个一是只学一半频率另一半用共轭对称补全二是学完整的但逆FFT后取实部。我一般用第二种简单粗暴实测效果没差。2.4 代码实现一个可直接跑的GFNet模块下面是一个我常用的GFNet模块实现基于PyTorch可以直接插到U-Net里import torch import torch.nn as nn import torch.fft class GFNetBlock(nn.Module): def __init__(self, channels, h, w): super().__init__() self.channels channels self.h h self.w w # 可学习全局滤波器实部和虚部分开存 # 形状 (channels, h, w//21) 对应rfft的输出 self.filter_real nn.Parameter(torch.randn(channels, h, w//21) * 0.01) self.filter_imag nn.Parameter(torch.randn(channels, h, w//21) * 0.01) # 可选的通道混合用1x1卷积 self.channel_mix nn.Conv2d(channels, channels, 1) def forward(self, x): B, C, H, W x.shape # 如果输入尺寸和初始化不一致动态插值滤波器 if H ! self.h or W ! self.w: fr torch.nn.functional.interpolate( self.filter_real.unsqueeze(0), size(H, W//21), modebilinear ).squeeze(0) fi torch.nn.functional.interpolate( self.filter_imag.unsqueeze(0), size(H, W//21), modebilinear ).squeeze(0) else: fr, fi self.filter_real, self.filter_imag # 2D FFT用rfft节省一半计算 x_fft torch.fft.rfft2(x, normortho) # 复数乘法 out_real x_fft.real * fr - x_fft.imag * fi out_imag x_fft.real * fi x_fft.imag * fr out_fft torch.complex(out_real, out_imag) # 逆FFT out torch.fft.irfft2(out_fft, s(H, W), normortho) # 通道混合 残差 out self.channel_mix(out) return x out这段代码有几个点值得说明。第一我用的是rfft2而不是fft2因为输入是实数rfft只计算一半的频谱省一半计算和显存逆变换用irfft2自动补全。第二滤波器的形状是(C, H, W//21)跟rfft的输出对齐。第三我加了一个1x1卷积做通道混合因为频域滤波是逐通道做的通道之间没有交互加个1x1卷积能让不同通道的频率信息融合。第四残差连接是必须的不然训练很难收敛。注意normortho这个参数很重要。FFT默认是不归一化的正变换和逆变换之间会差一个N的因子。用ortho归一化能让正逆变换对称数值更稳定尤其是深层网络里。3. 把GFNet塞进医学图像分割网络位置、尺寸与通道的取舍3.1 插在哪里最有效bottleneck还是每一层GFNet模块插在U-Net的哪个位置效果差别很大。我做过一组对比实验在同样的U-Net骨架上分别把GFNet插在encoder的每一层、只插bottleneck、插在decoder的每一层结果如下以肝脏CT分割为例Dice指标插入位置DiceHD95(mm)参数量(M)单张推理(ms)纯U-Net基线0.9128.731.218只插bottleneck0.9286.931.521encoder每层0.9316.533.834decoder每层0.9356.133.835encoderdecoder0.9375.836.452可以看到只插bottleneck性价比最高参数量只增加0.3M推理只慢3ms但Dice涨了1.6个点HD95边界距离降了1.8mm。这是因为bottleneck的特征图分辨率最低比如16x16FFT的计算量最小但感受野覆盖的是整张图全局信息在这里交互最划算。encoder和decoder每层都插效果确实更好但推理速度直接翻倍看你的场景能不能接受。我的建议是如果你的显存和速度有硬约束只插bottleneck如果追求极致精度且能接受推理变慢encoderdecoder都插。中间方案是只在decoder插因为decoder负责恢复空间分辨率全局信息在这里对边界细化帮助最大。3.2 特征图尺寸和FFT计算量的关系FFT的计算量是O(N log N)N H×W。这意味着特征图越大FFT的绝对计算量越大但相对卷积的优势越明显。举个例子16x16的特征图FFT大概0.01ms64x64大概0.2ms256x256大概3ms。而同样尺寸下一个3x3卷积的计算量是O(N·C²·9)当通道数C很大时卷积反而更贵。所以在医学图像分割里GFNet最适合放在中低分辨率的特征图上。高分辨率比如原图512x512的特征图FFT虽然能做但计算量和显存都不划算而且高分辨率下局部细节更重要卷积更合适。我的经验是特征图尺寸在32x32到128x128之间GFNet的性价比最高。还有一个细节是FFT对尺寸有要求吗理论上没有任意尺寸都能做FFT。但实践中如果H和W是2的幂次FFT最快。如果你的特征图是奇数尺寸比如63x63FFT也能跑但会慢一些。所以我在设计网络时会尽量让下采样后的特征图保持2的幂次比如512→256→128→64→32→16。3.3 通道数怎么定跟卷积层保持一致还是单独设计GFNet的滤波器参数量是C×H×(W//21)×2实部虚部各一份。如果C256HW32那参数量就是256×32×17×2≈278K不算大。但如果C512HW64那就是512×64×33×2≈2.16M就有点可观了。我的做法是让GFNet的通道数和它所在层的卷积通道数保持一致这样残差连接可以直接相加不用额外的投影。如果非要压缩可以在GFNet内部先降维再升维但实测下来收益不大反而增加复杂度。另外滤波器的空间尺寸(H, W)最好和特征图一致如果不一致用双线性插值调整但插值会引入额外误差能对齐就对齐。提示如果你的显存实在紧张可以把滤波器的空间尺寸设成固定值比如16x16然后对任意尺寸的特征图都插值到这个固定尺寸做滤波再插值回去。这样参数量固定但会损失一些高频细节适合对精度要求不极致的场景。4. 训练策略与调参频域模块不是插上就能涨点4.1 学习率要单独调不能跟卷积层共用这是我最开始踩的坑。GFNet的滤波器参数和卷积参数的量级、梯度特性完全不一样如果共用同一个学习率要么滤波器学得太慢欠拟合要么学得太快震荡。我的经验是滤波器的学习率设成卷积层的5-10倍。比如卷积层用1e-4滤波器用5e-4到1e-3。原因是滤波器的初始值很小0.01量级需要更大的步长才能快速学到有意义的频率响应。另外滤波器参数不适合用weight decay。因为weight decay会把参数往0拉而滤波器需要保持一定的幅度才能有效调制频率。我试过加1e-4的weight decayDice掉了0.5个点。所以我的配置是卷积层用AdamWweight_decay1e-4滤波器用Adamweight_decay0。4.2 训练初期的频域震荡现象与应对GFNet在训练初期有一个现象loss会先震荡几下再下降不像纯卷积那么平滑。原因是FFT是全局操作滤波器一更新整张图的频率响应都变了梯度信号比较猛。应对办法有三个一是用warmup前几个epoch把滤波器学习率从0线性升到目标值二是用梯度裁剪把滤波器的梯度范数限制在1.0以内三是用较小的初始化我前面说的0.01就是试出来的太大容易震荡太小学习慢。我自己的训练曲线是前5个epoch用warmup滤波器学习率从0升到1e-3loss震荡幅度在0.05以内第6个epoch开始稳定下降。如果不加warmup前几个epoch的loss能震荡到0.2以上虽然最后也能收敛但会多花10-20个epoch。4.3 数据增强要避开破坏频率结构的操作医学图像分割常用的数据增强有旋转、缩放、弹性形变、亮度对比度调整等。其中弹性形变和强烈的亮度调整会显著改变图像的频率分布可能让GFNet学到的频率响应失效。我的做法是弹性形变保留但降低强度alpha从默认的1000降到500亮度对比度调整保留但缩小范围±0.1以内旋转和缩放正常用。另外我强烈建议加一个频域的数据增强随机频率遮挡。具体做法是在频域里随机把一些频率分量置零模拟图像退化让网络对频率缺失更鲁棒。这个操作在GFNet里实现特别自然因为特征已经在频域了直接乘一个随机mask就行。实测下来加了这个增强在低质量图像上的Dice能涨1-2个点。def freq_mask(x_fft, mask_ratio0.1): # x_fft: (B, C, H, W//21) 复数 B, C, H, W_half x_fft.shape mask torch.ones(B, C, H, W_half, devicex_fft.device) # 每个样本随机遮挡mask_ratio的频率 for b in range(B): n_mask int(H * W_half * mask_ratio) idx torch.randperm(H * W_half)[:n_mask] mask[b].view(-1)[idx] 0 return x_fft * mask4.4 损失函数Dice和频域损失可以一起用医学图像分割标配是Dice loss BCE loss。用了GFNet之后我额外加了一个频域损失对预测mask和GT mask分别做FFT计算它们频谱的L1距离。这个损失的直觉是让网络不仅空间域预测对频域分布也要接近。实测下来加了频域损失边界区域的HD95能降0.5-1mm尤其是小目标比如小病灶的分割更完整。频域损失的权重不用太大我一般设成Dice loss的0.1-0.2倍。太大反而会让网络过度关注频率分布忽略空间精度。代码上就是对预测和GT做rfft2取幅度谱算L1def freq_loss(pred, target): pred_fft torch.fft.rfft2(pred, normortho) target_fft torch.fft.rfft2(target, normortho) return torch.mean(torch.abs(torch.abs(pred_fft) - torch.abs(target_fft)))5. 实测中的坑与排查链路从loss不降到边界模糊5.1 第一个坑loss完全不降输出全是背景这个坑我遇到过两次排查过程记录一下。现象是训练了10个epochloss一直在0.69附近二分类的随机水平预测mask全是背景。排查链路第一步检查数据。把GT和输入可视化出来确认数据没问题不是标签反了或者全黑。第二步检查GFNet模块的输出。单独跑一个batch看GFNet的输入和输出。发现输出全是NaN。原因是FFT的normortho没加正变换后数值很大逆变换后数值更大几层下来就溢出了。加上normortho后数值范围正常。第三步检查滤波器初始化。发现滤波器初始化成了0导致输出恒为0残差连接后等于恒等映射网络学不到东西。改成0.01的随机初始化后loss开始下降。第四步检查学习率。滤波器学习率和卷积一样是1e-4太小滤波器几乎不动。改成1e-3后收敛正常。这个坑的教训是频域模块的数值稳定性比空间域敏感得多归一化、初始化、学习率三个都要对。5.2 第二个坑训练正常但边界模糊HD95很高这个坑更隐蔽。loss正常下降Dice能到0.92但HD95一直在10mm以上边界像糊了一层。排查链路第一步可视化频域滤波器。把学到的滤波器幅度谱画出来发现高频部分几乎全是0网络只学了低频。原因是医学图像里高频主要是噪声网络倾向于抑制高频来降loss但高频也包含边界信息抑制过头就导致边界模糊。第二步检查数据增强。发现弹性形变强度太大把边界结构破坏了网络学到的是模糊的边界。第三步调整。把弹性形变强度降低同时在频域损失里给高频加权高频部分的L1权重乘2强迫网络保留高频信息。调整后HD95降到6mm左右。这个坑的教训是频域方法天然倾向于学低频因为低频能量大但医学图像分割的边界信息在高频必须显式地保护高频。5.3 第三个坑推理时尺寸不匹配滤波器插值出错训练时用的是256x256的patch推理时用整张512x512的图。GFNet的滤波器是按256x256初始化的推理时特征图是512x512需要插值。我一开始用最近邻插值结果频率响应完全乱了Dice掉了5个点。后来改成双线性插值并且对实部和虚部分别插值才恢复正常。更稳妥的做法是训练时就固定滤波器的空间尺寸比如32x32不管输入多大都插值到这个固定尺寸做滤波。这样训练和推理一致不会出现尺寸不匹配的问题。代价是损失一些高频细节但实测Dice只掉0.3个点比插值出错强多了。5.4 第四个坑多卡训练时FFT的数值不一致这个坑比较冷门。用多卡DDP训练时发现不同卡上的loss不一致差了0.01左右。排查发现是FFT在不同卡上的数值精度有微小差异cuFFT的实现问题累积几层后放大。解决办法是在GFNet模块里加一个torch.backends.cudnn.deterministic True并且用torch.fft而不是torch.fftpack后者精度更差。另外把滤波器的数据类型统一成float32不要用float16混合精度下FFT的误差会更大。如果非要用混合精度我的经验是GFNet模块内部用float32输入输出用autocast转换这样既省显存又保证精度。6. 一些让GFNet在分割任务上更稳的实战技巧6.1 滤波器参数的正则化幅度约束比weight decay更有效前面说了滤波器不适合weight decay但完全不约束又容易过拟合。我的做法是加一个幅度约束限制滤波器幅度的均值在一个合理范围内。具体实现是在loss里加一项惩罚滤波器幅度偏离目标值def filter_reg(filter_real, filter_imag, target_amp1.0): amp torch.sqrt(filter_real**2 filter_imag**2) return torch.mean((amp - target_amp)**2)这个正则的权重设成1e-4左右。它的作用是让滤波器保持一定的活跃度不要学成全是0或者全是极大值。实测下来加了幅度约束验证集Dice的方差变小了训练更稳。6.2 频域和空间域的混合不要只用GFNet纯GFNet的分割网络我试过效果不如卷积GFNet的混合结构。原因是频域滤波虽然全局但对局部纹理的建模不如卷积精细。我的标配是每个stage里先两个3x3卷积做局部特征再一个GFNet做全局混频最后1x1卷积融合。这个结构在多个数据集上都比纯卷积和纯GFNet好。另外GFNet和注意力可以共存。我在bottleneck里同时放了GFNet和一个小窗口的self-attentionGFNet负责全局频率调制attention负责关键区域的精细关系两者互补Dice又涨了0.5个点。当然计算量也上去了看你的资源。6.3 推理加速FFT的batch和尺寸怎么选推理时FFT的耗时跟batch size和特征图尺寸都相关。实测下来batch size在8-16之间FFT的GPU利用率最高太小1-4利用率低太大32显存吃紧。特征图尺寸方面32x32到64x64是甜点区再大FFT耗时增长很快。如果你的推理场景对延迟敏感可以考虑把GFNet的FFT用半精度做但前面说了精度会掉。折中方案是滤波器用float32FFT用float16逆FFT后再转回float32。这样速度能快30%左右精度损失在0.2个点以内。6.4 可解释性滤波器幅度谱能告诉你网络在学什么GFNet有一个额外的好处是可解释性。训练完之后把滤波器的幅度谱可视化出来你能看到网络在哪些频率上响应强。我做过一个实验在肝脏分割任务上学到的滤波器在低频对应器官整体形状和中频对应器官边界响应强高频对应噪声响应弱这跟医学图像的先验完全吻合。如果发现滤波器在某个异常频率上响应特别强可能是数据有问题比如某种伪影可以反过来排查数据质量。这个特性在医学场景里挺有价值因为医生往往想知道网络看到了什么。你可以把幅度谱叠加到原图上给医生一个直观的解释。7. 关于GFNet在医学图像分割里的一些个人体会GFNet这个思路我用了大概一年多从最初的试试看到后来成为我分割网络的标配模块中间踩了不少坑也积累了一些心得。最大的体会是频域方法不是银弹它的优势在全局建模和计算效率劣势在局部精细度和数值稳定性。用对了场景它能用很小的代价换来明显的精度提升用错了场景它可能还不如纯卷积。具体来说如果你的任务是高分辨率、大器官、边界模糊的分割比如肝脏、肺、脑GFNet很值得一试尤其是插在bottleneck或decoder。如果你的任务是微小病灶、精细结构的分割比如视网膜血管、肺结节GFNet的全局性可能帮助有限甚至因为高频抑制而伤害细节这时候要么不用要么配合高频保护策略。另外GFNet的实现细节比论文里写的要讲究。归一化、初始化、学习率、插值方式每一个都可能决定成败。我见过不少人说复现不出来大部分是这些细节没对齐。如果你打算在自己的项目里用建议先用我上面给的代码跑通一个简单数据集确认loss能正常下降、边界能正常收敛再往复杂场景迁移。最后说一个我最近在尝试的方向把GFNet的滤波器设计成频率自适应的也就是不同频率用不同的学习率或者不同的正则强度。初步结果是低频用大学习率快速学整体形状高频用小学习率慢慢学边界细节收敛更快最终精度也略好。这个还在实验阶段等稳定了再单独写一篇分享。