做实例分割的朋友应该都经历过这种纠结要么像 Mask R-CNN 那样老老实实两阶段精度高但速度上不去要么学 YOLACT 玩单阶段实时性上去了mask 边缘却粗糙得没法看。BlendMask 恰好是奔着这个夹缝来的方案——既想要 top-level 的全局语义又不肯丢掉 bottom-level 的像素级细节最后用一个轻量 Blender 把两股信息拧在一起。这篇记录不是论文复读而是我把这套思路从原理、代码到训练部署完整跑过一遍之后的笔记适合正在做实例分割选型、或者刚入门想搞懂 BlendMask 到底在干嘛的朋友。1. BlendMask 到底在解决什么问题1.1 实例分割的两种主流思路实例分割要回答两件事图片里有哪些目标以及每个目标的像素范围长什么样。早年被 Mask R-CNN 统治的时期大家习惯把实例分割拆成“先检测、再分割”两阶段检测器在 ROI 区域内部做 RoI Align再让一个小型分割头在这个规整的区域内预测 mask。好处是精度高每个实例都有独立的 ROI 去抠细节坏处也明显整张图要先跑一遍检测再对每个框做一次分割推理路径长计算量被 ROI 数量卡死想上实时基本没戏。另一类是直接做单阶段分割以 YOLACT、SOLO 这类为代表。YOLACT 的思路是预测一组原型 maskprototype masks和每个实例的系数最后线性组合出 mask速度快但原型 mask 是全图共享的无法针对每个实例把细节刻进去mask 边缘经常糊。SOLO 则按位置网格切分空间每个网格负责一个实例思路很新但中间特征的分辨率一旦不够小目标出图质量就直线下降。说白了两阶段高精度、低速度单阶段高速度、低精度大家都在找那个平衡点。1.2 BlendMask 的核心解题思路BlendMask 的做法挺取巧它不搞密集的 ROI也不搞全图共享的原型 mask而是把信息分成两个层次来用。顶层的语义信息告诉我们“这个实例大致在哪、长什么形状、占多大范围”这是全局视角底层的细粒度特征告诉我们“边缘在哪、纹理长什么样、哪些像素属于这个目标”这是局部视角。两个层次单独拿出来都有缺陷顶层太粗底层太碎但把它们按一定权重融合起来结果就能兼顾。这个融合动作就是名字里的 Blend。实现上BlendMask 依赖一个 anchor-free 检测器作为主体常见实现用类似 FCOS 的结构检测头负责输出目标的分类和框位置在此基础上额外预测两个分支一个分支产生类别相关的 attention 图用来给每个位置分配融合权重另一个分支输出高分辨率的细粒度特征保留像素级的轮廓信息。最后通过 Blender 模块把两者组合生成最终 mask。整个网络是端到端训练的没有 RoI Align 那样的重采样过程推理路径短效率比两阶段高同时因为保留了逐实例的 attention 机制mask 质量又比纯单阶段方案细腻得多。2. 网络结构拆解Attention 与 Blender 各司其职2.1 从检测头到分割分支的整体流程先看整体流程。输入图片经过骨干网络和 FPN 得到多尺度特征不同层负责不同大小的目标。FPN 高层特征语义强但分辨率低适合做检测底层特征分辨率高但语义弱适合抠细节。BlendMask 并没有把分割任务压到某一层上而是从两个层面分别拉特征检测部分沿用 FPN 的层级匹配机制每一层都能预测候选目标分割部分则引入一个共享的细粒度模块这个模块输出的特征图分辨率足够高能支撑起 mask 的边界恢复。推理时检测头先给出每个位置的类别置信度和框回归结果。NMS 之后每个保留的实例目标会携带一个高层的 attention 向量或权值图同时从细粒度模块对应位置采样得到密集特征。Blender 把这个 attention 向量和细粒度特征做逐通道的加权组合输出的就是该实例的 mask。整个过程可以并行化不像两阶段那样必须等 ROI 出来之后才能算 mask所以吞吐量可以做得比较高。2.2 Attention 模块在预测什么Attention 模块是 BlendMask 里最容易被误解的部分。第一次看论文很多人以为它是那种常规的通道注意力机制类似 SE 模块那样给特征图通道加权。实际上这里的 attention 更接近“位置感知”的概念它在预测一个目标实例在空间上的存在范围和重要性分布。打个比方如果一张图里有一个行人和一辆自行车注意力图在行人区域会给出较高的激活值在自行车区域也有对应响应而背景区域几乎为零。这个图能够告诉后续的融合模块哪些像素位置值得去参考 bottom-level 特征。在常见实现中attention 分支输出的空间分辨率不高可能是原图的 1/8 或更小。这是因为全局语义本身不需要太高的分辨率也能表达“目标大致在哪里”的信息。训练时这个分支会通过 mask 分支的监督信号反向传播逐渐学会把响应集中在目标实例的核心范围内。我自己调试的时候发现一个很有意思的现象只把 attention 特征图可视化出来不看 RGB 图和 mask 标签就已经能大致看出目标的位置和轮廓了说明这个分支确实学到了有意义的空间先验。2.3 Blender 的融合逻辑Blender 是整个结构的核心计算单元。它的输入有两条一条是低分辨率的 attention 信息另一条是从细粒度模块取出的高分辨率特征。如果直接让网络去 end-to-end 学一个复杂融合网络当然也能工作但计算量上不划算。BlendMask 的巧妙之处在于把融合简化成带权重的组合操作先对 attention 做归一化然后把它和细粒度特征做逐位置、逐通道的加权。整个过程可以理解成先在低分辨率图上确定一个实例的大致区域再将这个区域信息上采样到细粒度特征的尺寸最后用上采样后的 attention 作为软掩码把细粒度特征里真正属于该目标的像素挑出来、把背景抑制掉。这里的“挑出来”不是硬截断而是软加权所以即使 attention 预测得略偏细粒度特征也能兜住一部分边界细节。实际代码里Blender 可能还会接一点卷积层做后融合让输出不是简单乘出来而是经过一些可学习的非线性变换。我在自己的实验中发现Blender 后面加 1~2 个 3x3 卷积对 mask 平滑度有明显帮助但如果加太多参数和耗时都会涨上去。这属于论文之外的经验具体取舍要看你对速度的容忍度。3. 和主流方案对比速度精度的平衡点在哪3.1 对比 Mask R-CNN少了 RoI Align 的代价Mask R-CNN 的强项在于每个框都做了一次 RoI Align把不规则区域变成固定尺寸的 feature map分割头可以专心致志地看这一个实例。代价是计算量随实例数量增长而且不同实例之间无法共享中间结果。BlendMask 不依赖 RoI 重采样而是用 attention 去定位实例然后从细粒度特征图上取对应区域。这样做省掉了重采样和时间开销但也带来一个问题细粒度特征图是全局的分辨率越高显存开销越大。如果你既想要小目标分割好又想让统一特征图保持高分辨率GPU 会先给你脸色看。所以 BlendMask 在资源受限的设备上往往比 Mask R-CNN 更有优势但也不能无限提升效果它的上限受限于细粒度模块的表达能力和 attention 分支的定位精度。3.2 对比 YOLACT/SOLO单阶段里的另类YOLACT 用一组线性组合系数加原型 mask 直接生成结果速度快得惊人。问题在于原型 mask 是全图共享的所有实例共用同一组基边缘和细节的表现力取决于这组基的质量遇到遮挡、重叠、形状复杂的实例就容易拉胯。BlendMask 的 attention 是逐实例的相当于给每个目标配了一个专属的空间权重细节表达能力更强。SOLO 把实例分割问题改造成“按位置分割”每个网格负责任意位置的一个实例。这个思路很干净但它对特征图的分辨率要求很敏感网格划分得越细小目标越容易分出来空间开销也越大。BlendMask 走的是另一条路它不强行把目标绑到固定网格上而是用注意力自由定位在目标的形状变化上更灵活。我自己测试的感受是SOLO 对场景理解很通透但工程落地时往往要调不少后处理参数BlendMask 的调参空间相对集中主要在 attention 分支和融合权重上新手更容易上手。3.3 一张表看全方案差异方案分割信息来源关键开销优势短板Mask R-CNNROI 内局部特征随实例数增长精度上限高速度慢、资源占用大YOLACT全局原型 mask 线性系数原型 mask 计算推理快mask 边缘粗糙SOLO位置网格化特征随网格数增长空间表达直观对小目标敏感BlendMaskattention 细粒度特征融合细粒度特征图精度/速度平衡好高效部署需优化特征分辨率表格看下来BlendMask 更像一个折中主义者。它不追求某一项指标单点极致但在“精度不错、速度能接受、显存可控”这三件事上给了工程团队一个比较舒服的平衡点。4. 训练实操从数据集到关键参数4.1 数据准备与输入尺寸选择数据准备上BlendMask 和主流检测框架一样用 COCO 格式的 JSON 标注最省事。每个实例除了 bbox 之外必须要有 polygon 或 RLE 格式的 mask 标注因为训练时 loss 需要真实的像素级 mask 来计算监督信号。如果你手里的数据集只有框标注想训练 mask 分支基本不可能要么先跑一轮检测模型做半自动标注要么找团队手工补点 mask否则分割效果就是纸上谈兵。输入尺寸直接影响 blend 的效果。我试过 800 和 1333 两种常见短边长度边长越大细粒度特征图分辨率越高mask 细节越丰富但显存和耗时同步上涨。实际项目里我会先用小输入尺寸跑通流程、把代码和 loss 验证没问题再逐步放大到目标分辨率。还有一个额外收获小尺寸训练可以更快地暴露代码 bug比如 loss 出现 NaN、mask 分支梯度消失这类问题在小图上跑两三个 epoch 就能看出来不用浪费大图的训练时间。4.2 训练策略与学习率经验BlendMask 的训练整体上可以套用检测模型的成熟策略骨干网络用预训练权重FPN 和检测头从头开始训。学习率先 warmup 再衰减是常规操作。我之前踩过一个坑骨干网络保持预训练但检测头和 mask 分支的学习率调得太大结果前几个 epoch loss 震荡非常严重mask 输出几乎全黑。排查到最后发现分割分支的梯度量级和检测分支差很多权重初始化也需要更小心。常见的做法是给 mask 分支设置与检测头相同的初始学习率但把权重初始化尽量控制在较小的量级避免刚开始训练时输出激活过大。优化器方面SGD 加动量在多数检测框架里表现稳定Adam 类优化器在分割分支上收敛更快但容易在后期把 mask 边界训得偏“锐利”甚至过拟合。我自己更倾向先用 SGD 跑基线确定学习率和迭代次数之后再切换到 AdamW 精调 mask 部分这个组合在我这边的效果最稳。关于训练轮数BlendMask 这种多分支联合训练的模型一轮太少 loss 下不去一轮太多会过拟合到训练集的边缘纹理上。我惯用的方法是 12 到 24 epoch配合多尺度训练和随机翻转增强让 mask 分支见过足够多的形状变化。数据增强对分割分支尤其重要因为它学的是像素归属同一个目标稍微旋转、缩放几度输出 mask 就可能变样。4.3 损失函数的细节BlendMask 的监督信号由检测分支和分割分支共同组成。检测分支沿用 anchor-free 里面的分类损失和回归损失分类部分常用 focal loss负责解决正负样本不平衡回归部分用 smooth L1 或者类似变体负责把框定准。分割分支的监督则是对生成的 mask 和 ground truth mask 做逐像素的二进制交叉熵BCE也有的实现会额外加 Dice loss 来辅助训练因为 BCE 对前背景像素比例比较敏感而 Dice loss 更关注区域重叠度。这里有一个值得注意的点attention 分支没有直接的监督标签它靠 mask 分支的梯度间接学习。这意味着如果你把 mask 分支的监督信号权重调得很低attention 可能学得模糊最终融合出来的 mask 边界会发虚。我在一次实验里把 mask loss 权重从 1.0 降到 0.5训练结束时 mAP 掉了将近两个点attention 可视化也明显比之前散。所以跑 BlendMask 时mask 分支的 loss 权重别轻易砍它不只是出结果还承担着引导 attention 学习的任务。5. 部署与调优记录推理加速和常见坑5.1 模型导出与后处理优化模型训好只是第一步落地部署时 BlendMask 的坑也不少。首先attention 分支和细粒度模块产生的中间特征图尺寸可能差得很大导出 ONNX 时如果直接按动态尺寸导出往往会因为上采样倍数的问题编译不过去。我建议在导出时固定一个输入尺寸比如 800x1200把模型内部的张量形状全部静态化这样转 TensorRT 或者其它推理引擎时省去一堆麻烦。缺点是输入尺寸固定了遇到极端的宽高比需要预处理时做 letterbox。后处理是另一个容易被忽视的地方。BlendMask 不像 Mask R-CNN 那样天然输出一张规整的 mask你取到的细粒度特征图可能是原图的 1/4 或 1/2要先把 mask 结果上采样到原图再做阈值化才能得到最终的分割轮廓。如果上采样方式选双线性还是最近邻对边缘质量影响不小。我实测下来双线性加一个小幅度的阈值收缩比单纯最近邻更平滑锯齿感明显减少但如果你要追求极致的边缘贴合可以考虑在 mask 后处理里加一步边缘保留滤波。5.2 显存与批大小BlendMask 训练时的显存大头在细粒度特征图和多尺度 FPN 特征上。分辨率稍微拉高一点显存就噌噌涨。如果你只有单张消费级显卡我建议训练时把 batch size 压到 2配合梯度累积别硬撑大 batch。硬撑的代价是显存溢出报错然后你开始怀疑是不是代码写错了其实只是特征图太大放不下。一个更实用的办法是控制输入图片的最大边长同时让细粒度模块的通道数少一点比如从 256 降到 128mask 质量损失可控显存却能降一截。推理部署时显存压力通常比训练小但也要小心。因为细粒度特征图是全局共享的无论一张图里有 1 个实例还是 100 个实例这张特征图都要完整存在于显存中。这与 Mask R-CNN 完全不同后者只对有限的 ROI 算特征实例少时内存占用也会少。设计服务时如果 GPU 上同时跑多个请求最好做动态 batch不要让同一张超大图独占全部显存否则后续请求很容易被挤掉。5.3 小目标、遮挡和边缘质量小目标分割是 BlendMask 比较吃力的一块。原因也好理解细小目标的 attention 响应本来就低上采样到细粒度特征之后有效像素又没几个融合出来的 mask 很容易缺胳膊少腿。我的做法是在 FPN 的高分辨率层比如 P2上也接细粒度模块小目标特征能保留更多原始信息。代价是训练和推理都会变慢显存再上一个台阶属于典型的用资源换效果量力而行。遮挡场景下BlendMask 的表现比 YOLACT 好不少因为 attention 能区分前景和背景的置信区域遮挡处即使轮廓被截断mask 也不至于整个糊成一团。但如果是高度重叠的同类目标比如一堆纸箱叠在一起attention 分支偶尔会同时激活两个实例的共享区域导致 mask 分离不彻底。遇到这种情况我会检查训练数据里有没有足够的重叠标注或者适当加大 mask loss 的权重让网络更看重像素级的区分能力。边缘质量是我觉得 BlendMask 最值得夸奖的地方。因为融合了底层特征它输出 mask 的边界能保留相当多的真实纹理信息不像 YOLACT 那样看起来像一块塑料贴图。训练完成后把输出 mask 叠加在原图上边缘的贴合度接近两阶段方法。只要输入分辨率别压得太狠BlendMask 在边缘表现上是拿得出手的。6. 我的体会与扩展思路6.1 attention 可视化调试训练过程中强烈建议把 attention 特征图保存出来一边训练一边看。这个操作看起来简单实际能省掉大量瞎猜的时间。attention 可视化能直观告诉你网络在关注什么:正常情况下attention 的激活区域应当和实例位置高度重合如果发现某个类别在所有图上 attention 都散成一片说明该类别的 mask 监督可能不足或者数据里该类别的标注有问题。还有一次我发现 attention 在图像边缘处出现规律性高响应排查半天才发现是数据增强里随机裁剪造成的边界效应调整增强参数之后问题立刻消失。可视化工具不需要多复杂训练迭代过程中定期把特征图 dump 到本地目录用 Python 脚本拼几张图就够用了。关键是让自己形成习惯每迭代几个 epoch 就扫一眼很多问题在早期就能被揪出来比等模型训完再看指标猜原因效率高太多。6.2 可迁移性BlendMask 这套“高层语义 底层细节 融合模块”的设计不只适用于实例分割。我在另一个项目里把同样的思想搬到了语义分割任务上用一个低分辨率的类别分布图作全局指导再从一个高分辨率特征图中提取细节最后做加权融合效果比单纯用空洞卷积堆出来的分割头要好计算量还更省。这说明 BlendMask 的核心价值更像是一种结构设计范式而不仅仅是一个固定模型。如果你的业务场景同时需要“相对精细的 mask”和“可控的推理延迟”BlendMask 是一个值得花时间验证的选项。它不像 Mask R-CNN 那样几乎无脑可上也不像 YOLACT 那样快到极致但它是那个能在精度与速度之间按需滑动、让你自己拧旋钮的方案。跑通一次完整流程之后你对“多分支网络如何协同工作”的理解也会提升一大截。最后再分享一个小技巧如果你要基于 BlendMask 做二次开发优先改细粒度模块的分辨率和 Blender 的融合方式这两个位置对最终效果的边际影响最大比反复调学习率有意思得多。我踩了几次坑之后现在拿到新数据集第一件事就是把这两个地方先试个遍再回头调训练策略整体效率比之前反着来高了不少。