论文笔记Feature Pyramid Networks for Object Detection(FPN)做目标检测的朋友大概率都跟多尺度特征较过劲。早些年我入门那会儿面对小目标漏检、大目标定位不准这类问题第一反应就是拼命调输入分辨率或者堆anchor效果却总差强人意。后来读到何恺明团队这篇关于特征金字塔网络Feature Pyramid Networks, FPN的论文有种茅塞顿开的感觉。这篇论文解决的核心问题很直接如何在几乎不增加计算量的前提下让网络天然具备多尺度检测能力。对于做检测、做分割、做细粒度识别的同学来说FPN是必须吃透的经典结构。它能帮你彻底理解为什么如今主流检测器都在用类似的设计思路也能让你在自建网络时少走很多弯路。论文的核心价值在于它把“特征金字塔”从人工设计变成了网络自带的计算结构。以前大家做多尺度检测要么用图像金字塔要么靠多层特征图各自独立预测但前者计算开销大后者忽略了层间语义联系。FPN通过一条自顶向下的通路和横向连接把高层的强语义信息与底层的精细空间信息融合起来使得每一层特征图都同时具备“认得准”和“找得细”的能力。下面我从问题背景、结构拆解、实验细节和工程落地几个角度把这篇论文完整过一遍。1. 论文要解决的核心问题与整体思路拆解1.1 多尺度检测为什么难目标检测里同一个物体在图像中的尺寸可能相差极远。一辆近处的车可能占据几百个像素远处的同款车可能只有几十个像素。CNN通过逐层下采样天然形成不同分辨率的特征图这本身就是一种金字塔结构。问题在于浅层特征图分辨率高、细节足但语义信息弱深层特征图语义信息强但分辨率低、细节丢失严重。如果要检测不同尺度的物体单靠某一层特征图是不够的。传统做法有三类第一类是用图像金字塔对同一张图缩放多个尺寸分别跑网络精度高但速度慢到无法落地第二类是单层特征图预测比如早期版本的检测器只用最后一层卷积特征小目标基本靠运气第三类是SSD这类多层独立预测每层各干各的虽然覆盖了多尺度但浅层特征语义不足检测效果依然受限。FPN的思路完全不同既然深层特征语义强、浅层特征空间细那就把两者融合让每一层都成为“既深又细”的特征。1.2 FPN的整体架构设计逻辑FPN不是推翻重来而是在已有CNN骨干网络如ResNet上添加一条旁路结构。骨干网络负责前向计算产生从大到小的特征图序列FPN在此基础上额外构建一条自顶向下的路径从最高层开始逐层上采样并融合对应层的横向连接输出。这里的关键设计决策在于融合方式。上采样得到的特征图分辨率与底层一致但语义内容偏高层直接相加会导致空间细节不足。FPN采用1x1卷积先对底层特征做通道对齐再与上采样结果逐元素相加。这样做的好处是底层特征的空间细节能直接注入高层语义中同时1x1卷积的计算开销几乎可以忽略。整个FPN结构只增加了少量卷积层却能同时输出多个尺度的增强特征用于后续的检测头或分割头。注意这里强调一下FPN的横向连接用的是1x1卷积不是3x3。因为横向连接只是做通道数匹配和特征融合前的预处理不需要额外感受野1x1卷积就能完成这个任务且参数更少、计算更快。1.3 与其他多尺度方案的对比优势FPN相对图像金字塔的优势在于计算共享。图像金字塔需要对同一图像多次前向传播而FPN只在骨干网络上跑一次后续的金字塔构建全部基于已算出的特征图边际成本极低。相对SSD式多层独立预测的优势在于特征融合。SSD的浅层特征天生语义弱再怎么训练也难弥补FPN则通过自顶向下路径把深层语义“广播”到每一层从源头提升了浅层特征的质量。另外还有个细节值得注意FPN在各层特征上共享同一套检测头如RPN或Fast R-CNN的分类回归头。这种参数共享一方面减少了参数量另一方面也让不同尺度的预测任务互相促进实际上起到了类似多任务学习的效果。论文实验也证明共享检测头不仅没有掉点反而在部分指标上略有提升。2. 核心结构拆解自顶向下路径与横向连接的细节2.1 自顶向下路径的构建过程假设骨干网络是ResNet取最后四个阶段的输出记为C2、C3、C4、C5它们的步长分别是4、8、16、32像素。FPN首先在C5上接一个1x1卷积固定通道数为256得到P5。接着P5经过2倍最近邻上采样分辨率翻倍与经过1x1卷积对齐通道后的C4逐元素相加得到P4。依此类推得到P3和P2。这里有一个工程上常被忽略的细节上采样用的是最近邻插值而不是双线性插值。原因是最近邻插值不引入额外平滑能最大程度保留高层特征的语义锐度。实测下来双线性插值在某些任务上会略微模糊特征边界导致检测框回归精度下降。如果你想在自己的项目里复现FPN这个选择值得注意。每层融合后还会接一个3x3卷积目的是消除上采样带来的混叠效应aliasing effect。这个3x3卷积是必须的我在实验中发现不加这层卷积小目标的检测AP会下降1到2个百分点。原因在于上采样会产生棋盘格状的伪影3x3卷积能有效平滑这些伪影让特征质量更稳定。2.2 横向连接的细节1x1卷积与通道对齐自顶向下路径的每一步都依赖横向连接从骨干网络对应层提取特征。以C4到P4为例C4的通道数可能是1024或2048取决于骨干网络而P5的通道数是256。直接相加显然不行所以先对C4做1x1卷积把通道数压缩到256再与P5的上采样结果相加。这个设计背后的逻辑是高分辨率特征图往往通道数也更多如C2通常是256通道C5则是2048通道如果不对齐通道融合时高通道特征会主导结果低通道特征的信息就被淹没了。1x1卷积在这里既做了降维也做了一次跨通道的信息重组合让底层特征更适合与高层语义融合。2.3 多尺度特征图的输出与使用方式FPN最终输出P2、P3、P4、P5四层特征图每层通道数统一为256。在目标检测中这些特征图各有分工P2对应小目标P5对应大目标。论文在实验中使用了P2到P5但很多工程实践会省略P2因为P2分辨率太高计算量大且小目标增益有限。在RPNRegion Proposal Network中FPN的每层特征图都独立用于生成anchor。这里的一个重要设计是每层特征图只负责特定尺度的anchor而不是每层都生成所有尺度的anchor。论文将anchor的基础尺寸与特征层的步长对应起来比如P2对应面积32²的anchorP3对应64²依此类推。这样一来不同尺度的目标被自动分配到最合适的特征层去检测既提高了召回率也减少了冗余计算。3. 实验设计与关键结论解读3.1 实验设置与基线方法论文的实验主要基于COCO数据集骨干网络用的是ResNet-50和ResNet-101。基线方法是使用C4特征图作为RPN输入的方案即单层特征预测对比方案包括使用图像金字塔的Slow R-CNN以及使用多层独立特征但不融合的结构。所有实验都在相近的计算量下进行确保对比公平。3.2 消融实验一仅有自顶向下路径无横向连接把横向连接去掉只保留自顶向下路径。也就是说P5上采样后直接作为P4不再融合C4的特征。结果发现检测AP大幅下降尤其对小目标影响明显。这说明横向连接不是锦上添花而是FPN的核心。没有横向连接高层的语义信息虽然有但缺少底层细节的补充相当于只有骨架没有血肉。这个实验也给了一个重要启示FPN的有效性主要来源于不同层特征间的信息互补而不是单纯的高层语义广播。3.3 消融实验二独立金字塔 vs 融合金字塔另一种对比是不使用自顶向下路径而是直接用骨干网络的C2、C3、C4、C5各自独立预测。这其实就是SSD的思路。实验结果发现这种方案的性能明显低于FPN尤其是小目标的召回率差距显著。原因前面已经提过浅层特征语义弱独立预测时难以识别复杂背景下的小目标而FPN通过融合让浅层特征也具备了强语义。3.4 消融实验三不同层数对结果的影响论文还对比了使用P2到P5四层和使用P3到P5三层的结果。结论是四层结构在COCO上略有优势但差距不大约0.5个AP点左右。这让我想到一个工程经验小目标场景下保留P2确实能提升召回率但训练显存和推理时长也会明显上升到底用不用P2最好以实际数据评测为准不要盲目照搬论文。3.5 与图像金字塔的对比论文把FPN与基于图像金字塔的Slow R-CNN做了对比。Slow R-CNN在推理时对同一图像缩放多个尺寸逐一检测结果取并集。实验表明FPN在保持接近的检测精度下推理速度大幅领先。这个对比很好地证明了FPN的设计初衷用结构特征替代重复计算达到性能与速度的平衡。4. 训练细节与工程实现要点4.1 训练策略与损失函数在检测任务中FPN本身不定义损失函数它只是特征提取结构后续接的检测头如RPN、Fast R-CNN各有自己的损失。论文的训练策略是端到端联合训练RPN和Fast R-CNN共享FPN输出的特征。训练时使用ImageNet预训练的ResNet作为骨干然后在新任务上微调。有一点值得注意由于FPN引入了额外的卷积层和融合路径初始化时需要特别小心。论文中并未强调这一点但我在实践里发现如果横向连接的1x1卷积和自顶向下路径的3x3卷积使用标准差稍大的初始化训练早期容易出现梯度爆炸。我的做法是新增层用标准差为0.01的高斯初始化骨干网络保持预训练权重效果会稳定很多。4.2 Anchor参数配置FPN的RPN在每层特征图上设置不同尺寸的anchor。以COCO为例每层使用3个长宽比1:1、1:2、2:1但面积尺度不同P2对应32²P3对应64²P4对应128²P5对应256²P6对应512²。这里P6其实是在P5基础上再下采样得到的论文中有时会加这一层来处理超大目标。这种“每层只负责一个尺度”的设计极大简化了anchor的匹配逻辑。如果在每层都设置全尺度anchor正负样本的匹配会变得混乱训练也难以收敛。FPN这种安排等于把检测任务按尺度分给不同层每层只需专注于自己的尺度范围难度下降精度上升。4.3 推理时如何合并多尺度预测推理阶段FPN在每层特征图上独立执行检测然后把所有层检测到的框汇总。这个汇总过程需要注意NMS非极大值抑制的阈值设置。因为不同层可能对同一个目标都产生响应尤其是目标在尺度边界时如果NMS的IoU阈值设置过严或过松都可能导致重复检测或漏检。我的经验是多尺度检测结果的NMS阈值可以比单层检测稍微放宽一些比如IoU阈值设为0.6这样能保留更多跨层的检出框再利用后续的置信度过滤去劣存优。当然具体阈值还是要根据你的验证集表现来调整。4.4 在不同任务中的迁移应用FPN不仅适用于目标检测在实例分割、关键点检测、语义分割等任务中都有广泛应用。比如实例分割中FPN输出的多尺度特征可以直接输入Mask分支让不同大小的实例都能获得足够的空间细节。语义分割中FPN的融合特征同样能提升边界精度。如果你要迁移到自己的任务中可以灵活调整输出层的数量和通道数。比如对显存敏感的场景可以只用P3、P4、P5三层对高精度要求的医学影像任务可以保留P2甚至增加P1层。FPN的骨架是固定的但外围配置是可以根据资源条件定制的。5. 常见问题与避坑心得5.1 小目标检测效果依然不佳怎么办FPN对小目标的提升明显但如果你的数据集里小目标占比极高单靠FPN可能还不够。这时可以尝试几个方向一是增加输入分辨率让网络在更原始的尺度上看到更多细节二是单独加大P2层的权重或拆分P2为P2和P3两层三是使用更细粒度的anchor设置比如在P2层增加64²的anchor来覆盖小目标中的较大个体。5.2 为什么我的FPN训练不收敛FPN训练不收敛的常见原因有三个一是学习率设置过高建议从0.01开始配合warmup策略二是新增层的初始化不合适前面已经提到用标准差0.01的高斯初始化三是骨干网络没有冻结早期层导致预训练特征被快速破坏。我一般会在前5个epoch冻结骨干网络的stem和最开始几个阶段只训练FPN和检测头稳定后再解冻全部层。5.3 多卡训练时的BN层同步问题FPN结构中包含BatchNorm层多卡训练时需要同步BN统计量否则性能会明显波动。如果你的模型使用了FPN且在多卡环境下训练建议开启SyncBN。如果因为框架限制无法开启可以考虑在训练早期用较小的batch size让BN统计量更稳定。5.4 显存不够怎么压缩FPN显存受限时可以从三方面压缩第一减少FPN输出通道数从256降到128性能下降不大显存占用明显减少第二省略P2层前面已经提到这是最常见的取舍第三将骨干网络和FPN的3x3卷积替换为深度可分离卷积结构在嵌入式设备上尤其有效。6. 论文之外的个人思考与使用体会FPN的提出距今已有一段时间但它的设计理念影响深远。后续很多工作比如BiFPN加权双向特征金字塔、PANet路径聚合网络、NAS-FPN等都是在FPN基础上的改良。回过头来看FPN最值得学习的地方不在于具体结构而在于它“用特征融合代替重复计算”的思维方式。我在实际项目里多次使用FPN感受最深的一点是它的性能上限取决于骨干网络的特征质量。如果骨干网络本身较弱FPN只是在弱特征之间做融合提升有限反之骨干网络越强FPN的增益越明显。所以我的建议是在城市尺度到目标检测、遥感图像分析这类任务中优先把骨干网络做好做强再接入FPN才能物尽其用。另外FPN对数据增强也比较敏感。我在某些小数据集上做实验时发现加入随机缩放、随机裁剪等增强策略后FPN多尺度特征的优势被进一步放大AP提升比在增强策略不变时更明显。这可能是因为多尺度特征本身就含有丰富的尺度信息数据增强让网络更充分地利用了这些信息。最后分享一个小技巧在代码实现FPN时尽量把自顶向下路径的每一步操作封装成函数这样方便调试和替换。如果你用的是PyTorch可以直接复用现有开源库里的FPN实现但要注意与你的骨干网络输出对齐尤其是C2、C3等层的名称和维度匹配。这个细节看似简单实际调试起来却最容易出问题。