做遥感目标检测的同学八成都被小目标坑过。尤其是多模态遥感图像——可见光加红外、或者光学加SAR——图倒是拍了不少飞机、车辆、油罐、船舶这种目标放到大场景里就十几个像素别说检测框稳不稳连人眼辨认都费劲。传统做法是先把低分辨率图像超分放大再跑YOLO这类检测器但老实说这个两段式流程在实际项目中效果并不理想超分模型和检测模型是分开优化的超分追求的是像素好看检测要的是语义和位置准确二者的目标并不一致误差还会一级一级累积放大推理速度也扛不住。后来我接触到SuperYOLO这套思路它把超分辨率任务作为辅助分支塞进检测网络和YOLOv5、YOLOv7这类检测框架联合训练推理的时候干脆把超分分支丢掉只保留轻量检测头。也就是说训练时超分模块逼着主干网络去学高频细节检测时这部分计算完全不用跑实际部署开销几乎不增加。这篇文章我就把这套东西从设计动机到架构细节、训练调参、部署落地、踩坑实录完整梳理一遍适合正在做遥感目标检测、想通过超分辅助提升小目标召回率、或者纠结多模态数据怎么融合上检测框架的人。1. 设计思路拆解为什么要在检测网络里硬塞一个超分辨率模块1.1 遥感小目标检测的“分辨率困境”先想清楚问题本质。遥感图像里的目标之所以难检很多时候不是模型能力不够而是输入图像本身的有效细节就不足。一个车辆目标在可见光图像里可能只有10×10像素到了红外图像里更糟边缘模糊、对比度低背景里的道路、屋顶和它长得几乎一样。用YOLOv5直接训练下采样到某个尺度后目标特征就被稀释了大目标还能靠上下文兜底小目标直接变成背景噪声。这也是为什么很多人第一时间想到超分辨率。直觉上图像先放大两倍目标像素变多检测器不就能看清了吗听着合理但实际落地时问题一堆。1.2 分步“超分检测”流程的三宗罪第一宗罪是误差累积。超分模型生成的图像毕竟是重建的不是真实高频信息重建产生的伪影和偏差会直接传给检测器。比如超分模型把一辆浅色车辆周围的阴影增强得过于锐利检测器可能把它当成第二个目标或者反而压制了原本微弱的车顶特征。第二宗罪是计算开销。一张遥感大图动辄几千乘几千像素整图超分一次耗时很高再做检测整个流程的推理延迟成倍上升。第三宗罪是优化目标割裂。超分模型通常用PSNR、SSIM这类像素指标训练它会把注意力放在整个图像的纹理恢复上但检测任务只关心目标区域是不是足够清晰、边缘是不是可区分。大量计算被浪费在不影响检测结果的背景天空、平坦地面上。我踩过一个很典型的坑在一组夜间红外图上单独训练了一个超分模型PSNR提了1.8dB很开心结果把超分后的图喂给YOLOv7mAP50反而掉了两个点。原因就是超分模型为了追求全局像素逼近把红外图像里的热噪声也恢复了检测器反倒被噪声误导。1.3 SuperYOLO的破局点把超分定义成辅助任务SuperYOLO的做法和“先超分再检测”完全反过来。它不把超分当成预处理而是把它当成训练阶段的辅助任务。在主干网络中并联一个轻量超分分支输入低分辨率多模态图像同时输出超分重建结果和目标检测结果。训练时约束两部分检测损失保证框准类对超分损失逼着网络中间特征尽量恢复高频细节。这样一来主干网络在提取目标特征时会主动保留对小目标有价值的高频信息因为这些信息既有助于超分重建也有助于检测头分类。最关键的一点是推理阶段可以把超分分支完全摘掉。主干网络已经学成“自带高频提取能力”的状态检测头直接基于这个特征输出结果。网络实际部署的还是轻量检测模型没有额外超分前处理也就没有推理负担。这个设计思路解决的是“红利归训练开销归推理”的矛盾。1.4 为什么选择YOLOv5和YOLOv7作为底座YOLOv5成熟稳定训练生态好自有数据增强和正负样本分配策略都比较省心很适合作为第一版SuperYOLO的检测底座。YOLOv7则在v5基础上引入了重参数化卷积和更深的ELAN结构推理速度和精度都有提升但对多模态融合分支更敏感调参难度大一些。实际项目中我习惯用v5做快速验证确认超分辅助带来的收益后再整体迁移到v7上做精度冲刺。2. 核心架构与关键模块解析2.1 多模态融合不是简单把通道拼起来处理多模态遥感图像的第一步就是融合。很多初学者直接把可见光三通道和红外单通道拼成一个四通道输入丢给检测网络。这种做法不是不行但在遥感场景下效果非常受限因为不同模态的特征分布差异太大可见光提供纹理和颜色红外提供热辐射差异两者在浅层卷积里就被平均掉了后面网络很难学到互补关系。SuperYOLO这类方案里比较稳妥的做法是分模态提取浅层特征再通过一个融合注意力模块做加权合并。这里面的核心不是“拼通道”而是“让网络自己决定信任哪个模态的哪个区域”。比如白天场景可见光纹理丰富红外信号相对次要夜间场景红外目标显著可见光可用信息少。简单的通道拼接没有这种自适应能力。2.2 轻量超分模块的搭建要点超分分支是整个框架里最容易加重的部分一定要控制参数量。目前比较实用的做法是用残差密集块堆叠配合亚像素卷积上采样。残差密集块的作用是让高频信息在网络内部反复传递局部特征每一层都能被后续层直接访问适合小目标重建亚像素卷积则把低分辨率特征重组到高分辨率空间比普通转置卷积更平滑生成的高频结构不容易产生棋盘格伪影。这里有个细节我特别想强调超分分支的输入、输出分辨率不需要覆盖全图。一张遥感大图如果整图做2倍超分显存会爆炸训练也慢。SuperYOLO思路下的常见做法是在网络中间特征图上做超分约束而不是对输入图直接放大。也就是说超分分支作用在特征层监督信号用下采样后的高分辨率图作为目标这样显存开销可控但依然能引导网络学习高频细节。还有一个容易踩的坑超分分支不是越深越好。我在项目里试过把残差密集块堆到10层检测mAP没有提升训练时间倒是翻倍了。后来压到4层超分损失降得没那么快但检测效果最稳。这说明超分模块的定位是“辅助”不是“主赛道”够用就行。2.3 检测头怎么衔接超分特征超分分支输出的高分辨率特征和检测主干需要的多尺度特征不一定直接兼容。常见做法是把超分分支的重建特征通过1×1卷积压缩通道后注入到FPN的某一层再让检测头使用融合后的特征。YOLOv5的FPN本身是多尺度融合高层语义信息向下传递低层位置信息向上传递超分特征如果加在浅层能显著提升小目标的边缘响应。如果选择YOLOv7做底座要特别留意重参数化结构。YOLOv7的深层分支在训练时会展开多条并行路径超分分支和这些路径拼接时如果融合方式只是简单Concat会导致训练初期梯度波动大。建议先用YOLOv5确认超分融合的有效性再迁移到YOLOv7并适当把融合后的通道数减半降低显存压力。3. 实操过程与训练调参记录3.1 多模态数据准备对齐是前提切片是刚需拿到的原始多模态遥感图像第一件事不是训练而是严格配准。可见光和红外的传感器位置不同即使经过几何校正也存在几个像素的偏差。对于小目标来说几个像素的偏差足以让融合特征完全错位。我在项目中用互信息配准做了粗对齐再用边缘特征做精对齐误差控制在一个像素以内之后检测精度才有明显提升。然后是切片。遥感原图太大不可能整图喂给模型。一般用固定大小滑窗切片窗口尺寸需要考虑两个因素目标尺寸和感受野。如果目标只有10像素窗口取512×512完全够用如果目标达到50像素以上建议窗口至少取640×640否则目标在切片里占比过小正样本质量堪忧。相邻切片之间要有重叠率我习惯设10%到20%避免目标被切在边缘导致标注框被截断。切片之后必须做数据增强。多模态数据和单模态不太一样不能随便用颜色抖动类的增强因为红外图像的强度分布和可见光完全不同剧烈的亮度变化会让融合模块学歪。我常用的安全增强包括旋转、翻转、缩放和轻微平移这些几何增强对两个模态保持一致性不会破坏模态间的对应关系。3.2 损失函数与训练阶段的设计SuperYOLO的损失函数一般写成检测损失加超分损失的加权和L λ1 * L_det λ2 * L_sr检测损失沿用YOLO系常用的GIoU或CIoU损失加分类损失和置信度损失超分损失如果是特征层监督可以用L1或L2我实测L1比L2更稳L2对离群点太敏感红外图像里的噪声点容易把重建梯度带偏。λ2的取值不需要太大0.1到0.5之间通常就够超分分支的作用是引导特征而不是主导优化。训练阶段我强烈建议分两步走。第一步先冻结超分分支单独训练检测主干到基本收敛这个过程让检测头先学会基础的目标定位能力避免早期梯度被超分分支干扰。第二步解冻超分分支联合训练。这时候检测损失已经收敛得差不多超分损失可以慢慢把主干特征往高频方向带整个训练过程稳定得多。我曾经试过从零开始端到端训练结果前20个epoch检测损失和超分损失互相打架mAP几乎不涨后来改成两阶段训练同样数据量下mAP50提升了接近3个点。这就是典型的优化器不知道先照顾谁的问题。3.3 关键训练参数参考下表是我在多模态遥感数据集上反复调出的一个比较稳的配置适用于YOLOv5底座切换YOLOv7时主要调整批量大小和初始学习率。参数项推荐取值调参说明输入尺寸640×640兼顾小目标留足像素和显存开销Batch Size16单卡多模态融合后输入通道多显存紧张初始学习率0.01两阶段第二段降至0.001过高容易把超分分支带崩优化器SGD 动量0.937Adam在某些场景收敛快但泛化差超分损失权重0.1~0.3权重过大会压制检测主任务超分放大倍数2倍数过高会引入过多重建负担融合前特征通道64通道过大融合模块参数爆炸实际操作时不要直接抄这套表先用小批量跑20个epoch看损失曲线再决定要不要调。尤其是多模态数据模态间差异越大学习率越要保守。4. 性能评估与部署落地经验4.1 用mAP验收别迷信PSNR很多团队在汇报SuperYOLO效果时喜欢把超分分支的PSNR也拿出来说事仿佛PSNR越高越能证明算法的超分能力。但在实际工程中PSNR和检测精度没有必然联系。我见过一个模型超分PSNR提高了1.5dB但mAP50几乎没动另一个模型PSNR只提高了0.6dBmAP50却涨了2.8个点。原因在于检测任务关心的是局部高频语义信息而PSNR是整个图像所有像素的全局平均误差大片的平坦区域会稀释局部变化的影响。所以项目验收必须以mAP50、mAP50:95、小目标类的AP作为核心指标PSNR作为辅助参考。尤其是mAP50:95它能反映预测框和真实框的匹配精度对于小目标来说这个指标更严格也更能体现超分辅助带来的位置精度收益。4.2 YOLOv5与YOLOv7的真实差异观察我手里有两个版本的实际对比数据。YOLOv5底座训练速度快显存占用低多模态融合模块的调参空间大适合快速迭代。YOLOv7底座在相同超分辅助配置下mAP50可以再提升约1.5到2个点尤其是中大型目标的位置回归更稳定但训练时间约增加50%推理速度反而更快。原因在于YOLOv7的重参数化结构在推理时可以把多分支折叠成单卷积虽然训练开销大部署时很划算。如果项目对检测实时性要求高比如无人机平台我建议用YOLOv7部署版如果数据场景复杂、需要频繁实验换方案YOLOv5底座更灵活。SuperYOLO的超分分支和融合模块本身可以原样迁移主要改动集中在检测头部分这部分和YOLO版本耦合程度并不深迁移成本可控。4.3 部署中的显存和速度优化真正部署时第一步就是把超分分支从推理图里完全剃掉。这一步听起来简单但实际操作中要小心如果训练时使用的模型文件包含了超分分支的权重导出ONNX时务必把无关节点剪枝掉否则推理框架会白跑一大段重建计算速度完全不符合预期。第二步是考虑多模态输入的前处理效率。可见光和红外的数据加载、归一化、图像增强如果都放在CPU端串行处理CPU会成为瓶颈。我建议把两个模态的预处理放进同一个Dataloader流程里并行执行或者提前在离线阶段完成标准化存储推理阶段直接读取张量能省下不少时间。第三步是精度校准。如果部署平台支持INT8量化可以尝试量化感知训练但我提醒一句多模态融合模块对量化误差比较敏感尤其是红外通道的动态范围往往和可见光差异很大需要在校准集里加入足够多的夜晚样本否则量化后小目标的召回率会明显下降。5. 常见问题与排查技巧实录5.1 模态间配准错位导致检测框偏移表现是训练时损失一直降不下来验证集上检测框的位置和真实框系统性偏移。排查思路很简单先把两个模态按相同坐标叠加肉眼观察边缘是否重合。如果边缘有错位别急着调网络先修数据。我遇到过同一个目标在红外图里明显比可见光偏右两个像素的情况不修正的话融合模块根本学不会稳定的空间关系。5.2 超分分支训练半天不收敛先看超分损失曲线。如果超分损失完全平了可能是超分分支的输入特征不够或者监督目标分辨率设置不合理。还有可能是超分分支被放在了太深的网络层低分辨率特征已经丢失了大量高频信息再怎么重建也补不回来。建议把超分分支接在浅层特征输出处并且检查监督信号是否做了对应下采样。5.3 加了超分分支反而掉点这种情况我在不同数据集上遇到过两次。第一次是因为红外图像的噪声太大超分分支把噪声当成了高频细节来恢复导致检测头要多学一个“去噪”任务。第二次是因为超分损失权重给的太高主干特征被超分任务带偏牺牲了语义信息。解决办法分别是对红外图像先做轻量去噪预处理把λ2调小到0.1左右观察检测损失变化。5.4 快查速查表问题现象可能原因优先排查方向mAP不涨且超分损失不降超分分支位置过深移到浅层特征输出检测框偏移模态配准误差检查像素级对齐小目标召回低切片尺寸过大缩小滑窗或增加重叠训练显存OOM超分分支过重减小残差块数量或通道数量化后掉点严重红外通道动态范围问题校准集增加夜间样本推理速度慢超分节点未剪除导出ONNX时重构图最后再分享一个小技巧多模态遥感的目标检测和普通自然图像检测最大的不同是“信任分配”不同时候你得让网络知道哪个模态更可靠。SuperYOLO给出的答案是用超分辅助任务去间接逼主干特征保留高频信息但我的个人体会是还可以在融合模块里加一个很轻的空间调制门控让网络按区域自动选择模态权重。这个改动不影响超分分支结构只在融合阶段多几个参数实测下来对雨天、雾天这类复杂气象场景的稳定性帮助很大。如果你准备在自己的项目里复现SuperYOLO我的建议是第一版老老实实按原始框架搭跑通后再加自己的融合调制别一上来就堆结构容易把有效信息淹没在一堆可调参数里。