YOLOv8多模态创新改进MJRNet早期深度融合模块复现全记录最近在做一个多模态目标检测项目被可见光和红外图像的融合问题折磨了好一阵子。两路数据各有各的脾气——可见光在白天细节丰富到了夜间或恶劣天气就抓瞎红外对热目标敏感却经常缺乏纹理和边界信息。试过把两路特征在FPN层简单拼接试过在预测端做结果融合效果都不太理想。后来在一篇TGRS 2025的论文里看到了MROD-YOLO的工作其中提出的MJRNet多模态联合表征网络模块让我非常感兴趣。它的思路和之前试的方法有一个关键区别不是在深层特征做融合而是在输入图像层面就完成可见光与红外信息的联合表征。这个“早期深度融合”的思路一下子点醒了我。在反复复现和调参的过程中我对这套方案的原理和实现细节有了比较深入的理解这里把整个过程和踩过的坑完整记录下来。1. 内容整体设计与思路拆解1.1 为什么早期融合优于后期融合接触过多模态检测的朋友应该都清楚主流融合策略大致可以分成三条路线。早期融合把不同模态的数据在输入阶段就拼在一起相当于让网络从第一层卷积开始就同时看到两路信号中期融合在主干网络的某个特征层汇合两路信息后期融合则各自为战最后把两路的检测结果做NMS合并或置信度加权。我最早尝试的是后期融合。单看结果似乎还行但深入排查会发现一个致命问题两路分支的检测头经常产生互相矛盾的预测。可见光分支在阴影区域漏检了目标红外分支可能因为目标温度和环境接近也漏检了最终合并时两边都没有输出。这种“各自漏检”的情况在后期融合里特别常见因为两路信息根本没有交互过。MJRNet的思路从源头解决问题。它在图像送入骨干网络之前就通过联合表征模块把可见光和红外数据统一到一个共享的特征空间里。这样做的好处在于后续所有层级的特征提取都能同时利用两路信号的互补信息而不是等到信息已经丢失得差不多了再去做补救。用生活化的类比来说后期融合就像两个各看各的巡逻员最后碰头时把各自的发现拼在一起谁都没看到的死角就永远丢了。MJRNet的早期融合更像是两个人肩并肩行动你提醒我往左看我提醒你往右看全程信息共享。1.2 MJRNet模块设计的核心逻辑从论文里的结构来看MJRNetMulti-modal Joint Representation Network的设计有几个明显的关键决策。首先是联合表征的构建方式模块没有简单地把RGB和IR图像做通道拼接而是先通过两个独立的编码分支提取初步特征再通过特定的联合表征机制把两路特征对齐和融合。这个“先独立编码、再联合表征”的设计是有讲究的。如果直接把原始图像拼在一起两路数据的分布差异太大了——可见光图像受光照影响严重红外图像的灰度值反映的是热辐射分布两者在统计特性上几乎没有共同点。直接拼接相当于把两个分布差异极大的信号交给同一组卷积核去处理网络很难学到有意义的联合特征。MJRNet的做法是让每个模态先用自己的一组浅层卷积做信号适应把原始像素空间映射到一个更适合融合的中间表示然后再通过联合表征模块执行跨模态的信息交互。这个交互过程不是简单的相加或拼接而是学习一种动态的权重分配机制让网络能根据当前场景决定更信任哪路信号。1.3 这套方案解决了什么实际问题在我实际的应用场景里目标检测需要在白天、黄昏、夜间各种光照条件下都能保持稳定性能。单独用可见光模型一到晚上基本就废了漏检率直接翻倍。单独用红外模型也不行因为红外图像分辨率低、纹理信息少白天目标边缘模糊导致定位精度差。MJRNet这套方案让网络自己学会根据场景切换信息偏好。白天可见光信号质量好联合表征模块会自动提高可见光特征的权重到了夜间红外信号成为主要依据权重自然转移。关键是这个权重分配是逐像素、逐通道进行的不同区域可以有不同的信息偏好不像人为规则那样一刀切。项目经理看到的效果就是同一个模型白天晚上的检测精度都保持在可用水平而且不需要准备两套模型来切换。这就是多模态互补优势被“充分发挥”的实际含义。2. 核心细节解析与实操要点2.1 可见光与红外数据的对齐预处理如果以为拿到RGB和IR图像就能直接送入网络训练那后面调试的过程会让你相当痛苦。我在项目一开始没有认真处理配准问题结果前两周的训练曲线一直上不去损失函数死活降不到理想区间。红外和可见光相机的位置、视场角、分辨率都不同采集到的图像在空间上存在偏移和缩放差异这就是所谓的“未配准”问题。如果两路输入在像素级没有对齐联合表征模块学习到的位置相关性就是错误的后面所有特征都会受到这个错误累积的影响。我最终的预处理流程是这样的第一步用标定板对两路相机做联合标定计算两路图像之间的仿射变换矩阵第二步把红外图像重采样到和可见光相同的分辨率第三步做图像配准使用特征点匹配加上透视变换来消除残余的偏移。这三步完成后两路图像的像素级对应关系才能达到毫米级精度。提示配准是这类多模态方案里最容易被低估的环节。我建议在预处理阶段就做严格的前向配准不要寄希望于网络自己去学对齐那会浪费大量模型容量。2.2 联合表征模块的输入与输出结构MJRNet的输入是预处理后的可见光图像和红外图像对。和很多双流网络直接在RGB的3个通道上做卷积不同MJRNet把两路输入分别过一个小型的特征提取头这个特征提取头通常由两到三个卷积层组成输出通道数相同便于后续的联合表征操作。在复现过程中我经过多次实验确认了每个模态分支的输出通道数设为64是比较合理的配置。通道数太少联合表征的表达能力不足后续主干网络得不到足够丰富的信息通道数太多计算量上去了但精度提升非常有限属于典型的边际效益递减。联合表征的核心操作是我理解MJRNet的关键两个模态的特征图在通道维度上被组织成一种“联合特征”的形式——不是沿着通道轴简单拼接那样拼接后的特征图通道数会翻倍而是通过跨模态注意力机制计算两路特征之间的相关矩阵然后根据这个相关矩阵对两路特征做加权重组。这样输出的联合特征图和单路输入的特征图尺寸完全一致不需要额外调整后续网络的输入维度。2.3 网络结构中的位置选择MJRNet模块应该放在哪里这个问题直接影响最终效果。论文的方案是在主干网络的输入阶段就嵌入这个模块也就是说原始图像先进入MJRNet完成多模态联合表征然后输出一个融合后的特征图再送入标准的YOLOv8主干网络。这个位置选择有明确的逻辑。如果放在骨干网络中间层比如C3/C2f模块之后此时特征图的分辨率已经降低感受野已经扩大如果在这个阶段融合空间细节信息损失比较严重——夜间的小目标在浅层特征里的信号本来就弱再经过几次下采样就基本检测不到了。放在输入端处理的优势在于所有下采样、所有特征提取操作都在融合后的特征上进行网络从一开始就在处理一个“综合了两种模态信息的表征”每一步提取的特征都包含完整的互补信息。我实测下来的结果显示这种位置安排对于小目标和远距离目标的检测效果提升最为明显正好对应红外模态在远距离目标上的热信号优势。2.4 一个容易忽略的细节光照变化下的归一化处理这里要单独提醒一个我在第一次复现时完全没想到的问题。可见光图像的灰度分布随光照剧烈变化而红外图像基本不受光照影响它的灰度值反映的是物体表面温度。如果直接对两路图像做同样的归一化处理比如都归一化到0到1那么统计特性差异依然存在。我的处理方式是分别统计两路训练集的均值和标准差各自做标准化处理。红外图像通常做全局均值方差标准化就够了因为它的分布相对稳定。可见光图像则需要额外考虑光照变化带来的亮度偏移必要的时候做自适应直方图均衡化来减少光照突变带来的干扰。这步操作对MJRNet的联合表征效果影响很大。我做过对比实验做了分模态标准化的实验组比简单统一归一化的对照组在夜间场景下AP值提高了将近6个点。这个差距的来源不难理解如果两路输入的数值范围差异过大联合表征模块在初始阶段会过分关注数值较大的那个模态另一路的信息等于是被压制了。3. 实操过程与核心环节实现3.1 基于YOLOv8的改进结构搭建下面把代码层面的复现过程做一个完整的记录。我的实现基于某个开源的YOLOv8工程改造整体分成了几个步骤定义和注册模块。首先是定义联合表征注意力模块的核心算子。这里我简化了论文中的部分设计采用了一个可以在标准深度学习框架中方便实现的版本核心是一个跨模态的相关注意力操作。我实现的是先对两路特征分别做1x1卷积降维然后通过矩阵乘法计算相关矩阵再做加权融合整体思路与跨模态注意力机制一致import torch import torch.nn as nn import torch.nn.functional as F class CrossModalAttention(nn.Module): def __init__(self, in_ch, out_ch): super().__init__() self.query_conv nn.Conv2d(in_ch, in_ch // 2, kernel_size1) self.key_conv nn.Conv2d(in_ch, in_ch // 2, kernel_size1) self.value_conv nn.Conv2d(in_ch, in_ch, kernel_size1) self.output_conv nn.Conv2d(in_ch * 2, out_ch, kernel_size1) self.softmax nn.Softmax(dim-1) def forward(self, rgb_feat, ir_feat): B, C, H, W rgb_feat.shape query self.query_conv(rgb_feat).view(B, -1, H * W).permute(0, 2, 1) key self.key_conv(ir_feat).view(B, -1, H * W) attn self.softmax(torch.bmm(query, key)) value self.value_conv(ir_feat).view(B, C, -1) fused torch.bmm(value, attn.permute(0, 2, 1)).view(B, C, H, W) out torch.cat([rgb_feat, fused], dim1) return self.output_conv(out)这段代码的关键在于相关矩阵的计算。query来自可见光特征key来自红外特征二者做矩阵乘法得到的是一个空间位置之间的响应关系图。这个响应关系本质上是在回答“可见光这个位置的特征在红外图像中对应位置有什么样的响应”。有了这个对应关系就能把红外信息按照可见光的空间结构做加权重组。注意实际训练时如果输入特征图尺寸比较大矩阵乘法的计算量会显著增加。我在初始实现中直接用完整的H*W做矩阵乘法结果显存直接爆掉。后来不得不加了一个空间池化分支来降低注意力计算的分辨率在保持大致性能的前提下把显存占用降了下来。接着是完整的MJRNet模块。它先通过两个参数独立的卷积链路分别处理RGB和IR输入确保各自模态的底层特征能充分提取然后在中间层进行联合表征计算最后输出一个融合后的特征图class MJRNet(nn.Module): def __init__(self, in_ch3, ir_ch1, out_ch64): super().__init__() self.rgb_branch nn.Sequential( nn.Conv2d(in_ch, 32, kernel_size3, padding1), nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.Conv2d(32, out_ch, kernel_size3, padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue) ) self.ir_branch nn.Sequential( nn.Conv2d(ir_ch, 32, kernel_size3, padding1), nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.Conv2d(32, out_ch, kernel_size3, padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue) ) self.fuse CrossModalAttention(out_ch, out_ch) def forward(self, rgb, ir): rgb_f self.rgb_branch(rgb) ir_f self.ir_branch(ir) return self.fuse(rgb_f, ir_f)rgb_branch和ir_branch的卷积核数量与层数可以调节但有一个原则需要遵守两个分支的结构可以相同但参数必须独立。如果共享参数会导致两路模态的信号被迫经过同样的变换信息差异会被抹平联合表征模块就学不到互补关系了。3.2 在YOLOv8工程中注册新的主干入口模块定义完成之后需要把它接到YOLOv8的网络结构中。这里需要注意MJRNet输出的是一个融合后的特征图不再区分RGB和IR独立分支所以它对后续YOLOv8主干的接口是透明的。我采用的改造方式是在YOLOv8的主干backbone定义中增加一个参数用于选择是否使用多模态联合表征模块。训练时传入RGB和IR两组输入先经过MJRNet得到融合特征再把融合特征传给原来的第一个卷积层。这样需要同步修改数据加载逻辑——读取图片时要同时加载对应的可见光和红外图像。class YOLOv8_Multimodal(nn.Module): def __init__(self, num_classes): super().__init__() self.mjrnet MJRNet(in_ch3, ir_ch1, out_ch64) self.backbone ... # 原始YOLOv8 backbone self.head ... # 原始YOLOv8检测头 def forward(self, rgb, ir): fused self.mjrnet(rgb, ir) features self.backbone(fused) return self.head(features)加载数据时还需要单独实现一个多模态数据集类核心逻辑是初始化时接收可见光图像路径和红外图像路径的列表每次返回一个图像对。需要注意两个列表的顺序必须严格一致我因为数据集命名规则不一致导致配对错乱跌过一个大跟头。在调试阶段建议在数据集里打印配对样本的可视化结果确认一下。3.3 训练策略与关键参数设置由于MJRNet引入了额外的参数和计算量直接沿用YOLOv8默认的优化器参数可能导致训练不稳定。我在实跑中发现初始学习率需要适当调低论文里提到的做法是先让前几个epoch只训练MJRNet冻结backbone和head。这个热身策略是有道理的——让联合表征模块先学会基本对齐任务再开始更新后面的大规模参数可以有效防止因为新参数初始值不匹配而导致梯度异常。我最终采用的训练配置如下输入分辨率640x640初始学习率0.001使用带动量的SGD优化器batch size为16训练150个epoch。前5个epoch冻结backbone和head只训练MJRNet之后恢复全部参数训练。学习率采用余弦退火策略最低降到0.0001。在损失函数层面我尝试过在原始YOLOv8损失之外额外加一个联合表征一致性约束让两路模态输出的特征在语义层面更接近。实际效果并不理想损失权重加多了反而干扰主任务的检测精度最后放弃了这个辅助损失。如果想做这方面改进建议先从很小权重开始试。3.4 推理阶段的输入适配训练完成后部署时需要处理好推理输入格式一致的问题。MJRNet需要在输入端同时获取可见光和可见光图像两路输入因此推理流程也需要进行相应调整。首先要确保配准和预处理逻辑与训练时完全一致其次需要注意红外图像的单通道表示。我习惯在推理脚本里把输入整理成字典格式传入的键值对分别对应可见光和红外图像。还要特别注意归一化参数必须是训练时统计的同一组不能推理时重新算否则分布不匹配会让融合效果大幅退化。注意部署到边缘设备时MJRNet增加的计算量主要在跨模态注意力这个环节。如果算力有限可以考虑把注意力计算的分辨率降低比如先在16x16的低分辨率上计算注意力再上采样回原尺寸这是一个性价比很高的优化手段。4. 常见问题与排查技巧实录4.1 跨模态对齐偏移导致训练loss震荡这是我最先遇到的一个典型问题。明明数据集是配准过的训练时loss曲线却非常不稳定振荡幅度很大一度让我怀疑是学习率设置有问题。排查过程用了排除法。先把学习率降到最低发现loss依然剧烈震荡再检查数据加载逻辑打印了几组随机样本发现红外和可见光图像确实存在像素级偏移。原因出在标定板拍摄和正式数据采集之间相机位置有轻微移动导致仿射变换矩阵失效。解决方案是设计了一个在线对齐步骤训练前先取一组特征明显的图像对重新计算变换矩阵而不是沿用之前的标定结果。这步操作实现了像素级误差从10像素左右降到1像素以内loss曲线随之变得平滑。4.2 红外分支梯度消失另一个问题是训练过程中红外分支的权重的梯度范数一直很小导致红外分支学到的东西很有限。检查后发现是初始化方式的问题——红外分支的卷积核使用和可见光分支相同的默认初始化方法但红外图像的数据分布和可见光差异较大导致初始激活值落在饱和区。解决办法是对红外分支的BatchNorm参数做特殊处理初始gamma值设为0.1而不是默认的1.0这样在训练初期红外分支的输出被缩小可以避免饱和问题梯度也能正常回传。4.3 小目标检测精度不升反降这个案例在处理特定数据集的时候出现过。添加MJRNet后宏观的检测精度确实有提升但某个小目标类别的AP反而下降了。分析原因后确认是分辨率与感受野之间的冲突——MJRNet在做跨模态注意力时把注意力分辨率降低到了16x16对小目标的空间响应产生了负面影响。调整方案是将注意力的内部分辨率提高到32x32给显存留出相应预算小目标的AP就恢复了同时整体精度还比降分辨率版本有小幅提升。如果你的场景严重依赖小目标检测建议优先保住分辨率。4.4 数据配错训练时不收敛的隐形杀手数据加载阶段的低级错误也值得专门提醒一下。我在搭建数据流水线时使用了两个不同的数据集文件夹分别存可见光和红外照片配对关系依赖文件名的排序规则。结果有一天排序规则被改动导致红外图像和可见光图像完全错配。模型训练了两个小时都没发现异常直到可视化验证时才露出马脚。排查方法其实很简单每次开始训练前用脚本把几十对训练样本拼接成一张对比图肉眼看几秒钟就能判断配对是否正常。这个验证操作值得写进训练流程里养成习惯了可以省下大量排查时间。下面把常见问题整理成速查表方便大家按症状定位问题现象可能原因排查与解决loss持续震荡跨模态未对齐重新标定配准做在线对齐验证红外分支不学习初始化导致饱和调整红外分支BN初始gamma值小目标AP下降注意力分辨率太低提高注意力内部分辨率训练不收敛数据配对错乱可视化确认样本配对关系显存占用过高注意力矩阵过大降低注意力分辨率或使用池化分支4.5 融合权重分布不均匀训练完成后我专门看了MJRNet跨模态注意力的权重分布发现大部分位置的权重都集中到可见光分支红外分支的响应权重很低。这说明在当前数据集上训练时可见光信号确实占了主导地位——这也符合正常预期因为我的训练集晴天白天样本比较多。针对夜间样本占比偏多的场景可以针对性地提升红外信号在训练集合中的比例而不是直接修改融合权重。因为网络学到的权重分布是数据驱动的真实场景中红外信息更有用的样本多了它自然会把权重调整过去。如果数据集本身就是白天为主权重倾斜属于正常现象不用刻意干预。4.6 工程化落地时的性能瓶颈最后聊一下部署相关的实践体会。MJRNet在训练阶段没有问题但到了推理阶段跨模态注意力矩阵的计算在某些部署环境上会成为瓶颈。为了解决这个问题我通过TensorRT加速部署同时把注意力部分做了算子融合最终推理速度提升到了与原始YOLOv8接近的水平。如果部署环境不支持自定义算子融合还有一个兜底办法把MJRNet的特征提取头部分做蒸馏。用训练好的完整模型作为教师网络用一个更轻量的联合表征模块作为学生网络蒸馏后精度损失可以控制在1个点以内。结语把MJRNet从论文复现到项目落地整个过程走下来我对“多模态联合表征”这个概念有了更切实的理解。它不是把两路特征简单拼起来那么简单关键在于设计合理的跨模态信息交互机制让网络自己学会根据场景动态调整对两路信息的信任程度。早期深度融合的思路尤其值得重视它避免了信息在深层网络中传递损耗后再融合的尴尬局面。我在这个项目里最有价值的体会是多模态改进方案真正难的不是网络结构设计而是数据层面的大量准备工作。两路数据的配准、归一化、配对校验这些工作看起来不起眼却直接决定了模型效果的上限。很多论文复现效果不佳问题往往不在模型本身而在数据准备环节做得不够扎实。最后分享一个小技巧无论你用的是MJRNet还是其他多模态融合模块在开始正式训练之前先用一小批数据过一遍过拟合测试。如果连训练集都拟合不了说明网络结构有bug如果能拟合再逐步增加数据量和训练轮次。这个方法帮我快速排除了很多低级错误也希望大家少走弯路。