简介这份资源面向计算机视觉方向的毕业设计学生与多模态检测入门者围绕YOLOv11展开红外与可见光图像联合识别的完整项目实践可用于安防监控、智能交通、无人驾驶及夜间低光场景下的目标检测研究。压缩包共684个文件约7.35MB以355个md文档、160个Python脚本、91个yaml配置为主辅以yml、xml、ipynb、sh、cpp、h及多种Dockerfile覆盖模型训练、推理部署与容器化运行等环节。项目重点在于多模态数据融合将RGB图像与IR图像特征结合提升低光、烟雾、夜间等复杂环境下的检测鲁棒性并给出与传统单模态模型的性能对比思路。读者可据此获得从数据准备、模型配置到训练评估的完整方案理解多模态输入改造YOLOv11的关键代码组织方式并借助现成脚本与配置快速复现实验、迁移到自有数据集。目前已有1472人学习关注适合作为毕设选题或改进YOLOv11代码的参考起点。1. 从一次翻车说起为什么RGB单模态在夜间场景下总差一口气去年帮一个做安防方向的朋友看他的检测模型白天mAP能到0.85一到夜间红外图像上直接掉到0.5出头。他以为是数据不够扩了两万张标注结果提升不到两个点。问题根本不在数据量而在于可见光图像在低照度下丢失了纹理和颜色信息模型再强也变不出物理上不存在的东西。这个项目要解决的正是这类场景——把红外IR图像和RGB图像同时喂给YOLO11让两个模态互补白天靠RGB的纹理细节夜间靠IR的热辐射信息。这个项目适合谁做毕业设计需要多模态检测方向的同学、想把单模态检测器升级成双流输入的开发者、以及手头有配准好的RGB-IR数据集想快速验证效果的人。代码基于YOLO11官方实现改造保留了完整的训练和推理链路不是那种只跑通一个demo就扔的玩具工程。2. 项目架构拆解双流骨干怎么接、特征在哪一层融合2.1 整体数据流与模块划分这个项目的核心改动集中在三个地方数据加载层要同时读取RGB和IR两路图像并保证空间对齐骨干网络要支持双流输入颈部网络要设计融合策略。其余部分——损失函数、标签分配、后处理——基本沿用YOLO11原生实现这也是它好上手的原因不需要从零理解一套新框架。数据流大致是这样的一个batch里每个样本包含一对图像RGB 3通道 IR 1通道或3通道分别经过各自的骨干分支提取多尺度特征然后在指定层级做融合融合后的特征送入统一的颈部网络和检测头。训练时两路分支的梯度都会回传推理时也要求同时输入两张图。常见做法是把IR图像复制成3通道这样可以直接复用YOLO11预训练的RGB权重做初始化虽然不完全匹配但比随机初始化收敛快得多。我一般会在配置文件里留一个开关方便切换1通道和3通道模式。2.2 目录结构一览拿到源码后先别急着跑花五分钟把目录结构看清楚后面改代码时能省很多时间。典型的结构如下yolo11-multimodal/ ├── ultralytics/ │ ├── cfg/ │ │ ├── models/ │ │ │ └── yolo11-multimodal.yaml # 双流模型结构定义 │ │ └── datasets/ │ │ └── rgbir-dataset.yaml # 数据集配置 │ ├── data/ │ │ ├── dataset.py # 多模态Dataset类 │ │ └── build.py # DataLoader构建 │ ├── nn/ │ │ ├── modules/ │ │ │ └── fusion.py # 融合模块实现 │ │ └── tasks.py # 模型前向逻辑 │ └── engine/ │ └── trainer.py # 训练循环 ├── train.py # 训练入口 ├── val.py # 验证入口 ├── detect.py # 推理入口 └── data/ ├── images_rgb/ # RGB图像 ├── images_ir/ # IR图像 └── labels/ # 标注文件关键文件是yolo11-multimodal.yaml和fusion.py前者定义网络拓扑后者决定融合方式。数据集配置里需要额外指定IR图像的路径这是和单模态项目最大的区别。2.3 双流骨干的接入方式YOLO11的骨干是CSPDarknet结构改造时最直接的做法是复制一份骨干作为IR分支然后在每个stage的输出处做融合。但这样参数量几乎翻倍显存吃紧。更务实的方案是IR分支用更轻量的结构比如只保留前三个阶段深层特征直接复用RGB分支的。# ultralytics/nn/modules/fusion.py import torch import torch.nn as nn class ConcatFusion(nn.Module): 通道拼接融合将RGB和IR特征在通道维度拼接后降维 def __init__(self, c1, c2, out_channels): super().__init__() # c1: RGB分支通道数, c2: IR分支通道数 self.conv nn.Conv2d(c1 c2, out_channels, 1, 1, 0) self.bn nn.BatchNorm2d(out_channels) self.act nn.SiLU() def forward(self, x_rgb, x_ir): # 确保空间尺寸一致不一致时对IR做下采样 if x_rgb.shape[2:] ! x_ir.shape[2:]: x_ir nn.functional.interpolate( x_ir, sizex_rgb.shape[2:], modenearest) x torch.cat([x_rgb, x_ir], dim1) return self.act(self.bn(self.conv(x)))这段代码实现的是最基础的拼接融合。c1和c2分别是两路特征的通道数out_channels是融合后的目标通道数一般设成和RGB分支一致这样后续颈部网络不用改。interpolate那一步是保险措施实际配准好的数据集不会触发。拼接后接1x1卷积做降维参数量很小但效果稳定适合作为baseline先跑通。如果想进一步提升可以换成注意力融合——用RGB特征生成通道注意力权重去加权IR特征或者反过来。但建议先把拼接融合跑通再折腾不然出了问题很难定位是融合模块的锅还是数据的问题。2.4 数据集配置与加载多模态数据集的组织方式和单模态最大的区别在于图像路径要成对出现。标注文件只需要一份因为两张图的空间是对齐的目标位置相同。# ultralytics/cfg/datasets/rgbir-dataset.yaml path: ./data train: rgb: images_rgb/train ir: images_ir/train val: rgb: images_rgb/val ir: images_ir/val names: 0: person 1: vehicle 2: bicycle对应的Dataset类需要在__getitem__里同时加载两张图并做相同的几何变换翻转、缩放、裁剪否则空间对齐就破坏了。颜色变换只能作用于RGB图像IR图像不做色彩抖动。# ultralytics/data/dataset.py 关键片段 class MultiModalDataset(Dataset): def __getitem__(self, index): # 读取RGB和IR图像 rgb_path self.rgb_files[index] ir_path self.ir_files[index] img_rgb cv2.imread(rgb_path) # BGR img_ir cv2.imread(ir_path, cv2.IMREAD_GRAYSCALE) # 同步几何增强 if self.augment: img_rgb, img_ir, labels self.mosaic_augment( img_rgb, img_ir, labels) # RGB做颜色增强IR不做 img_rgb self.color_augment(img_rgb) # 转tensor并归一化 img_rgb torch.from_numpy(img_rgb).permute(2,0,1).float() / 255.0 img_ir torch.from_numpy(img_ir).unsqueeze(0).float() / 255.0 return img_rgb, img_ir, labels注意mosaic_augment必须同时接收两张图并施加相同的变换参数这是最容易翻车的地方。我见过有人分别对两张图做随机增强结果训练时loss震荡得厉害排查了半天才发现是增强不同步导致目标位置对不上。3. 环境搭建与训练全流程从零跑通第一个epoch3.1 环境依赖与安装这个项目对环境的依赖和YOLO11官方基本一致额外需要确保OpenCV能正常读取灰度图。推荐用conda建一个干净环境避免和系统里的包冲突。conda create -n yolo11mm python3.10 -y conda activate yolo11mm # 安装PyTorch根据CUDA版本选择对应命令 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 # 安装项目依赖 pip install -r requirements.txt # requirements.txt 核心内容 # opencv-python4.8.0 # numpy1.24.0 # pyyaml6.0 # tqdm4.65.0 # matplotlib3.7.0安装完成后跑一句python -c import torch; print(torch.cuda.is_available())确认GPU可用。如果返回False先检查CUDA版本和PyTorch是否匹配别急着往下走不然后面训练慢到怀疑人生。3.2 数据准备与格式转换假设你手头有配准好的RGB-IR数据集标注是VOC XML格式需要先转成YOLO的txt格式。转换脚本的核心逻辑是读XML里的bbox坐标归一化到0-1之间按类别索引写入txt。# tools/voc2yolo.py import xml.etree.ElementTree as ET import os def convert_annotation(xml_path, output_path, class_names): tree ET.parse(xml_path) root tree.getroot() size root.find(size) w int(size.find(width).text) h int(size.find(height).text) with open(output_path, w) as f: for obj in root.iter(object): cls_name obj.find(name).text if cls_name not in class_names: continue cls_id class_names.index(cls_name) bbox obj.find(bndbox) x1 float(bbox.find(xmin).text) y1 float(bbox.find(ymin).text) x2 float(bbox.find(xmax).text) y2 float(bbox.find(ymax).text) # 归一化并转为中心点宽高格式 cx (x1 x2) / 2.0 / w cy (y1 y2) / 2.0 / h bw (x2 - x1) / w bh (y2 - y1) / h f.write(f{cls_id} {cx:.6f} {cy:.6f} {bw:.6f} {bh:.6f}\n)转换完检查一下每张图对应的txt文件是否存在、类别索引是否和yaml里的names对应、坐标是否都在0-1范围内。这三个问题任何一个出问题训练时要么报错要么loss不降。3.3 训练命令与参数解读训练入口和YOLO11官方用法几乎一样只是模型配置指向多模态的yaml。python train.py \ --cfg ultralytics/cfg/models/yolo11-multimodal.yaml \ --data ultralytics/cfg/datasets/rgbir-dataset.yaml \ --epochs 100 \ --batch-size 8 \ --imgsz 640 \ --lr0 0.01 \ --device 0 \ --workers 4 \ --project runs/multimodal \ --name exp1几个关键参数需要根据实际情况调整。batch-size受显存限制双流模型比单流多占约40%显存8GB卡建议从4开始试。lr0初始学习率如果从预训练权重加载可以设0.01从头训练建议降到0.001。imgsz输入尺寸640是标配但如果IR图像分辨率本身很低强行放大到640反而引入噪声可以试试416或512。训练过程中重点关注三个指标box_loss是否稳定下降、mAP50在第几个epoch开始明显上升、两路分支的梯度范数是否量级相当。如果IR分支的梯度远小于RGB分支说明融合模块没有有效传递监督信号需要检查融合位置是否太靠后。3.4 推理与可视化验证训练完拿验证集跑一遍推理确认模型确实用上了两路输入。一个简单的验证方法是固定RGB图像不变把IR图像替换成全黑或随机噪声看检测结果是否明显变差。如果几乎没变化说明模型根本没学到IR分支的信息。# detect.py 核心推理逻辑 import torch from ultralytics.nn.tasks import MultiModalModel model MultiModalModel(runs/multimodal/exp1/weights/best.pt) model.eval() img_rgb preprocess(test_rgb.jpg) # 1x3x640x640 img_ir preprocess_ir(test_ir.jpg) # 1x1x640x640 with torch.no_grad(): preds model(img_rgb, img_ir) # preds格式: [x1,y1,x2,y2,conf,cls_id] for det in preds[0]: if det[4] 0.5: print(f类别{int(det[5])} 置信度{det[4]:.3f} f位置({det[0]:.0f},{det[1]:.0f},{det[2]:.0f},{det[3]:.0f}))可视化时建议把RGB、IR、检测框画在一起直观感受两路信息各自贡献了什么。夜间场景下经常能看到IR分支把RGB漏掉的人体重新检出来这就是多模态的价值所在。4. 避坑与常见问题排查那些让我熬夜的报错4.1 显存溢出但batch-size已经调到1现象是训练启动后几秒内报CUDA out of memory即使batch-size设为1。原因通常是模型初始化时两路分支同时加载了预训练权重中间特征图占用叠加。解决办法是把IR分支的输入分辨率降一档或者在融合前对IR特征做通道压缩。另一个容易忽略的点是workers设太大导致每个worker都缓存了一份数据设成2-4就够了。4.2 训练loss正常但mAP始终为0标注格式没问题、数据路径也对但验证时mAP一直是0。这种情况八成是类别索引错位——yaml里的names顺序和txt文件里的类别id不一致。比如yaml里0是person但转换脚本里把vehicle排在了前面。排查方法很简单随便找一张训练图用脚本把标注框画出来看框住的物体和类别名是否对应。4.3 IR分支梯度消失导致融合失效训练日志里IR分支的梯度范数比RGB分支小两个数量级融合模块的输出几乎等于RGB特征。原因是IR分支从随机初始化开始浅层特征质量差梯度回传时被融合模块的卷积层衰减了。解决方式有两种一是给IR分支单独设更大的学习率二是先用单模态IR数据预训练IR分支再联合训练。我一般用第一种改起来快。4.4 推理时忘记传IR图像导致报错用训练好的模型做推理时只传了RGB图像报参数数量不匹配。这是接口设计问题——多模态模型的前向必须接收两个输入。建议在detect.py里加一个断言检查IR图像是否为空报错信息写清楚多模态模型需要同时提供RGB和IR图像比让用户去看底层shape错误友好得多。4.5 数据增强不同步导致目标框偏移前面提过但值得再强调mosaic和mixup必须对两路图像施加完全相同的变换参数。常见错误是分别调用两次增强函数随机种子不同导致几何变换不一致。正确做法是把两张图拼成4通道或6通道一起送入增强函数出来再拆开。这个坑我踩过两次每次都是训练到一半发现mAP异常才回头查。5. 二次开发方向换融合模块、换骨干、换模态5.1 替换融合策略的实操步骤拼接融合跑通之后最自然的改造方向是换更强的融合模块。以注意力融合为例核心思路是用RGB特征生成通道权重去加权IR特征让网络自己决定哪些通道的信息更可信。class AttentionFusion(nn.Module): 通道注意力融合RGB特征指导IR特征加权 def __init__(self, c1, c2, out_channels): super().__init__() self.global_pool nn.AdaptiveAvgPool2d(1) # 用RGB的全局信息生成IR各通道的权重 self.fc nn.Sequential( nn.Linear(c1, c1 // 4), nn.ReLU(), nn.Linear(c1 // 4, c2), nn.Sigmoid() ) self.conv nn.Conv2d(c1 c2, out_channels, 1) def forward(self, x_rgb, x_ir): b, c, _, _ x_rgb.shape # 生成IR通道权重 weight self.global_pool(x_rgb).view(b, c) weight self.fc(weight).view(b, -1, 1, 1) # 加权IR特征 x_ir_weighted x_ir * weight # 拼接后融合 x torch.cat([x_rgb, x_ir_weighted], dim1) return self.conv(x)替换时只需要改yaml里对应层的类型名和参数不用动其他代码。但要注意新模块的输入输出通道数必须和上下游匹配改完先跑一个batch的前向确认shape正确再启动完整训练。5.2 换骨干网络的注意事项如果想换更轻量的骨干比如MobileNetV3或者更强的骨干比如Swin Transformer需要同步修改yaml里的通道配置和融合模块的输入维度。换骨干后预训练权重不能直接用了要么从头训练要么只加载RGB分支的权重、IR分支随机初始化。从头训练需要更多epoch和更精细的学习率调度建议先用小分辨率快速验证结构是否work再放大训练。5.3 扩展到更多模态的思路这个框架不限于RGBIR理论上可以扩展到RGB深度图、RGB激光雷达投影图等。核心改动在于Dataset类要支持读取第三种数据以及融合模块要处理三路输入。最简单的做法是把三路特征两两融合后再拼接但参数量会进一步增加。更优雅的方案是设计一个通用的多输入融合层用可学习的权重动态调整各模态的贡献。改造验证有个小技巧每次只改一个变量改完跑10个epoch看验证集mAP。如果比baseline低超过2个点先回退再排查。我习惯在改代码前用git打一个tag这样翻车了能秒回。从那以后我每次动融合模块之前都会先用一个极小的子集跑通前向和反向确认没有shape错误和梯度异常再上全量数据。希望帮到你。本文还有配套的精品资源点击获取