无人机拍回来的素材第一眼看上去很好看高楼、道路、车流清清楚楚。但当你把素材喂给一个在COCO上预训练好的Mask R-CNN检测模型时输出结果可能会让你怀疑人生一排停在路边的车只检出来两三辆行人在俯视图里糊成一团阴影偶尔还有把卡车顶棚认成公交车的离谱误检。这不是模型不行而是我们拿着“平视自然图像”训练出来的权重硬套在“俯视航拍场景”上中间缺了一整套适配工作。这篇内容围绕mask-rcnn_hrnetv2p-w18-2x_coco这个模型组合展开聊的是我在模拟项目X里用它做无人机城市环境车辆与行人检测时踩过的坑、调过的参数以及最终沉淀下来的可靠做法。不是纯理论也不是读文档复述而是把“模型能跑”到“场景能稳”这条路完整拆开。如果你手头正在做航拍目标检测或者要把某个COCO预训练分割模型迁移到垂直视角这篇应该能帮你省下两到三周的摸索时间。1. 为什么是Mask R-CNN HRNetV2p-W18-2x这个组合1.1 无人机视角带来的“反常规”挑战先放下模型想想无人机拍到的画面和普通行车记录仪、监控摄像头有什么本质区别。无人机在城市环境里做目标检测最常见的姿态是俯拍镜头光轴与地面接近垂直车辆呈现的是车顶视图而不是车侧视图行人则往往只是一个头顶轮廓加肩膀特征信息比平视视角少很多。更麻烦的是尺度跨度。同一张4000x3000像素的航拍图里近处的车可能有四五百像素长远处的车只有二三十像素行人更夸张十几像素的情况很常见。这个尺度跨度对检测器的锚框设计、特征金字塔的层级选择都是直接考验。还有遮挡和阴影问题。城市里树木、立交桥、建筑阴影都会挡住目标俯视视角下阴影的方向和长度随太阳高度角变化模型很难靠“阴影形状”来辅助判断。加上无人机本身在运动曝光和白平衡在快速变化这些叠加起来比常规安防摄像头场景要棘手得多。1.2 HRNet骨干在小目标上的优势mask-rcnn_hrnetv2p-w18-2x_coco这个配置里骨干网络是HRNetV2p-W18-2x。HRNet和常见的ResNet系列最大的区别是ResNet是串行结构逐层下采样再上采样高分辨率信息在前几层之后就会被压缩而HRNet从第一个阶段开始就同时维护多个分辨率的特征流高分辨率分支全程在线不同分辨率之间反复交换信息。这对小目标很关键。无人机航拍里大量目标就在30像素以下ResNet50这种骨干在深层特征图上一个28x28的目标可能只剩不到7x7的响应区域细节早就丢了。HRNet的高分辨率分支能让小目标的空间细节保留到最后配合FPN的多尺度融合中小目标的召回率会有肉眼可见的提升。W18-2x的意思是基础通道宽度18通道数翻倍。相比更大的HRNetV2p-W32、W48W18-2x在精度和显存占用之间更均衡在常见的单卡环境里能把batch撑起来训练迭代速度更快。我前面用过更深的重骨干效果没提升多少显存倒是先吃紧了。1.3 Mask分支不是白给的Mask R-CNN的掩码分支在这个场景里不是装饰。车辆在俯视图里有明确的轮廓掩码可以用来做边界规整、密度统计和重叠判断行人虽然轮廓不规则但掩码能帮你把连在一起的群体分开。另外在训练阶段掩码分支会给骨干网络带来额外的监督信号让特征表达更偏向“形状敏感”方向这其实会反哺检测框的定位精度。我做过一个对照同一个数据集用不带Mask分支的Faster R-CNN同骨干配置训练对比mAP掉了约1.8个点但车辆检测框的稳定性差异更明显。加了掩码监督的模型框的边界更贴合车顶形状这对后续做车辆计数、跨帧匹配很有帮助。2. 环境、权重与第一轮推理先把模型跑起来2.1 环境配置清单与版本搭配这个模型组合跑起来对环境要求不算苛刻但也别随手装个CPU版就想往下走。我用的环境是Linux 一块中端显卡显存8GB起步推理时1024短边输入可以稳定在3到5帧每秒训练时batch size小一点也能跑。PyTorch版本建议保持1.8以上CUDA对应版本装好就行最怕的是装了老版本然后底层算子不支持FP16。权重这里用的是COCO预训练权重不需要从头训。第一次使用我建议先用官方给定配置跑推理脚本确认权重能正常加载、输出格式正确再动手改。COCO数据集的80个类别里当前场景最常见的是person、car、truck、bus有条件的话把bicycle、motorcycle也一起保留尤其是路口场景外卖骑手和快递三轮车占比不低。注意加载预训练权重时经常会遇到分类层和掩码头维度不匹配的报错。这是因为有些权重版本只保留检测头配置。处理方法很简单只看backbone和neck部分的键值忽略头部直接加载然后再重新初始化分类分支。2.2 一段可复用的推理代码框架下面这段是我在模拟项目X里实际用过的推理代码骨架做了简化处理去掉了具体配置读取细节。核心逻辑是读图、归一化、前向推理、解析预测结果。注意输入尺寸和颜色通道顺序千万别把BGR和RGB搞混。import cv2 import torch import numpy as np # 假设 net 已经是加载好权重的模型 # image: 读入的 BGR 图像shape(H, W, 3) def infer_one_image(net, image, score_thr0.3): h, w image.shape[:2] # 常见做法按短边缩放长边封顶 scale 1333 / min(h, w) if int(h * scale) 800 and int(w * scale) 800: scale min(800 / h, 800 / w) new_h, new_w int(h * scale), int(w * scale) img_resized cv2.resize(image, (new_w, new_h)) # 转 tensor、归一化注意这里按模型训练时的均值方差来 img_tensor torch.from_numpy(img_resized).permute(2, 0, 1).float() img_tensor (img_tensor / 255.0 - torch.tensor([0.485, 0.456, 0.406])) / torch.tensor([0.229, 0.224, 0.225]) img_tensor img_tensor.unsqueeze(0).cuda() with torch.no_grad(): result net(return_lossFalse, img[img_single], img_metas[meta]) # result 结构通常是 lists: [bboxes, masks]后面按常规逻辑解析 return result实际跑的时候我建议先用一张素材反复检验数据管线确认resize比例、归一化方式和元信息里的尺度字段没有对不上这是很多人第一个翻车点。元信息里的scale_factor如果没同步更新最后画框的位置全都会偏移。2.3 第一轮跑完应该看什么很多人拿到模型第一件事就是把置信度阈值调高看到满屏框觉得“效果不错”其实这是自欺欺人。我第一轮跑的时候直接把score_thr调成0.05让所有候选框都显示出来然后放大看模型的“真实能力”。这一步非常有用。你会发现即使阈值低到0.05模型对很多小目标根本不产生候选框这说明问题是“没召回”不是“误检”。只有搞清楚漏检分布后面的调参才有方向。建议在第一次跑完后记录三件事可检出目标的数量、误检集中在哪类目标、以及目标尺度都集中在什么范围。3. 无人机场景的推理参数调优3.1 置信度阈值密集场景下的取舍第一轮摸底之后进入参数调整阶段。置信度阈值是最直观的旋钮但在无人机场景里它非常敏感。平视场景中person类别置信度可能普遍在0.8以上俯视场景里小行人的置信度往往只有0.3到0.5如果按默认0.3去打大量小行人直接没了但如果调低到0.1误检又会大量增加。我用的是动态策略低空低速、目标尺度偏大时用0.4或0.5的阈值追求精准高空快速巡航时把阈值降到0.2甚至0.15宁可多一些误检交给后续跟踪算法去过滤也不让目标直接消失。帧与帧之间目标位置有连续性跟踪算法对误检的处理能力比对漏检的处理能力强得多。3.2 NMS参数与类别合并策略Mask R-CNN每个类别是独立走NMS的这在常规场景没问题但在航拍里有个真实痛点一辆大型厢式货车模型同时给出car和truck两个类别的高置信度框虽然被类别隔离但视觉上这是一个目标对计数和融合很不利。我的处理方式是在后处理阶段先做类别合并把car、truck、bus统一映射成vehicle再做跨类别的加权NMS。合并之后一个大目标只会保留一条框和一张掩码密集路口的车辆总数统计更干净。行人类别保持独立不参与合并。原始类别合并后类别说明personperson保持不变carvehicle所有机动车归并truckvehicle包括各类货车busvehicle公交车和大巴bicycle, motorcyclerider_vehicle视场景需求可选合并代码层面合并逻辑不复杂在获取检测结果后先替换类别标签然后按最大IoU阈值做跨类别抑制。注意车主和行人密集区域IoU阈值不要设太高我一般用0.5低于这个会把两个真正相邻的目标误杀。3.3 输入尺寸、多尺度测试与锚框的关系输入尺寸和锚框设计是很多人忽略、但对航拍影响巨大的参数。模型训练时锚框基准是COCO平视图像的中大目标在无人机俯视下小目标比例大幅上升如果不做任何处理全部小目标都落在小锚框范围之外模型再强也召不回。我试过两条路线第一条是整图缩放把短边从默认的800提升到1280图像信息保真度高了但显存占用升得很快推理速度明显下降第二条是切片推理把大图切成有重叠的patch分别送进网络再合并结果。切片方案在超高分辨率航拍图里更实用代价是逻辑复杂一些。多尺度测试也是提升小目标召回的有效手段。同一张图缩放到0.8、1.0、1.25三个尺度分别推理把结果合并。实测下来小目标召回能提升约6到8个点但推理时间也变成原来的3倍。无人机航拍素材量大视频序列非常长我现在的做法是单帧不加TTA保速度在关键帧和高价值图位上采用多尺度测试把资源花在刀刃上。提醒如果你决定切片推理patch的重叠区域至少留10%否则拼接处连续目标会被切断导致漏检或重复输出。重叠区域里的重复检测建议做二次NMS合并。3.4 微调时的数据增强清单参数调到一定程度后想再进一步就得微调模型而不是继续改推理参数。微调阶段我用的增强组合和常规COCO训练不完全一样随机亮度、随机对比度、随机水平翻转必须开随机垂直翻转看情况开因为俯视图像存在旋转对称性但城市街道的朝向仍有方向性全翻转可能过头。随机裁剪要非常克制。航拍素材里目标密集随机裁剪很容易把某个目标切成不完整形状反而教会模型识别“半辆车”。我更倾向于用尺度抖动scale jitter把图像缩放在0.8到1.25之间随机变化模拟不同飞行高度带来的目标尺度差异这个增强对航拍场景效果非常显著。4. 建立航拍评测集用失效案例驱动迭代4.1 评测集按“高度、光照、密度”分组调参和微调都不能靠单张图感觉。我建了一个航拍评测集尺寸不大但讲究“分层”。第一层按飞行高度分为低空目标尺度大、中空常规、高空小目标为主三组第二层按光照分为正午强光、早晚侧光、阴天三种第三层按目标密度分为稀疏街道、普通干道、拥堵路口。这三组交叉后至少覆盖9到12种场景组合每类至少选二三十张代表性图像。评估指标上除了mAP我重点看两个Recall0.5也就是IoU阈值0.5下的召回率反映“该捡的是否捡起来了”F1 Score反映漏检和误检的平衡。无人机航拍场景中mAP容易出现“全类别平均好看、单个类别很差”的假象分组看类别独立的recall才靠谱。4.2 我遇到的三个典型“翻车”场景第一类是树荫下的行人。城市道路两侧树冠投影很重行人几乎一半身体被阴影吞没。模型在明亮的背景上能检出但同样的行人一旦落入阴影区域置信度直接从0.6掉到0.2以下边框也跟着抖动。这本质上是训练数据里“阴影行人”样本太少。第二类是白色车与浅色路面“撞色”。白色车身、浅灰色路面在航拍图里灰度接近边缘对比度极低模型的定位分支容易把框往外扩一大圈置信度倒是没掉但框和掩码都不贴边。这类情况单靠提高NMS、调整阈值解决不了必须从特征层面补数据。第三类是高密度路口车辆相互重叠。拥堵路口相邻车辆间距只有几个像素模型容易把两辆车框成一个。切片方案会放大这个问题因为切图边缘更容易出现半截车身。遇到这种画面我会在后处理里增加一层掩码交并比检测如果两个框的IoU超过0.7同时对应掩码的并集区域形状接近长方形就认为是重叠车辆互压需要重新分配。4.3 针对失效案例的三条可行路径路径一对训练数据做定向增广。针对阴影场景我用随机亮度扰动局部阴影合成模拟树木遮挡针对“撞色”车辆用轻微高斯噪声和灰度抖动提高模型对弱边缘目标的敏感度。路径二类别不均衡重采样。无人机场景里车辆数量远大于行人训练时默认按原分布梯度更新行人贡献被稀释我就给行人样本提高采样权重让每个epoch里行人和车辆样本比例接近1:1.路径三迁移学习里的分阶段解冻。我先冻结backbone只训练检测头跑几千个迭代让模型先适应“俯视下的框/掩码形状”然后解冻HRNet的高分辨率分支用较小的学习率微调。这样比直接全量微调稳定很多更容易在测试集上保住之前COCO预训练学到的通用特征。5. 部署现实边缘算力、帧率与连续跟踪的取舍5.1 算一笔帧率账训练阶段跑得动模型不代表部署端能用。一张8GB显存的显卡跑推理时短边800输入大约3到5帧每秒看着还行但无人机航拍要求至少15帧每秒才有工程价值如果还要连续分析一个小时的视频素材这个速度完全不够。问题很大程度出在掩码分支上。检测分支只需输出框坐标掩码分支需要逐像素预测解码阶段还涉及大小不等的mask上采样计算量比框预测高了近两倍。在航拍任务里如果只关心车辆/行人的位置和数量可以只在需要精细轮廓的关键帧上启用完整Mask R-CNN普通帧用只保留检测分支的简化版本。这种双模式方案实测帧率从4帧提到了10帧以上轮廓信息没有完全丢失。5.2 轻量化手段量化与裁剪的现实代价把模型部署到边缘计算设备上绕不开INT8量化。这个模型组合量化后模型体积缩小到原来的四分之一左右推理延迟明显下降但代价也很直接小目标的召回率普遍再掉5个点左右尤其是行人这种本身就缺纹理的目标量化之后特征图噪声变大检测难度陡增。我实际使用中采用的折中方案是检测分支全精度掩码分支做INT8量化因为掩码分支输出的轮廓精度在量化后依然可接受。还把HRNet的宽度从2x降到1x单独跑了一版精简权重精度掉了不到2个点但延迟降了40%。如果你的边缘设备算力吃紧这条路可以优先考虑。5.3 从单帧检测到连续跟踪的衔接无人机视频本质是连续帧序列单帧检测只能解决“图像里有什么”解决不了“这个目标去哪了”。我在模拟项目X里做了两层跟踪结构第一层用检测框做IoU轨迹关联帧间IoU超过0.3就认为是同一目标第二层用Mask分支输出的外观特征作为补充当IoU关联失败比如目标被短暂遮挡时靠外观相似度找回同一目标。这个方案比直接在检测结果上跑卡尔曼滤波要稳一些因为掩码带来的外观特征能减少遮挡导致的ID切换。代价是每个目标要额外存一个特征向量内存占用增加不多但工程实现复杂度上升明显。如果是刚开始做我建议先只做简单的IoU跟踪把单帧检测的精度提上去之后再考虑加特征关联否则两级系统的错误会互相传导排查起来很痛苦。说到最后分享一点个人体会mask-rcnn_hrnetv2p-w18-2x_coco这个配置不是一个开箱即用的无人机检测方案而是一个“底子很好但需要认真调教”的起点。在COCO预训练模型之上做无人机视角迁移最核心的不是追求更大的模型、更高的理论精度而是先把评测集建好、把阈值和NMS策略研究透、把失效案例一个一个闭环掉。这一步一旦打通后续无论是换更强的骨干、加新的类别、还是部署到嵌入式设备都会顺畅很多。我踩过的这些坑如果你能绕开应该能比我的进度快不少。