前阵子接了个无人机巡检项目传回来的航拍画面要实时检测地面车辆和违规建筑。当时我拿着目标检测那套常规思路直接套预训练权重、通用数据集、微调三板斧上完效果却差得离谱。排查到最后才发现问题根源不在模型而在数据无人机航拍数据集和普通自然图像数据集尺度分布、视角、密集程度完全是两套逻辑。这篇文章是我对无人机航拍目标检测数据集做的一次系统总结从公开数据集拆解、选型思路、标注增强到实际训练中的坑一并整理出来。如果你是做无人机巡检、低空安防或者遥感解译的这篇应该能帮你省掉不少试错时间。先说结论如果你要做的任务是无人机视角下的目标检测务必使用无人机、航拍或遥感数据来训练或者至少用来做大规模预训练这一点没有例外。1. 无人机视角下的目标检测为什么和普通场景根本不是一个玩法1.1 从一次翻车实验说起通用预训练权重为什么在航拍图上失灵当时我刚启动项目时图快直接用自然图像通用数据集预训练的检测权重在自己采集的航拍画面上跑了一轮推理。结果非常奇怪模型倾向于把整片地面、整栋厂房识别成“人”或者“car”而且只在画面中央给出几个巨大而错乱的框。原因其实不复杂。通用自然图像数据集的拍摄视角以平视和斜视为主目标占画面的比例通常有20%以上一张图里就那么三五个大目标无人机航拍则完全不同目标在画面里常常只有几十个像素而且可能四五十个目标挤在一起。域差异大到模型层面能明显感知所以通用权重压根没“见过”这种高度视角下的目标特征。后来我换成无人机公开数据集重新做预训练效果立刻不一样。这个教训让我意识到在无人机的检测任务里数据分布决定模型表现的上下限模型结构只是在这个范围内帮你把分数顶高一点。1.2 无人机画面的四个“反常规”特性用通用检测的经验去理解无人机画面处处都是反常规的。我把这几点归纳成四个字小、密、变、扰。小目标尺度小。以常见的300米巡航高度为例一辆普通轿车在全高清画面里只占几十个像素而模型下采样32倍之后特征图上可能只剩一两个像素检测头很难把它捞回来。密目标排列密集。停车场、匝道、人流密集区几十上百个目标挨在一起。普通目标检测里稀疏大目标的先验完全不适用NMS后处理时很容易把挨得近的两个目标吞掉一个。变视角变化剧烈。同一类目标在不同航点可能呈现完全不同的姿态正下方看是车顶斜着看是车侧而且目标朝向任意水平框很难严谨描述。扰环境干扰多。阴影、树冠遮挡、玻璃反光、运动模糊加上航拍图分辨率高但每个目标有效像素少很多干扰会被误检成目标。一旦认识到这四点后面的数据选择和技术决策其实就顺了你要么找到符合这四点分布的数据集要么自己标注反正不能拿通用数据硬套。2. 主流航拍/遥感数据集逐个拆解规模、场景与标注差异公开数据集我前前后后用过不少下面按用途把几类最常被引用的整理出来。为了方便反复引用这里用A、B、C、D、E、F作为代号重点看它们各自的场景、标注形式和适用任务。2.1 A数据集无人机视角多类检测的主力A数据集是目前无人机视角下覆盖最均衡的多类检测基准之一。它包含一万张出头的静态图像以及配套的视频序列类别大概有十类覆盖行人、自行车、汽车、卡车、三轮车、遮阳伞等常见地面目标。标注采用水平框所有图像来自无人机悬停或巡航拍摄高度分布有层次既包括低空近距离目标也包括中高空的小目标。这个数据集非常适合做车辆和行人联合检测的底座尤其当你的业务场景是城市低空安防、交通巡查这类任务时它提供的视角和尺度分布跟真实场景很接近。缺点是不同类别之间的数量极不均衡行人多到爆炸遮阳伞这类类别又很少训练时要做好重采样或类别平衡。2.2 B数据集无人机单目标跟踪的标配如果你的任务不是检测而是跟踪B数据集是绕不开的。它由几百段无人机拍摄的视频序列构成目标以车辆和行人为主每段视频都标出了目标的跟踪框同时可以用于验证检测加跟踪的整体链路。视频里包含不同飞行高度、不同相机朝向和不同的目标运动状态对跟踪算法的鲁棒性要求很高。B数据集在跟踪任务上的评价一般是精度和成功率曲线而不是检测任务的mAP。很多做无人机跟踪的朋友会用A数据集做检测训练然后用B数据集的序列做跟踪评估这样两个环节的分布不会差得太远。2.3 C数据集旋转框检测的“硬骨头”C数据集是大规模航空图像检测基准和前面几个无人机数据集最大的区别在于它包含旋转框标注而且图像来源非常多样很多是高空遥感视角。类别大约有十五到二十类涵盖各种车辆、船只、存储罐、立交桥、球场等单张图里目标数量非常多尺度差异也大。旋转框是它最有价值的地方。无人机画面里目标朝向任意水平框往往把背景也框进去检测精度在计算IoU时会被狠狠扣分。用C数据集可以训练旋转目标检测模型输出带角度的包围框在实测里对密集排列目标的区分度明显更好。代价是标注和训练都更麻烦模型结构也要改成带角度回归的解码头。2.4 D数据集和E数据集偏遥感视角的大规模多类数据D数据集是覆盖地域很广的卫星视角目标检测数据集类别有六十多种实例数非常庞大关注的多是细粒度的目标类型。它的特点是地理跨度大不同地区建筑风格、植被环境差异明显模型在这个数据上训练后能学到比较稳定的语义特征但因为都是卫星正射视角和低空无人机视角还是有差别。E数据集的图像规模在遥感领域也比较突出图像数约两万张涵盖二十个类别实例数超过十几万。类别以飞机、港口、球场、桥梁、车辆等为主标注是水平框图像分辨率较高适合做多类目标的识别底座。这两个数据集我一般当作域适应的补充数据使用和无人机采集数据进行混合训练能明显提升模型在陌生地域的泛化能力但单独拿来训无人机视角模型会有视角错位的问题。2.5 F数据集专门针对小目标检测的遥感基准F数据集的整体规模不算大图像数几千张类别也只有少量几类但特别之处在于绝大多数目标都是小目标很多边框只有十几个像素宽。它是用来验证小目标检测能力的好工具尤其是“切图后能不能把这些小目标从背景中捞出来”这类问题拿它一测就能暴露模型的真实水平。一般来说我会把F数据集当作benchmark来用先在自己训练的模型上评估小目标AP再和公开榜上的参考做法对比就能判断还需要在数据增强和训练策略上补多少工作。2.6 数据集一次性横向对比数据集代称目标规模类别数标注形式典型用途A上万张图约10类水平框车辆/行人检测底座B几百段视频约10类跟踪框检测跟踪评测C大规模航空图15~20类旋转框水平框旋转目标检测D数十万实例60类水平框多类遥感解译E约2万张图20类水平框遥感多类识别F几千张图少量类水平框小目标检测benchmark3. 选数据集不是挑精度榜第一任务匹配才是关键3.1 先对齐部署场景再看mAP数字每次有人问“哪个数据集好”的时候我通常都会反问一句你的无人机飞多高、镜头朝下还是斜朝下、拍的是城市还是野外、目标是车辆还是别的因为不同数据集的成像条件差异太大了精度榜上的排名根本代表不了你的真实场景。拿飞行高度来说低空三十米以内拍到的车跟一百五十米高空拍到的车目标尺寸可能差好几倍。如果你的业务以低空为主却用一个以高空小目标为主的数据集做训练模型很可能对小目标过拟合遇到稍大一点的目标反而不敏感。反过来你会整天纠缠在漏检率上面。3.2 类别映射把公开数据集的类别揉进自己的业务公开数据集的类别体系基本不会和你的业务完全一致常见的做法是做类别映射。比如你的业务只需要“车辆”这个大类就可以把car、truck、bus、van等多个类别合并成vehicle而不是让模型去区分细分类别。合并操作要在标注层面做最好在训练前生成新的标注文件不要偷懒在数据读取管线里实时改否则后期检查数据时容易出问题。还要注意类别合并后某些在原数据集中彼此很相似的类别合并后容易出现同一个目标标两次的情况比如同一辆车被标成car又被标成van这时候需要做去重处理否则训练样本会产生大量重复梯度。3.3 用目标像素分布验证数据集是否匹配选数据集之前我建议先写个小脚本统计一下标注框的像素面积分布这一步十分钟就能做完但价值非常大。具体做法是读取训练集的标注框算出每个框的宽和高然后统计宽度小于32像素、32到96像素、大于96像素这三种尺度的目标数量占比。代码很简单类似这样import json def analyze_box_sizes(annotation_file): with open(annotation_file, r) as f: data json.load(f) small, medium, large 0, 0, 0 for item in data[annotations]: w item[bbox][2] h item[bbox][3] if w 32 and h 32: small 1 elif w 96 and h 96: medium 1 else: large 1 total small medium large print(f小目标占比: {small / total:.2%}) print(f中目标占比: {medium / total:.2%}) print(f大目标占比: {large / total:.2%})拿到分布之后对比你的部署场景估计。如果你的业务目标大多数是二十到四十像素但候选数据集的绝大多数目标都超过九十六像素那这个数据集的参考价值就很有限了。同理你也可以顺带统计每张图的平均目标数看看密集程度匹不匹配。3.4 评估指标要看按尺度分组的AP而不是只看整体mAP通用检测评估协议里有按尺度分组的小目标AP、中目标AP和大目标AP。无人机航拍检测里小目标AP几乎决定了你的模型在真实场景里好不好用因为大多数目标都是小目标。我见过不少项目汇报的时候说mAP到了多少多少但一问小目标AP只有个位数这种模型部署出去基本就是碰运气。所以无论是选数据集还是跑实验我建议固定记录小目标AP和中目标AP不要只盯mAP。如果小目标AP明显落后优先去查数据增强和输入分辨率而不是动模型结构这一步判断能帮你省下大把调参时间。4. 小目标与密集场景无人机数据的标注规范和增强策略4.1 标注规范里容易被忽略的几个细节自己标注无人机数据时最容易踩的就是标准不统一。同一个模糊目标有人标有人不标会让模型学得无所适从。我踩过几次之后整理了三个必查项。一是遮挡目标的处理。无人机俯视视角下遮挡不如平视严重但树冠、桥面、阴影依然会挡掉一部分目标。我的约定是目标可见面积超过一半才标低于一半且完全无法判断类别的不标如果肉眼能判断类别即使被挡住一半也标但要把框扩到完整目标的外接范围避免框只盖住露出来的部分。二是小目标的标注口径。当目标在画面里小于十六个像素时标注一致性会急剧下降。这时候需要团队统一“看见什么标什么”还是“推断出完整目标再标”的口径。我的建议是以原始图放大三倍后能确认目标边界为准至少保证标准以内的一致。三是旋转框和水平框的选择。如果你的使用场景密集程度高或者要测精确的朝向信息就上旋转框标注。但旋转框的标注成本至少是水平框的两倍工具也不如水平框顺手业务没有明确需求时别轻易上否则数据生产周期会拉得很长。4.2 图像切片把目标放大到检测器能感知的尺度小目标问题的通用解法里切片是最直接也最有效的一种。把高分辨率航拍图切成带重叠的小块相当于变相缩小目标的相对尺度让模型在训练和推理时都能看见更高清的细节。我常用的切片参数是1024x1024的块重叠比例0.2到0.3对原始图像做一个滑动窗口切割。训练时按切片后的图训练推理时也按同一套流程切片再把检测结果映射回原图坐标。代码大概长这样def slice_image(image, patch_size1024, overlap0.25): h, w image.shape[:2] stride int(patch_size * (1 - overlap)) patches [] for y in range(0, h - patch_size 1, stride): for x in range(0, w - patch_size 1, stride): patches.append((x, y, image[y:ypatch_size, x:xpatch_size])) # 实际使用时边缘区域需要做补零或镜像填充 return patches注意切片会带来一个新问题——同一个目标可能同时出现在相邻两个切片里推理时会出现重复检测后处理阶段需要专门做一次去重。另外切片会导致背景比例变化如果原图大部分区域是空地不带目标切片后大量空白块会拉偏训练分布需要过滤掉那些不含标注目标的切片。4.3 Mosaic与Copy-Paste增强谁是密集场景的正确打开方式Mosaic增强把四张图拼成一张相当于变相缩小了原图中的目标尺寸对小目标检测的效果明显。我在A数据集上尝试过小目标AP提升了大概两到三个点而且没有额外推理成本这个增益很划算。Copy-Paste的思路则是把小目标抠出来复制粘贴到其他图像的合适位置增加小目标的多样性。它对于目标数量稀疏、小目标稀缺的场景特别有效。但要注意粘贴的时候不要让目标叠到原有目标上还要尽量选择光照和纹理相近的背景区域否则模型会学到不真实的纹理组合实测里反而降低泛化能力。这里有个经验性结论Mosaic适合所有无人机数据集Copy-Paste更适合小目标稀疏的场景。两个增强一起开并不总是比只开一个更好具体效果要以小目标验证集上的AP为准别凭感觉调。5. 从数据集到模型的踩坑实录五个典型问题的完整排查链路5.1 坑一类别映射写错训练一天损失不降某个项目里我要把公开数据集的car、truck、bus合并成vehicle。当时觉得这是个很简单的事直接在数据加载脚本里写了个if判断。结果训练了整整一天损失一直在原地晃验证集mAP基本为零。排查的时候我先去看数据读取器输出的标签分布发现vehicle标签的索引在原数据集的类别顺序里根本不是我想的那一个有一半的旧索引没有改写模型相当于在同时学习两个完全不一致的label空间。这个坑的教训是类别映射必须在训练前落到标注文件层面生成一份独立且一致的标签管理文件不要在读取管线里做临时转换。改成预处理脚本统一改完再训练问题立刻消失训练曲线恢复正常下降。5.2 坑二整体mAP不错换到新场景一个都检不出来另一回模型在验证集上mAP到了0.7以上我觉得稳了结果带去现场一试几乎全漏。排查链路是这样的先按尺度分组看AP发现小目标AP只有0.1左右而验证集里恰好大目标占比高整体mAP被拉上去了再看数据分布现场拍摄高度比训练数据高出一截目标像素面积整体小了一个量级。同一个模型尺度偏差一出来表现就急转直下。最后我用现场数据里的小目标片段回填训练集并且把输入分辨率提高了一倍以后重新训练整个检测结果才算真正可用。这件事之后我的习惯是每次模型出来先拆尺度看AP再对比训练集和实际场景的目标尺寸分布两关都过了才敢谈部署。5.3 坑三数据集划分不当性能虚高到离谱有次做某个项目时我图省事用之前写好的随机划分脚本把图片按文件粒度分成了训练集和验证集。结果发现验证集mAP高达0.8以上再换一组新采集数据就掉到0.3。起初我怀疑是过拟合后来用相似度检索对比了一下训练集和验证集的图片发现很多同一架次连拍的帧被同时分到了两边同一目标在不同帧里反复出现验证损失已经不能反映真实泛化能力。正确做法是按场景或者按视频片段划分数据集。如果是静态图像数据集至少也要保证同一个场景的连续帧归到同一个集合别把序列数据当成独立样本随机切。这个划分问题在无人机数据里尤其容易发生因为航拍视频的连续帧之间高度相关。5.4 坑四旋转框转水平框范围失控到背景全是目标有阵子为了省标注成本我直接把C数据集的旋转框标注转成水平外接矩形来训练水平框检测器。理论上这没什么问题但实际跑下来发现矩形框把所有朝向的目标都放大了不少尤其在目标密集区域外接矩形之间大量重叠后处理时NMS直接被这些重叠框打崩很多置信度低的目标被误删。排查下来问题出在外接矩形在密集场景下引入了大量背景噪声模型的分类分支被这些噪声干扰。后来我改用旋转框模型训练输出带角度的预测框密集场景下的漏检率明显下降。所以如果业务场景算密集旋转框标注这个成本省不得。5.5 坑五训练切片、推理整图效果断崖式下跌这是我犯过的一个很初级的错误。训练阶段为了提高小目标感知我把所有训练图切成1024的块来训练到了推理阶段为了方便直接把整张大图丢进模型。结果在测试集上小目标检测率掉了一半多。原因很简单训练和推理的输入分布不一致模型在推理时看到的目标尺寸跟训练时差异巨大。这个问题的正确打开方式是把切片逻辑统一封装成数据管线的一部分训练和推理共用同一套切片与合并代码切多少、重叠多少、补边策略全都保持一致。统一之后验证集和实测的效果保持一致后面再调参才有意义。最后再分享一个小技巧。我在实际项目里反复验证下来无人机航拍目标检测项目的起步阶段最有价值的操作其实不是选模型而是拿着目标像素分布统计图和两到三个候选数据集做一次快速对比确定尺度分布基本匹配再动手标数据或训模型。很多时候换一个更贴近真实场景的数据集比换任何检测头带来的提升都要大。