简介面向无人机目标检测与深度学习研究者这套数据集提供10000张原始无人机图片及配套的PASICAL VOC XML标注并兼容YOLO、COCO json等常见标注格式。图片已按train、validation、test目录划分为3155、3906、2939张标签统一为drone官方给出95.7%的正确识别率参考值适合开展目标检测模型训练、精度对比与算法验证。压缩包内共2000个XML标注文件大小约735.02MB文件命名与图片一一对应可直接用于检测框架或自行转换格式。目前已有237人学习。对于需要快速获得无人机标注数据的入门者或算法工程师该数据集可省去大量手动标注时间帮助聚焦模型调优与场景落地研究。1. 10000张无人机图片标注数据集95.7%正确识别率到底意味着什么很多刚接触无人机视觉的开发者看到PASCAL VOC XML格式标注正确识别率95.7%这样的描述第一反应是怀疑这个数字是数据集自带模型跑出来的还是随便挑了几类好识别的目标刷出来的其实把话说透了这个数据集的定位很清晰——它给的不是一个能直接部署的最终模型而是一套经过人工校验的地面真值标注。95.7%的正确识别率指的是基于这套标注训练的目标检测模型在同类场景的测试集上能达到的参考精度。换句话说它是写给训练框架的数据不是写给你的业务后台的。这个数据集的价值在于把原始无人机图和告诉模型目标在哪、是什么两件事同时解决了。10000张不是个小数目尤其考虑到无人机图片普遍分辨率高、目标尺度小、视角从俯视到斜视变化大人工标注的成本是一般自然图像数据集的二到三倍。适合用它的人群也很明确想做违章建筑检测、农田目标识别、光伏板巡检、车辆密度统计这类俯视任务又不想从零开始攒数据和画框的团队。XML标注格式是老牌目标检测框架的通用语言几乎所有主流检测工具链都有现成解析器这也是我选择先用它跑通全流程的原因。这里先给一个结论如果你拿到的数据集确实做到每张图都有对应的VOC XML标注文件而且类别定义和你的业务场景对得上那这条数据的下限就已经很扎实了——你要做的核心工作不是训练调参而是把格式吃透、把边界条件摸清再决定要不要投入算力去跑完整训练。2. PASCAL VOC XML格式拆解字段含义、坐标基准与无人机图像的三个特殊之处2.1 XML标注文件的最小结构和必读字段PASCAL VOC的标注文件是单个XML文件名与对应图片名保持一致后缀改为.xml。一个标准的无人机目标标注XML最小可用结构如下annotation folderdrone_data/folder filenameDJI_0001.jpg/filename path/data/drone_images/DJI_0001.jpg/path source databaseUAV Dataset/database /source size width3840/width height2160/height depth3/depth /size segmented0/segmented object namecar/name poseUnspecified/pose truncated0/truncated difficult0/difficult bndbox xmin1523/xmin ymin812/ymin xmax1764/xmax ymax1035/ymax /bndbox /object /annotation解析XML时真正决定训练效果的只有三块首先是filename和size它告诉你这张标注对应哪张图、原始分辨率是多少训练时缩放和裁剪都要以这里的宽高为基准计算比例其次是object里的name这是类别标签最后是bndbox的四个坐标值它们标识目标在原始分辨率下的像素位置。其余的pose、truncated、difficult字段在多数检测框架里会被直接忽略。但注意一个问题如果解析脚本读的是path字段而不是filename换机器后就容易路径断裂所以稳妥的脚本应该优先用filename拼路径path只作为兜底。2.2 坐标基准与XML解析的返回类型无人机图片的标注坐标必须是原始像素坐标即标注时基于原始整幅图的像素位置而不是归一化坐标或者裁剪后的相对坐标。上面示例里xmin是1523这就是3840宽原图上的绝对像素值。解析时必须保证返回整数或浮点数后能精确映射回原图不能做任何自动round操作——很多翻车现场就是把xmin/ymax用int()强转导致小目标的框偏移好几个像素。另外读取XML标签名时大小写也要注意标准VOC用的是 而不是 有些标注工具生成时首字母大写会导致xml.etree.ElementTree解析出来key不匹配从而整张图的目标全部丢失。2.3 无人机图像与普通图像数据集的三个差异点第一是目标尺度极端。同一张画面里可能出现几百像素的建筑物和二十几个像素的汽车标注框的长宽比跨度非常大。VOC格式本身能表达这种差异但训练时要特别注意多尺度策略直接把图缩放到640x640会把小目标缩成噪点。第二是俯视视角带来的目标角度任意性。普通VOC数据集中目标基本都是水平或轻微倾斜的无人机图中车辆、船只可能旋转任何角度这时如果模型只见过水平框召回率会受到显著影响。第三是背景复杂度低但类内差异高。无人机图不像城市街道那样有大量遮挡和干扰但同一类目标的颜色、方向、遮挡程度差异极大比如卡车和集装箱在俯视图里容易混淆这反过来要求标注类别定义必须严格统一一个对象到底算车还是卡车标准必须写在标注规范里。提示拿到数据集第一件事不是解压后直接训练而是随机抽20张图用XML解析脚本把框画回原图人眼确认坐标和类别没有系统性错位。这一步能省掉后面排错的全部痛苦。3. 从原始无人机图到可训练数据集目录组织、划分脚本与合法性校验3.1 标准VOC目录结构和数据集划分用PASCAL VOC数据格式训练的第一步是把所有数据装进标准目录结构。常见做法是建立如下目录dataset/ ├── annotations/ # 所有xml文件命名与图片一致 ├── images/ # 所有原始无人机图片 ├── ImageSets/ │ ├── train.txt # 训练集图片名列表不含扩展名 │ ├── val.txt # 验证集图片名列表 │ └── test.txt # 测试集图片名列表 ├── labels/ # 转出的YOLO格式标签可选 └── classes.txt # 类别列表一行一个类别名一般我会按8:1:1的比例划分训练、验证、测试集。注意三个细节第一划分要按场景或航线来做随机而不是按单张图随机——同一架次、同一高度拍的连续帧如果一边进训练一边进测试模型相当于见过答案验证精度会虚高第二train.txt里每行写的是不带扩展名的文件名比如DJI_0001不是完整路径第三划分完成后要把train.txt和val.txt逐行检查一遍不能有重复。下面是划分脚本import os import random from collections import defaultdict annot_dir dataset/annotations image_dir dataset/images output_dir dataset/ImageSets random.seed(42) xml_files [f.replace(.xml, ) for f in os.listdir(annot_dir) if f.endswith(.xml)] # 按文件名前缀分组保证同一航线的图像进同一集合 groups defaultdict(list) for name in xml_files: prefix name.rsplit(_, 1)[0] # DJI_0001 - DJI groups[prefix].append(name) train, val, test [], [], [] for prefix, names in groups.items(): random.shuffle(names) n len(names) n_train int(n * 0.8) n_val int(n * 0.1) train.extend(names[:n_train]) val.extend(names[n_train:n_train n_val]) test.extend(names[n_train n_val:]) # 写入txt文件 for split, data in [(train, train), (val, val), (test, test)]: with open(os.path.join(output_dir, f{split}.txt), w) as f: f.writelines([name \n for name in data]) print(ftrain{len(train)} val{len(val)} test{len(test)})这个脚本的关键是分组逻辑按文件名前缀把同一航线或同一场景的图像归为一组再在组内做划分。如果不分组直接全局随机训练集会包含某一航线的部分帧测试集也包含同一航线的其他帧最终评估指标会整体虚高3~8个百分点95.7%这个数字就是在这种细节上被注水的。分组划分虽然让训练集和测试集的分布差异略大但换来的评估可信度远大于这点代价。3.2 XML合法性校验比想象中容易踩坑拿到别人的数据集尤其是网上下载或者同事传的压缩包第一步不是解压训练而是跑XML合法性校验。常见问题包括XML语法不完整、object字段为空、坐标超出图片尺寸、图片文件缺失。import xml.etree.ElementTree as ET import os annot_dir dataset/annotations image_dir dataset/images errors [] for xml_file in os.listdir(annot_dir): if not xml_file.endswith(.xml): continue xml_path os.path.join(annot_dir, xml_file) img_stem xml_file[:-4] img_path os.path.join(image_dir, img_stem .jpg) if not os.path.exists(img_path): errors.append(f{xml_file}: 对应图片缺失) continue try: tree ET.parse(xml_path) root tree.getroot() except ET.ParseError as e: errors.append(f{xml_file}: XML解析失败 - {e}) continue objects root.findall(object) if len(objects) 0: errors.append(f{xml_file}: 没有object节点) size root.find(size) img_w int(size.find(width).text) img_h int(size.find(height).text) for obj in objects: bbox obj.find(bndbox) xmin int(float(bbox.find(xmin).text)) ymin int(float(bbox.find(ymin).text)) xmax int(float(bbox.find(xmax).text)) ymax int(float(bbox.find(ymax).text)) if xmin xmax or ymin ymax: errors.append(f{xml_file}: 框坐标倒置 {xmin},{ymin},{xmax},{ymax}) if xmax img_w or ymax img_h or xmin 0 or ymin 0: errors.append(f{xml_file}: 框超图像边界) class_name obj.find(name).text if class_name is None or class_name.strip() : errors.append(f{xml_file}: 空类别名) print(f共发现 {len(errors)} 个问题) for e in errors[:30]: print(e)跑完校验脚本后重点看前30条错误。如果错误率超过1%那这批数据质量就要打个问号可能需要要求来源方重新导出。校验脚本里的框超图像边界是最容易忽略的无人机图中如果目标在画面边缘且被裁切人工标注时偶尔会把框拉到图像外而训练时这类框会被框架自动略过导致部分标注白费。对这类问题我会写一个自动裁剪修正的脚本把超出边界的坐标强制截断到边界内而不是直接丢弃——直接丢弃等于少了一个目标截断则保留了大部分信息。3.3 可选转成YOLO格式的本质和边界很多人习惯先把VOC XML转成YOLO的txt格式再用Ultralytics或者原生YOLO训练。转格式本身不难难的是理解坐标系的转换import xml.etree.ElementTree as ET import os def voc_to_yolo(xml_path, img_w, img_h, class_map): tree ET.parse(xml_path) root tree.getroot() lines [] for obj in root.findall(object): class_name obj.find(name).text if class_name not in class_map: continue class_id class_map[class_name] bbox obj.find(bndbox) xmin float(bbox.find(xmin).text) ymin float(bbox.find(ymin).text) xmax float(bbox.find(xmax).text) ymax float(bbox.find(ymax).text) # 转归一化的中心点坐标和宽高 x_center ((xmin xmax) / 2) / img_w y_center ((ymin ymax) / 2) / img_h w (xmax - xmin) / img_w h (ymax - ymin) / img_h # 边界裁剪防止偏移出[0,1]范围 x_center min(max(x_center, 0.0), 1.0) y_center min(max(y_center, 0.0), 1.0) w min(w, 1.0) h min(h, 1.0) lines.append(f{class_id} {x_center:.6f} {y_center:.6f} {w:.6f} {h:.6f}) return lines class_map {car: 0, person: 1, truck: 2} # 与数据集类别定义一致转格式时最容易出错的不是除法公式而是图片尺寸的获取方式。千万不要直接用PIL打开图片来取宽高——10000张图全部解码一遍会让脚本慢上一个数量级更合理的做法是从XML的 节点直接读取因为这个值就是标注时的基准尺寸。另外注意class_map的建立必须先读一份数据集自带的类别清单按固定顺序写入否则每次训练生成的类别ID都会乱序加载预训练权重时类别对应不上损失一路不降。4. 用该数据集复现95.7%正确识别率训练配置、参数设置与验证路径4.1 检测框架选型为什么从YOLO系开始无人机俯瞰目标检测的主流落地方案里YOLO系框架的性价比最高。虽然基于Transformer的DETR系列在复杂场景下精度上限更高但10000张数据规模对DETR这类数据饥饿型模型来说偏少容易在验证集上过拟合而YOLOv8系列在中小数据集上训练收敛快、超参数鲁棒性强、部署生态成熟。当然这个95.7%如果是数据集附带baseline的指标那大概率对应的是一两个特定的框架和分辨率配置拿到手后不用过度纠结复现一模一样的数字只要能跑到同等或更高水平就说明数据集的标注质量是过关的。4.2 训练前的数据集描述文件与类别核对以YOLOv8为例先把VOC格式的数据集转换成它所需的目录格式。ultralytics框架可以直接读取标注好的YOLO格式数据所以前面的voc_to_yolo脚本产出的labels目录就派上了用场。然后写一个data.yaml# dataset.yaml path: /data/drone_uav_dataset # 数据集根目录 train: images/train # 训练图片目录相对或绝对路径 val: images/val # 验证图片目录 test: images/test # 测试图片目录可选 names: 0: car 1: person 2: truck写这个文件时有一个高频坑train/val的路径如果写错框架不会报错而是默默用空数据集训练或者报Found 0 images浪费一整个下午。建议在启动训练前用一条快速命令验证数据加载是否正常。另外如果框架版本较新也支持直接把XML标注喂进去但为了统一流程我更推荐先转换再训练排查问题快。4.3 首次训练的保守参数与关键修改第一次跑通全流程时建议保持保守参数不要一上来就追求指标。命令行大致如下yolo detect train \ modelyolov8m.pt \ datadrone_dataset.yaml \ epochs200 \ imgsz1280 \ batch16 \ workers8 \ device0 \ patience30 \ cacheTrue几个参数的考虑imgsz1280是无人机图像的关键。原始图是3840x2160目标平均尺寸非常小如果按默认的640尺寸训练很多目标在缩放后只有十几个像素模型几乎学不到有效特征。1280是精度与显存的折中如果你的GPU是24G显存如3090/4090可以尝试1536如果是8G或12G显存宁可缩小batch也不要降imgsz这是无人机小目标训练的第一原则。batch16在大多数情况下不影响精度但如果训练震荡严重可以试batch8并同步降低学习率。另一个参数学问是patience30它代表连续30轮验证指标不提升就自动停止。10000张数据规模下一般80~120轮就能收敛设置30轮早停是合理的。还有一个容易被忽略的参数是cacheTrue它把图像预加载到内存里能减少前期数据加载瓶颈如果内存不足可以改为cacheram更极限的话只能关掉缓存但训练过程会明显变慢。4.4 复现精度与95.7%对标的验证方式训练完成后模型权重文件就是run目录下的best.pt。然后需要做一套和数据集附带的baseline可比对的验证流程yolo detect val \ modelruns/detect/train/weights/best.pt \ datadrone_dataset.yaml \ imgsz1280 \ splittest验证脚本会输出测试集上的mAP50、mAP50-95、precision和recall。如果得到的mAP50达到95%以上说明这个数据集的标注一致性确实不错95.7%这个数字没有注水如果只到80%甚至70%问题大概率出在数据划分或类别映射上不一定是模型的问题。建议在验证时多看一眼每个类别单独的正确率报表往往某一个大类拖低了整体分数。此外如果想要一个更直观的判断把batch1的预测结果画图保存出来随机看几十张观察漏检目标都是哪些类型——漏检的是小目标还是遮挡目标决定了后续优化方向是加tiling切图策略还是做多尺度训练增强。注意别用训练集做最终验证。训练集上的正确识别率普遍比测试集高5~10个百分点很多人晒出的96%截图其实是train集的指标这在VOC格式数据的评估里毫无意义。真正对外报告的数字必须指定测试集以及imgsz和置信度阈值。5. 避坑指南无人机VOC数据集训练常见的5个坑与排查方法5.1 坑一XML解析丢目标损失不降反升现象训练前期loss正常下降到第30轮左右开始震荡甚至上升或者验证集mAP只有60%出头。 原因部分XML的object名称里包含空格或大写字母模型实际上在按大小写敏感的方式读取标签另一种可能是XML编码是带BOM的UTF-8解析器把BOM字符揉进了第一个字段。 解决先跑校验脚本统计所有xml文件中出现的类别名及频率拿到的结果和classes.txt对比找到不匹配的标签名然后统一用UTF-8无BOM格式重新保存所有XML。排查完再清空cache重新训练不要在原训练基础上续训因为模型已经学坏了。5.2 坑二图片尺寸被自动缩放导致框全歪现象训练能跑loss正常但推理时输出框位置整体偏移边界不准看起来像是标注错了。 原因YOLO训练时如果imgsz和原始图片分辨率不一致框架内部会自动缩放。理论上解析坐标时框架会进行缩放补偿但如果你用的不是官方数据加载器而是自己写Dataset类做resize却忘了同步比例修改框坐标就会造成这种系统性偏移。 解决要么统一用框架自带的data loader要么在自己的Dataset里对bbox做同比例变换。另外验证图片和标注是否对齐时应该用画框回图的方式看错位比例不要肉眼看缩略图。5.3 坑三同一目标被重复标注或漏标注现象验证集精度正常但recall偏低漏检多或者某些框在推理时总是两个重叠框以低置信度同时出现。 原因无人机大尺寸图常常用标注工具的切图模式进行分块标注切图边缘容易出现同一个目标被两个分块重复标注反过来也有漏标两个分块的缝隙处目标没有被任何一块覆盖。 解决用脚本检查重复框——两个框的IoU大于0.7且类别相同就合并为一个保留面积更大的框同时检查位于图片边缘的目标如果在边缘处被截断且截断面积超过50%建议直接删除该标注而不是保留残缺框。5.4 坑四类别不平衡导致模型只学大目标现象95.7%的mAP很亮眼但看单独类别的结果车辆类精度98%人员类只有60%总体指标被大类拉高。 原因无人机图里车辆和建筑数量天然多于人员和小物体如果10000张图里人员目标只占5%模型在有限训练轮次下会优先拟合占据主导的类别。这和数据标注质量无关是分布问题。 解决针对小类做过采样或者数据增强时把小类目标所在区域单独裁剪拼接进训练集。做之前先统计所有XML里每个类别的目标数量画出分布直方图做到心里有数。5.5 坑五混淆train/val/test导致精度虚高现象测试集mAP比同期验证集高3个百分点以上且重复实验波动很大。 原因数据划分脚本本身写错了比如将同一个文件名同时写进了train和val或者图片有重复副本同一个文件拷贝两次名字不同随机划分时模型在训练集见过几乎一模一样的图。 解决用md5值对所有图片做去重列出重复或近重复文件重新划分后输出train和val的文件名列表用集合运算确认交集为空。这一步值得花时间做精确因为几乎所有宣称不靠谱精度的数据集问题都出在这。6. 进阶应用从VOC XML转出COCO和旋转框格式以及95.7%数据的自验技巧6.1 转成COCO格式无缝接入现代工具链虽然VOC格式够用但很多较新的框架比如MMDetection和部分Transformer模型默认使用COCO格式。把VOC XML转成COCO JSON也是无人机项目里的高频需求。转换的实质就是把树状XML打平成JSON数组核心结构如下import xml.etree.ElementTree as ET import json import os coco_data { images: [], annotations: [], categories: [{id: 1, name: car}, {id: 2, name: person}] } cat_id_map {car: 1, person: 2} img_id 1 ann_id 1 for xml_file in os.listdir(annotations): if not xml_file.endswith(.xml): continue root ET.parse(os.path.join(annotations, xml_file)).getroot() size root.find(size) width int(size.find(width).text) height int(size.find(height).text) filename root.find(filename).text coco_data[images].append({ id: img_id, file_name: filename, width: width, height: height }) for obj in root.findall(object): bbox obj.find(bndbox) xmin float(bbox.find(xmin).text) ymin float(bbox.find(ymin).text) xmax float(bbox.find(xmax).text) ymax float(bbox.find(ymax).text) w xmax - xmin h ymax - ymin coco_data[annotations].append({ id: ann_id, image_id: img_id, category_id: cat_id_map[obj.find(name).text], bbox: [xmin, ymin, w, h], area: w * h, iscrowd: 0 }) ann_id 1 img_id 1 with open(annotations_coco.json, w) as f: json.dump(coco_data, f, indent2)注意这里有两个COCO格式的隐藏要求第一是bbox是[x, y, width, height]格式不是VOC的[xmin, ymin, xmax, ymax]转错直接导致所有框偏移第二是category_id从1开始不是从0开始。如果你之前用YOLO格式训练习惯了从0编号转COCO时容易惯性出错。6.2 转成旋转框格式无人机俯视场景的未来方向VOC格式的水平框无法精确表达旋转目标的朝向而无人机俯视图中车辆、船只往往以任意角度呈现旋转框OBB标注能更精确描述目标覆盖区域。如果你的业务对朝向敏感比如需要区分车辆是停着还是行驶中就可以把VOC转换为旋转框格式。转换思路是用最小外接矩形把水平框内的目标重新拟合出旋转角度。具体实现可以基于OpenCV的minAreaRect# 画图手动标注并生成旋转框的操作流 # 1. 将VOC的xml转为polygon点集 # 2. 用cv2.minAreaRect(points)计算最小外接旋转矩形 # 3. 将角度和中心点坐标写入OBB格式的标签文件旋转框在数据标注阶段和标签格式上都有额外成本除非业务明确需要朝向信息否则优先用水平框是更务实的选择。很多项目一上来就想做旋转框最后发现模型复杂度和标注成本翻倍收益却很有限这是我在项目里反复看到的情况。6.3 自验95.7%的三种手法和实操习惯所谓自验不是拿模型预测一下再算个准确率而是用独立手段验证整个数据管线是否可信。我一般会做三件事。第一抽20张原始图用XML标注画框后让不止一个人人工检查框与目标的匹配程度确认没有标注偏差。第二步做一次k-fold交叉验证折数不用多3折即可如果3折的mAP波动超过2个百分点说明数据集的分布一致性不够报告中单次95.7%这个数字参考价值有限。第三步把测试集上预测错误的样本全部打出来逐一归类错误类型——是小目标漏检、遮挡漏检还是类别混淆把错误分布梳理成表格这在后续优化中远比单个准确率数字有用。到现在我仍保留一个习惯凡是用别人的数据集第一轮训练结束后不急着调参而是先把预测错误图打出来贴在墙上多看几眼比多跑一百轮代码更能发现问题。这个看似笨拙的动作已经帮我避开过多次因数据格式问题导致的无效调参。希望帮到你。本文还有配套的精品资源点击获取