简介这份资源包面向深度学习课程设计、毕业设计及人工智能期末大作业场景围绕基于YoloV8的无人机检测系统展开帮助学习者解决从数据预处理到模型部署的完整工程链路问题。包内共18个文件以8个Python脚本为核心辅以4个pyc缓存、2个yaml配置、1个txt类别定义、1个csv训练记录、1个png结果图及1个md说明文档压缩包约283KB结构紧凑便于快速上手。脚本覆盖标注格式转换、数据集融合、模型训练、目标跟踪与视频处理等环节并配有QT界面相关模块可支撑实时检测与结果交互展示。目前已有27人学习适合希望将YoloV8算法落地到无人机识别任务、积累项目实践经验的学生与研究者参考。1. 无人机检测项目为什么值得用 YOLOv8 重做一遍如果你手头有一个标注好的无人机航拍数据集或者正打算做一个能识别空中目标的检测系统YOLOv8 大概率是你绕不开的选项。原因很直接无人机检测这个场景有几个硬骨头——目标尺度变化大、小目标密集、背景干扰强而 YOLOv8 的 anchor-free 解耦头和 C2f 结构在这几个维度上比前代更稳。我见过不少人拿 YOLOv5 的权重直接迁移过来mAP 掉好几个点换成 YOLOv8 从头训反而追回来了。这个标题对应的不是一篇论文而是一套可落地的工程方案从环境搭建、数据集处理、模型训练到推理部署整条链路都要跑通。适合两类人一是做毕业设计或课程项目、需要完整跑通检测流程的学生二是手里有 RK3588、Orin 这类边缘板子、想把无人机检测模型塞进去的工程师。下面按我实际做过的顺序拆开讲参数和坑都标清楚。2. 环境搭建与数据集处理从零到能开训2.1 环境配置的两种路线与版本锁定YOLOv8 的环境搭建有两条路一条是 pip 直接装 ultralytics 包另一条是 clone 源码仓库再装依赖。我一般推荐第二条因为后面要改 head 结构或者加注意力机制时源码在手边改起来方便。Python 版本锁 3.8 到 3.10 之间3.11 以上有些依赖轮子还没跟上会编译报错。先建虚拟环境再装 PyTorch。如果你只有 CPU装 CPU 版就行训练慢但推理验证够用有 GTX1660Ti 这类 6G 显存的卡装 CUDA 11.8 对应的版本batch 开到 8 左右不会爆。# 创建虚拟环境Python 版本建议 3.9 conda create -n drone_yolo python3.9 -y conda activate drone_yolo # 安装 PyTorchCPU 版本无显卡时用 pip install torch torchvision --index-url https://download.pytorch.org/whl/cpu # 有 NVIDIA 显卡时改用 CUDA 版本 # pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 # 克隆 ultralytics 源码并安装 git clone https://github.com/ultralytics/ultralytics.git cd ultralytics pip install -e .这段命令的逻辑是先隔离环境避免和系统 Python 冲突再根据硬件选 PyTorch 版本最后以可编辑模式安装 ultralytics这样源码改动会直接生效。参数上注意-e不能省否则你改的代码不会同步到运行环境。装完后跑yolo checks验证能看到版本号和设备信息就说明通了。提示Ubuntu 20.04 上如果遇到libGL.so.1找不到装libgl1-mesa-glx和libglib2.0-0两个系统包即可这是 OpenCV 的依赖和 YOLO 本身无关。2.2 无人机数据集的标注格式与转换无人机检测的数据来源通常是航拍视频抽帧或者公开数据集。标注工具用 Labelme 或 LabelImg 都行关键是导出格式。YOLOv8 要的是 YOLO 格式每张图对应一个 txt每行是类别 x_center y_center width height坐标全部归一化到 0 到 1 之间。Labelme 默认导出 JSON需要转一道。我一般写个脚本批量处理避免手动一张张转。import json import os from pathlib import Path # 类别映射无人机检测通常就一类 class_map {drone: 0} def labelme_to_yolo(json_path, output_dir, img_w, img_h): with open(json_path, r, encodingutf-8) as f: data json.load(f) lines [] for shape in data[shapes]: label shape[label] if label not in class_map: continue points shape[points] xs [p[0] for p in points] ys [p[1] for p in points] # 计算边界框并归一化 x_center (min(xs) max(xs)) / 2.0 / img_w y_center (min(ys) max(ys)) / 2.0 / img_h width (max(xs) - min(xs)) / img_w height (max(ys) - min(ys)) / img_h lines.append(f{class_map[label]} {x_center:.6f} {y_center:.6f} {width:.6f} {height:.6f}) out_path Path(output_dir) / (Path(json_path).stem .txt) with open(out_path, w) as f: f.write(\n.join(lines)) # 批量转换示例 for jf in Path(labels_json).glob(*.json): labelme_to_yolo(str(jf), labels_txt, 1920, 1080)这段脚本的核心是坐标归一化x_center和width都除以图像宽y_center和height除以图像高。参数img_w和img_h必须和实际图片尺寸一致否则框会偏移。转换完抽查几张用画框脚本可视化确认别直接开训——标注错了后面调参全是白费。2.3 data.yaml 的写法与数据集划分YOLOv8 靠一个 yaml 文件定位数据和类别。无人机检测一般就一个类写起来简单但路径和划分比例容易翻车。# drone_data.yaml path: /home/user/datasets/drone # 数据集根目录 train: images/train val: images/val test: images/test nc: 1 names: [drone]path用绝对路径最稳相对路径在不同工作目录下跑会找不到文件。train和val是相对path的子路径。划分比例我一般按 8:1:1如果样本少于 2000 张验证集至少留 200 张否则 mAP 波动大得没法看。图片和标签要分开放但文件名必须一一对应YOLOv8 会自动去找同名的 txt。注意如果验证集里出现训练集见过的图mAP 会虚高排查时先确认两个文件夹没有重叠文件。3. 训练参数怎么设无人机小目标的调参逻辑3.1 从预训练权重起步的关键参数无人机检测我不建议从零训用 COCO 预训练权重做迁移收敛快而且小目标召回更好。启动命令里几个参数决定成败。yolo detect train \ modelyolov8s.pt \ datadrone_data.yaml \ epochs150 \ imgsz640 \ batch8 \ lr00.01 \ lrf0.01 \ patience30 \ device0 \ projectdrone_runs \ nameexp1model选 yolov8s 还是 yolov8n 看你的部署平台。RK3588 这类 NPU 板子建议用 n 或 sm 以上量化后掉点明显。imgsz设 640 是平衡精度和速度的默认值如果小目标特别多可以提到 1280但显存翻倍GTX1660Ti 上 batch 得降到 4。lr0初始学习率 0.01 是官方推荐数据集小可以降到 0.005 防止震荡。patience30表示 30 轮没提升就早停省时间。3.2 损失曲线怎么看、什么时候该停训练跑起来后runs/detect/drone_runs/exp1/下面会有results.csv和损失曲线图。重点看三个指标train/box_loss、val/box_loss、metrics/mAP50。正常情况 box_loss 持续下降mAP50 持续上升。如果 train loss 降但 val loss 开始抬头就是过拟合要么加数据增强要么减 epochs。如果两个 loss 都不降检查学习率是不是太大或者标注有问题。我习惯用 pandas 把 csv 读出来自己画比默认图看得清楚。import pandas as pd import matplotlib.pyplot as plt df pd.read_csv(runs/detect/drone_runs/exp1/results.csv) df.columns df.columns.str.strip() # 列名可能带空格 fig, ax1 plt.subplots() ax1.plot(df[epoch], df[train/box_loss], labeltrain box loss) ax1.plot(df[epoch], df[val/box_loss], labelval box loss) ax1.set_xlabel(epoch) ax1.set_ylabel(loss) ax1.legend() ax2 ax1.twinx() ax2.plot(df[epoch], df[metrics/mAP50(B)], colorgreen, labelmAP50) ax2.set_ylabel(mAP50) ax2.legend() plt.savefig(loss_curve.png, dpi150)这段代码把 loss 和 mAP 画在一张图上双 y 轴。df.columns.str.strip()那行别省results.csv 的列名有时带前导空格直接索引会 KeyError。看曲线时注意 mAP50 的拐点如果 100 轮后还在缓慢爬可以再加 50 轮如果 50 轮就平了早停就行。3.3 数据增强里对小目标有效的几项YOLOv8 默认开了 mosaic、mixup、HSV 增强。无人机小目标场景下mosaic 帮助很大它把四张图拼一起变相增加了小目标出现的密度。但 mixup 对小目标有时是负作用两张图叠加后小目标更糊了。我一般把 mixup 关掉或调低。yolo detect train \ modelyolov8s.pt \ datadrone_data.yaml \ epochs150 \ imgsz640 \ mosaic1.0 \ mixup0.0 \ scale0.5 \ degrees10.0 \ translate0.1mosaic1.0表示 100% 概率启用mixup0.0关闭。scale0.5允许图像缩放模拟无人机不同高度。degrees10做小角度旋转航拍视角变化通常不会太大超过 15 度反而引入不真实样本。这些值不是死的如果你的数据集里无人机都是正俯视degrees 可以设 0。提示增强参数改完后先跑 10 个 epoch 看 loss 是否正常下降别直接开 150 轮否则参数错了浪费一整天。4. 模型导出与边缘部署从 pt 到板端推理4.1 导出 ONNX 与 RK3588 转换要点训练完的.pt文件不能直接扔到 RK3588 上跑需要转成 RKNN 格式。中间先过一道 ONNX。# 导出 ONNX opset 版本用 12 yolo export modelruns/detect/drone_runs/exp1/weights/best.pt formatonnx opset12 simplifyTrue # 检查 ONNX 模型结构 python -c import onnx; m onnx.load(best.onnx); print(onnx.checker.check_model(m))opset12是 RKNN 工具链兼容性最好的版本别用太新的。simplifyTrue会做图优化去掉冗余节点。导出后在 PC 上用 onnxruntime 跑一张图验证输出 shape确认是[1, 5, 8400]这种格式5 4 框坐标 1 类别分数8400 是候选框数。转到 RKNN 时注意量化方式。RK3588 支持 int8 量化但无人机小目标量化后掉点明显我一般先用 fp16 跑通精度不够再试 int8 并做量化校准。from rknn.api import RKNN rknn RKNN() rknn.config(mean_values[[0, 0, 0]], std_values[[255, 255, 255]], target_platformrk3588) rknn.load_onnx(modelbest.onnx) rknn.build(do_quantizationFalse) # 先不量化用 fp16 rknn.export_rknn(drone_fp16.rknn) rknn.release()mean_values和std_values要和训练时的预处理一致YOLOv8 默认是 0 到 1 归一化所以 std 设 255。do_quantizationFalse导出 fp16 模型精度损失小但体积大。如果板子存储紧张改成 True 并传入校准集图片列表。4.2 板端推理的输入预处理与后处理RKNN 模型在板子上跑输入要转成 NHWC 格式的 uint8 或 float。后处理主要是 NMSYOLOv8 的输出是 anchor-free 的解码逻辑和 v5 不同。import numpy as np import cv2 def preprocess(img, input_size640): # 保持宽高比缩放并填充 h, w img.shape[:2] scale min(input_size / h, input_size / w) nh, nw int(h * scale), int(w * scale) resized cv2.resize(img, (nw, nh)) canvas np.zeros((input_size, input_size, 3), dtypenp.uint8) canvas[:nh, :nw] resized return canvas, scale def postprocess(outputs, conf_thres0.25, iou_thres0.45): # outputs shape: [1, 5, 8400] pred outputs[0].transpose(1, 0) # [8400, 5] scores pred[:, 4] mask scores conf_thres boxes pred[mask, :4] scores scores[mask] # 这里接 NMS省略具体实现 return boxes, scores预处理里保持宽高比很关键直接 resize 会让框变形。后处理先按置信度过滤再做 NMS。conf_thres0.25是常用起点误检多就提到 0.4漏检多就降到 0.15。板端跑的时候注意内存拷贝开销输入用cv2.cvtColor转 RGB 后直接送 RKNN别在 numpy 和 PIL 之间来回倒。4.3 推理速度与精度的平衡验证部署完必须做一轮对比测试PC 上 PyTorch 的 mAP 和板端 RKNN 的 mAP 差多少FPS 是多少。我一般抽 100 张验证集图片分别跑两个版本算 mAP50 和平均耗时。平台精度推理耗时mAP50PC PyTorchfp3212ms0.89RK3588fp1628ms0.87RK3588int818ms0.81这张表是典型结果int8 速度最快但掉点明显。如果项目对精度要求高fp16 是更稳的选择。测试时注意板子散热连续跑 10 分钟以上看会不会降频降频后 FPS 可能掉 30%。注意RKNN 的量化校准集要从训练集里抽别用验证集否则量化参数会偏向验证分布实际部署时精度虚高。5. 避坑与排查无人机检测训练部署的五个血泪教训5.1 现象mAP 一直卡在 0.3 上不去原因标注框大量越界或宽高为负。Labelme 转 YOLO 时如果坐标算错归一化后会出现负数或大于 1 的值YOLOv8 虽然会裁剪但训练信号已经乱了。解决转换后加一道校验遍历所有 txt发现坐标不在 0 到 1 之间就打印文件名。批量修一遍再开训。5.2 现象训练 loss 正常但验证 mAP 为 0原因data.yaml 里names和标注的类别索引对不上。比如标注里写的是0但 names 列表第一个是别的类或者 nc 设成了 2 但实际只有一类。解决确认nc等于len(names)且标注文件里的类别索引从 0 开始连续。改完 yaml 重新跑不用重新标注。5.3 现象RK3588 上推理结果全是乱框原因预处理 mean 和 std 设反了或者输入通道顺序不对。YOLOv8 训练时是 RGB板端如果送 BGR 进去颜色通道错位会导致特征提取完全失效。解决在板端加一行img cv2.cvtColor(img, cv2.COLOR_BGR2RGB)并核对 RKNN config 里的 mean/std 和训练时一致。5.4 现象GTX1660Ti 训练到一半报 CUDA out of memory原因imgsz提到 1280 后显存不够或者batch设太大。6G 显存在 640 分辨率下 batch16 是上限1280 只能 batch4。解决降 batch 或开ampTrue混合精度。如果还爆用yolo detect train ... cacheFalse关掉缓存缓存虽然加速但吃内存。5.5 现象验证集 mAP 很高但实际视频检测漏检严重原因验证集和训练集来自同一段视频帧间相似度高模型过拟合了。实际场景里光照、角度一变就崩。解决划分数据集时按视频段分别按帧随机分。同一段视频的帧要么全在训练集要么全在验证集。这个坑我踩过两次血泪经验。6. 用 TTA 和切片推理把无人机小目标召回再拉一截训练和部署都跑通后如果小目标召回还是不够有两个技巧可以试。第一个是 TTA测试时增强推理时对同一张图做水平翻转和不同尺度缩放把多次预测结果融合。YOLOv8 内置了 TTA 接口但板端跑不动适合 PC 端离线分析。from ultralytics import YOLO model YOLO(runs/detect/drone_runs/exp1/weights/best.pt) results model.predict(test.jpg, augmentTrue, conf0.2, iou0.5)augmentTrue就是开 TTA速度慢三倍左右但 mAP 通常能涨 1 到 2 个点。conf可以比平时低一点因为 TTA 融合后误检会被抑制。第二个是切片推理专门对付高分辨率航拍图里的小无人机。把 4000x3000 的图切成 640x640 的块每块单独推理再合并结果。切的时候要有重叠重叠率 20% 到 30%否则边缘目标会被切断。def slice_inference(img, model, slice_size640, overlap0.2): h, w img.shape[:2] stride int(slice_size * (1 - overlap)) all_boxes [] for y in range(0, h, stride): for x in range(0, w, stride): patch img[y:yslice_size, x:xslice_size] if patch.shape[0] slice_size or patch.shape[1] slice_size: continue results model.predict(patch, conf0.25, verboseFalse) for box in results[0].boxes: # 把局部坐标映射回全图 xyxy box.xyxy[0].cpu().numpy() xyxy[0] x xyxy[1] y xyxy[2] x xyxy[3] y all_boxes.append(xyxy) # 合并后再做一次全局 NMS return all_boxes这段代码的关键是坐标映射和全局 NMS。切片推理的代价是耗时成倍增加但小目标召回能提升 10% 以上。我一般只在离线分析时用实时视频还是单帧推理。最后说个习惯每次改完参数或数据先跑 10 个 epoch 看 loss 曲线确认方向对了再开长训练。别一上来就 300 轮翻车了连后悔药都没得吃。希望帮到你。本文还有配套的精品资源点击获取