项目落地时最花时间的往往不是模型本身而是从数据准备、训练调参到最终部署的完整链路。之前做目标检测项目时先后在细胞显微图像检测和交通标志识别两个场景里完整跑通了 YOLOv5 与 YOLOv4 的流程过程中踩过不少环境、数据和部署的坑。本文把两套项目的完整流程整理出来包含环境配置、数据集组织、训练命令、推理部署与常见报错排查希望给正在做深度学习实战项目、毕业设计或工程落地的读者提供一份能直接参考的清单。1. 项目背景与核心概念1.1 为什么选择 YOLO 系列目标检测要解决的核心问题是图像中有什么目标目标在什么位置。传统方法依赖手工特征和滑动窗口检测速度慢、精度有限。深度学习时代目标检测主要分为两派两阶段检测器如 Faster R-CNN 精度高但速度偏慢单阶段检测器如 YOLO、SSD 则直接把目标定位和分类统一为回归问题在保证精度的同时大幅提升速度。YOLO 全称 You Only Look Once核心思想是仅需一次前向推理就能同时输出所有目标的位置和类别。它把输入图像划分成网格每个网格负责预测中心点落在该网格内的目标并输出边界框坐标、置信度和类别概率。这种设计让 YOLO 在实时检测场景中占据明显优势。从工程角度看YOLO 系列拥有非常完整的开源生态。YOLOv5 基于 PyTorch 实现代码结构清晰、文档完善、训练部署工具链成熟YOLOv4 基于 Darknet 框架在自定义数据集训练方面也有大量参考资料。两个框架并不冲突掌握之后可以应对不同硬件环境和项目需求。1.2 两个项目的主要区别本文涉及的两个项目技术栈和业务场景差异较大。细胞检测项目使用 YOLOv5输入是显微成像下的细胞图像目标通常是小尺寸、高密度的细胞个体检测难点在于目标密集、边界模糊、尺度小。这类任务对召回率要求较高漏检代价大因此在数据标注和训练策略上要特别关注小目标检测能力。交通标志识别项目使用 YOLOv4输入是道路场景图像目标是各类交通标志检测难点在于目标尺度变化大、光照条件复杂、遮挡频繁。交通标志类别多、样本不均衡训练时需要合理组织数据集并调整类别权重。两个项目的完整流程相同都遵循“数据准备 - 环境搭建 - 模型训练 - 验证评估 - 推理部署”这一主线这也是大多数深度学习视觉项目的通用套路。2. 环境准备与版本选择2.1 深度学习环境总览无论训练 YOLOv5 还是 YOLOv4第一步都是装好可用的深度学习环境。以目前主流组合为例推荐使用以下配置组件推荐版本说明操作系统Ubuntu 20.04/22.04 或 Windows 10/11两个框架都支持Linux 训练效率更高GPUNVIDIA 显卡显存建议 8GB 以上训练速度依赖 GPU显存影响 batch sizeCUDA11.x 或 12.x需与显卡驱动和 PyTorch 版本匹配cuDNN与 CUDA 对应版本加速卷积运算Python3.8 或 3.9YOLOv4 相关脚本兼容性更好PyTorch1.12 或 2.xYOLOv5 官方代码对新版本兼容较好版本需要根据你的项目实际情况调整本文示例以常见环境为例重点演示配置思路。安装 CUDA 时一定要确认显卡驱动支持否则会出现CUDA driver version is insufficient之类的错误。2.2 YOLOv5 环境搭建YOLOv5 的官方仓库地址是 ultralytics/yolov5推荐使用 Git 拉取代码后创建独立虚拟环境。git clone https://github.com/ultralytics/yolov5.git cd yolov5 python -m venv venv source venv/bin/activate # Windows 下为 venv\Scripts\activate pip install -r requirements.txtrequirements.txt 会安装 torch、torchvision、opencv-python、numpy、pandas、matplotlib、pyyaml、tqdm 等常用依赖。如果网络受限可以单独安装 PyTorch再安装其余依赖。验证环境是否正常python -c import torch; print(torch.__version__); print(torch.cuda.is_available())如果输出True说明 GPU 可用。若为False需要检查 PyTorch 版本是否与 CUDA 匹配这里安装的就是 CPU 版还是 GPU 版。2.3 YOLOv4 环境说明YOLOv4 官方实现基于 Darknet一个使用 C 和 CUDA 编写的深度学习框架。Darknet 没有 Python 安装包的概念需要源码编译。git clone https://github.com/AlexeyAB/darknet.git cd darknetWindows 下推荐使用 CMake 或直接打开darknet.sln用 Visual Studio 编译Linux 下修改 Makefile 后执行 make。核心配置项包括GPU1 CUDNN1 CUDNN_HALF1 OPENCV1 DEBUG0GPU1启用 CUDA 加速CUDNN_HALF1使用半精度推理OPENCV1让 darknet 能读取摄像头和视频。编译完成后执行./darknet会输出可用的命令列表。如果只是做部署而不训练模型还可以直接使用 OpenCV 的 DNN 模块加载 YOLOv4 权重不需要编译 Darknet这一点在第 6 节会展开。3. 数据集准备与标注3.1 细胞检测数据集细胞检测项目需要显微镜下的细胞图像以及对应的标注文件。数据来源主要有两种第一种是公开数据集。医学影像领域有很多开放的数据集例如血细胞图像数据集、细胞显微图像分割数据集等。使用公开数据集时要注意查看许可协议学术用途和商用用途的允许范围可能不同。第二种是自建数据集。从显微镜采集原始图像后用标注工具手动标注。细胞检测标注时需要注意密集区域每个细胞都要标注不能为了省事跳过边界模糊的细胞可以标注出大致区域但要保持标注风格一致。常用开源标注工具包括LabelImg支持 PASCAL VOC 格式的 XML 标注使用简单适合矩形框标注。Labelme支持多边形标注适合不规则目标。标注完成后的文件组织规范对训练非常重要。无论后续使用 YOLOv5 还是 YOLOv4都建议把数据和标注文件整理成清晰的结构。3.2 交通标志数据集交通标志识别常用的公开数据集包括德国交通标志数据集 GTSRB、GTSDB以及一些国内开源的路况数据集。实际项目中也经常需要自行采集道路视频并抽帧标注。交通标志检测与普通目标检测有所不同标志在图像中占比较小需要选择较高输入分辨率或增加小目标检测层。标注时推荐把类别 ID 统一整理例如类别 ID标签名称说明0speed_limit限速标志1stop停止标志2yield让行标志3no_entry禁止驶入标志实际项目中类别可能多达几十种建议先做类别梳理再开始标注。频繁返工修改标签会浪费大量时间。3.3 数据增强深度学习模型依赖大量数据数据增强是扩充样本、提升泛化能力的有效手段。YOLOv5 内置了丰富的在线增强策略包括马赛克增强 Mosaic、随机仿射变换、色彩抖动、水平翻转等训练时不需要手动预处理。YOLOv4 的 Darknet 框架也内置了随机裁剪、旋转、饱和度变化、曝光变化等增强策略通过配置文件即可启用。合理使用增强策略能显著提升模型在复杂场景下的表现。4. YOLOv5 细胞检测实战4.1 创建项目结构下载 YOLOv5 官方代码后建议在项目内创建独立的目录存放数据集。以细胞检测为例推荐目录结构如下yolov5/ ├── cell_data/ │ ├── images/ │ │ ├── train/ │ │ └── val/ │ ├── labels/ │ │ ├── train/ │ │ └── val/ │ └── cell.yaml ├── train.py ├── detect.py └── ...images 存放图像文件labels 存放 YOLO 格式的 txt 标注文件每个 txt 文件与图像同名。YOLO 标注格式为class_id x_center y_center width height所有坐标值都归一化到 0~1 之间x_center 和 y_center 是边界框中心点相对图像宽高的比例width 和 height 是边界框宽高相对图像宽高的比例。4.2 编写数据配置文件创建cell_data/cell.yaml内容如下# 数据集路径支持绝对路径 path: cell_data train: images/train val: images/val # 类别数量 nc: 1 # 类别名称列表 names: 0: cell这里说明一下各字段的含义path数据集根目录。train和val训练集、验证集图片目录的相对路径。nc类别总数细胞检测只有 1 类所以值为 1。names类别名称索引从 0 开始。4.3 整理标注文件如果使用 LabelImg 标注原始输出是 PASCAL VOC 格式的 XML 文件需要转换成 YOLO 格式。下面是一个转换脚本的核心思路# 文件路径tools/xml2yolo.py import os import xml.etree.ElementTree as ET def convert_annotation(xml_file, out_file, class_names): tree ET.parse(xml_file) root tree.getroot() size root.find(size) img_w int(size.find(width).text) img_h int(size.find(height).text) lines [] for obj in root.iter(object): cls obj.find(name).text if cls not in class_names: continue cls_id class_names.index(cls) bndbox obj.find(bndbox) xmin float(bndbox.find(xmin).text) ymin float(bndbox.find(ymin).text) xmax float(bndbox.find(xmax).text) ymax float(bndbox.find(ymax).text) x_center (xmin xmax) / 2.0 / img_w y_center (ymin ymax) / 2.0 / img_h box_w (xmax - xmin) / img_w box_h (ymax - ymin) / img_h lines.append(f{cls_id} {x_center:.6f} {y_center:.6f} {box_w:.6f} {box_h:.6f}) with open(out_file, w, encodingutf-8) as f: f.write(\n.join(lines)) if __name__ __main__: class_names [cell] xml_dir cell_data/annotations label_dir cell_data/labels os.makedirs(label_dir, exist_okTrue) for xml_name in os.listdir(xml_dir): if not xml_name.endswith(.xml): continue xml_path os.path.join(xml_dir, xml_name) out_path os.path.join(label_dir, xml_name.replace(.xml, .txt)) convert_annotation(xml_path, out_path, class_names)注意保持图像和 txt 文件名严格一致否则训练时无法匹配。建议转换后随机抽样检查几个标注文件确认坐标归一化正确、类别 ID 没有错位。4.4 选择模型与训练参数YOLOv5 官方提供了 s、m、l、x 四种尺寸的模型按需选择YOLOv5s速度最快模型体积小适合实时检测和边缘设备。YOLOv5m精度与速度平衡。YOLOv5l 和 YOLOv5x精度更高但推理速度慢。细胞检测场景如果目标密集、尺寸小可以从 YOLOv5s 开始训练效果不足再换更大的模型。训练命令如下python train.py \ --data cell_data/cell.yaml \ --weights yolov5s.pt \ --img 640 \ --epochs 200 \ --batch-size 16 \ --device 0关键参数解释--data数据配置 yaml 文件路径。--weights预训练权重路径首次下载失败时可以手动下载对应的.pt文件放入项目目录。也可以输入--weights yolov5s.pt加载在 COCO 上预训练的权重用迁移学习加速收敛。--img输入图像尺寸。细胞图像如果原始分辨率较高可以先用 640 起步。--epochs训练轮数。正常训练 150~300 轮能够看到明显收敛。--batch-size批大小受 GPU 显存限制。显存不足时优先降低 batch size。--deviceGPU 编号CPU 时填cpu。训练过程中会输出每个 epoch 的 loss、mAP、精度、召回率等信息同时生成训练曲线图保存到runs/train/exp目录。训练结束后最佳权重保存在runs/train/exp/weights/best.pt。4.5 验证与可视化训练后的权重可以用val.py脚本在验证集上评估python val.py \ --data cell_data/cell.yaml \ --weights runs/train/exp/weights/best.pt \ --img 640会输出各类别的 Precision、Recall、mAP0.5 和 mAP0.5:0.95 指标。说明一下mAP 即 Mean Average Precision是目标检测任务最主要的精度评价指标数值越高代表模型检测越准。预测单张图像python detect.py \ --weights runs/train/exp/weights/best.pt \ --source data/images/sample.jpg \ --conf-thres 0.25--conf-thres表示置信度阈值高于该值的检测结果才会保留。实际使用时如果漏检严重可以适当下调阈值如果误检较多则上调。5. YOLOv4 交通标志识别实战5.1 数据集组织YOLOv4 在 Darknet 框架中训练需要准备数据配置文件和路径清单。假设数据集位于ts_data目录结构如下ts_data/ ├── train.txt ├── val.txt ├── train ├── val └── ts.namestrain.txt和val.txt是图片路径清单每行一个图片绝对路径或相对路径/home/user/projects/ts_data/train/00001.jpg /home/user/projects/ts_data/train/00002.jpg与 YOLOv5 相似YOLOv4 也用 YOLO 格式的 txt 标注文件文件与图片同名。例如00001.jpg对应00001.txt。ts.names文件内容如下speed_limit stop yield no_entry crosswalk每行一个类别名排列顺序与标注文件中的类别 ID 对应。5.2 配置文件修改创建数据集配置文件ts.dataclasses 5 train /home/user/projects/ts_data/train.txt valid /home/user/projects/ts_data/val.txt names /home/user/projects/ts_data/ts.names backup /home/user/projects/backup字段说明classes类别数量交通标志项目中共 5 类。train和valid训练和验证图片路径清单。names类别名称文件路径。backup权重备份目录训练过程会定期保存中间权重。修改网络配置文件yolov4-ts.cfg关键项如下[net] batch64 subdivisions16 width608 height608 channels3 momentum0.9 decay0.0005 learning_rate0.001 burn_in1000 max_batches6000 policysteps steps4800,5400 scales.1,.1需要重点说明的是batch表示一批样本数subdivisions将 batch 拆分成多个小份用于在显存有限时降低单次压入 GPU 的数据量。实际显存占用等于batch / subdivisions对应的数据量。对于 YOLOv4 的 cfg 文件类别数会影响最后三个 YOLO 层前面的卷积核数量。修改完classes之后必须同步修改每个 YOLO 层前面的卷积层 filters 数量。计算公式为filters (classes 5) * 3交通标志有 5 个类别所以 filters 等于 30。如果使用其他类别数需要按此公式重新计算。max_batches一般设置为classes * 2000至少 6000。steps 设置为max_batches的 80% 和 90%用于在训练后期降低学习率。5.3 训练命令YOLOv4 通常使用在 COCO 或 ImageNet 上预训练的主干网络权重官方提供yolov4.conv.137等预训练权重。下载后放到 darknet 项目目录执行训练./darknet detector train ts_data/ts.data cfg/yolov4-ts.cfg yolov4.conv.137如果显存不足可以降低cfg中的subdivisions数值或缩小width和height。训练过程中会实时显示 loss、平均损失、学习率等信息。每迭代 100 次darknet 会把中间权重保存到backup目录。训练结束后最佳权重通常需要根据验证集 mAP 来确定可以把backup/yolov4-ts_final.weights与后期迭代的权重逐一测试。评估指标./darknet detector map ts_data/ts.data cfg/yolov4-ts.cfg backup/yolov4-ts_final.weights该命令会在验证集上计算 mAP数值越高越好。5.4 图片与视频推理./darknet detector test ts_data/ts.data cfg/yolov4-ts.cfg backup/yolov4-ts_final.weights data/road.jpg推理视频时推荐使用thresh参数调节置信度阈值./darknet detector demo ts_data/ts.data cfg/yolov4-ts.cfg backup/yolov4-ts_final.weights test_video.mp4 -thresh 0.256. 模型部署与推理6.1 YOLOv5 转 ONNX 推理训练完成后的 PyTorch 权重.pt不能直接在生产环境运行通常需要转换为通用格式。ONNX 是目前主流的开放神经网络交换格式可以跨框架部署。YOLOv5 官方提供了导出脚本python export.py \ --weights runs/train/exp/weights/best.pt \ --include onnx \ --img 640导出后生成best.onnx文件。ONNX Runtime 推理示例# 文件路径deploy/onnx_infer.py import cv2 import numpy as np import onnxruntime as ort session ort.InferenceSession(best.onnx) input_name session.get_inputs()[0].name input_shape session.get_inputs()[0].shape def preprocess(img, size640): # 保持宽高比缩放并填充 h, w img.shape[:2] r size / max(h, w) new_w, new_h int(w * r), int(h * r) resized cv2.resize(img, (new_w, new_h)) canvas np.full((size, size, 3), 114, dtypenp.uint8) canvas[:new_h, :new_w] resized blob canvas[:, :, ::-1].transpose(2, 0, 1).astype(np.float32) / 255.0 blob np.expand_dims(blob, axis0) return blob, r, new_w, new_h def postprocess(outputs, r, new_w, new_h, conf_thres0.25): # outputs shape: [1, 25200, 6]只取置信度大于阈值的行 preds outputs[0][0] mask preds[:, 4] conf_thres return preds[mask], r, new_w, new_h if __name__ __main__: img cv2.imread(data/sample.jpg) blob, r, new_w, new_h preprocess(img) outputs session.run(None, {input_name: blob}) results, r, new_w, new_h postprocess(outputs, r, new_w, new_h) for det in results: x1, y1, x2, y2, conf, cls det # 坐标还原到原图尺寸 x1 int(x1 / r) y1 int(y1 / r) x2 int(x2 / r) y2 int(y2 / r) cv2.rectangle(img, (x1, y1), (x2, y2), (0, 255, 0), 2) cv2.putText(img, f{conf:.2f}, (x1, y1 - 5), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 1) cv2.imwrite(output.jpg, img)这段代码演示了最简的部署思路实际生产环境还需要处理类别名称、目标过滤、NMS 后处理等步骤。现在 YOLOv5 的高版本官方库也集成了推理基础设施可以根据具体版本调整。6.2 YOLOv4 的部署方案YOLOv4 生产部署有几种常见路径。第一种是 Darknet 原生部署适合服务器端和嵌入式平台直接调用可执行文件进行推理。第二种是转成 ONNX 后使用 ONNX Runtime。需要先把 Darknet 的权重转换为 ONNX 格式转换过程相对繁琐建议参考社区成熟的转换脚本。第三种是使用 OpenCV DNN 模块。OpenCV 的cv2.dnn.readNetFromDarknet可以直接读取 YOLOv4 的 cfg 和 weights 文件无需编译 Darknet适合快速集成到已有的 OpenCV 项目中。# 文件路径deploy/yolov4_cv2_infer.py import cv2 import numpy as np net cv2.dnn.readNetFromDarknet(yolov4-ts.cfg, yolov4-ts_final.weights) # 获取输出层名称 layer_names net.getLayerNames() out_layers [layer_names[i - 1] for i in net.getUnconnectedOutLayers()] img cv2.imread(data/road.jpg) h, w img.shape[:2] blob cv2.dnn.blobFromImage(img, 1/255.0, (608, 608), swapRBTrue, cropFalse) net.setInput(blob) outputs net.forward(out_layers) boxes, confs, class_ids [], [], [] for output in outputs: for detection in output: scores detection[5:] class_id np.argmax(scores) confidence scores[class_id] if confidence 0.25: cx, cy, bw, bh detection[:4] * np.array([w, h, w, h]) x int(cx - bw / 2) y int(cy - bh / 2) boxes.append([x, y, int(bw), int(bh)]) confs.append(float(confidence)) class_ids.append(class_id) idx cv2.dnn.NMSBoxes(boxes, confs, 0.25, 0.45) if len(idx) 0: for i in idx.flatten(): x, y, bw, bh boxes[i] cv2.rectangle(img, (x, y), (x bw, y bh), (0, 255, 0), 2) cv2.putText(img, f{confs[i]:.2f}, (x, y - 5), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 1) cv2.imwrite(output.jpg, img)注意 OpenCV DNN 的坐标还原逻辑与 ONNX 推理不同需要根据输出解析方式调整。6.3 部署注意事项部署是模型落地的关键环节有几个问题需要提前考虑。硬件环境方面GPU 推理延迟低但成本高CPU 推理部署方便但速度慢。如果项目有实时性要求需要选配 GPU 或 NPU如果只是离线批量处理图片CPU 也能接受。输入预处理必须与训练保持一致。YOLOv5 和 YOLOv4 都对输入做了归一化、缩放和填充部署阶段如果处理不一致模型输出的检测效果会明显下降。NMS 阈值、置信度阈值需要根据实际场景调整。生产环境中可以开放配置接口方便现场调参而不需要重新部署模型。7. 常见问题与排查记录问题现象常见原因解决思路训练时显存溢出CUDA out of memorybatch size 过大或输入分辨率过高降低 batch size、增大 subdivisions、减小图像尺寸PyTorch 版本与 CUDA 不匹配安装了 CPU 版 PyTorch 或版本不兼容根据 CUDA 版本重新安装对应 torch 版本YOLOv5 训练 loss 一直不下降学习率过高、数据标注问题、预训练权重加载失败调低学习率、检查标注文件、确认 weights 路径正确Darknet 训练找不到数据文件路径配置错误检查 ts.data 中路径是否真实存在尽量使用绝对路径YOLOv4 报 filters 数量错误修改 classes 后没有同步修改卷积层 filters按(classes 5) * 3公式修改所有 YOLO 层前的 filters模型推理速度很慢输入分辨率过高、模型过大尝试更低分辨率、更小的模型结构、TensorRT 加速检测小目标漏检严重输入尺寸太小或模型容量不足提高输入分辨率、使用更高阶模型、增加小目标数据增强验证集 mAP 很高但实际效果差训练集与测试集分布不一致、过拟合扩充数据集、增加数据增强、检查测试集分布排除问题时应遵循从易到难的顺序先检查数据和路径配置再检查环境依赖最后深入分析模型本身。8. 最佳实践与工程建议8.1 数据管理数据集是深度学习项目的基石。建议从项目一开始就固定数据目录规范使用脚本统一转换标注格式而不是手动修改文件。数据版本管理同样重要最简单的做法是用 Git LFS 或网盘按版本备份训练结果和对应数据版本要能一一对应。类别不均衡在交通标志识别中非常常见。一些类别只有几十张样本而另一些类别有上千张会导致模型严重偏向样本多的类别。缓解方法包括收集更多少数类样本、对不同类别设置采样权重、使用过采样策略。8.2 实验记录训练过程中会产生大量参数组合和权重文件。我的习惯是每次实验都建立独立目录命名格式类似cell_yolov5s_640_bs16_e200并在目录内保存完整的训练命令、数据配置和日志。这样后续复盘时能快速找到对应实验避免出现“这个权重是哪次训练的结果”这类问题。8.3 安全与合法性数据集和模型在正式使用前务必确认版权协议。公开数据集通常要求学术用途免费、商用需要授权不要忽视这一环节。模型部署后如果涉及个人隐私或敏感图像需要加密存储和传输推理日志要进行脱敏处理。涉及自动化决策的场景最好保留人工复核入口避免模型错误带来业务损失。8.4 性能优化对于实时检测项目性能优化可以从几个方向入手。降低输入分辨率是最直接的手段但可能影响小目标召回。更好的方式是使用 TensorRT、OpenVINO 等推理加速引擎对模型进行算子融合和量化能在几乎不损失精度的情况下显著提升速度。批量推理同样值得关注。在服务端场景下把多个请求合并成一个 batch 输入模型吞吐量可以提升数倍。嵌入式设备则更推荐使用轻量级模型。8.5 代码工程化不要把训练和推理代码都堆在一个脚本里。推荐按职责拆分模式、训练、数据、推理、工具等模块增强代码可读性和复用性。配置项不要写死在代码中统一放到 yaml 或环境变量中管理。训练超参数变化频繁如果每次调参都要改源码很难追踪历史版本。9. 总结与学习路线这两套实战项目完整的走下来基本上能掌握深度学习中目标检测任务的核心链路。具体来说做了以下事情从环境准备开始配置 CUDA、PyTorch 和 Darknet这是所有后续步骤的基础接着整理了数据集完成标注格式转换和配置编写然后使用 YOLOv5 训练细胞检测模型、使用 YOLOv4 训练交通标志识别模型再通过 ONNX、OpenCV DNN 把模型部署到实际推理环境中最后整理了训练和部署中遇到的常见问题。接下来可以针对性学习的方向包括小目标检测优化添加注意力机制、改进 Neck 结构、增加高分辨率特征层。模型加速TensorRT 量化加速、剪枝、知识蒸馏。数据自动化半自动标注、难例挖掘。完整工程落地推理服务化、容器化部署、模型监控和自动重训。YOLO 系列框架本身迭代很快YOLOv5 之后还有 YOLOv8、YOLOv9、YOLOv11 等版本。不过核心方法论是相通的数据组织方式、训练流程、部署思路都能复用。建议先把本文两套流程各跑一遍再根据实际项目需求去探索更复杂的方案。动手训练的第一版模型效果差非常正常关键是能定位问题、调整参数、迭代改进。遇到不理解的报错时优先去官方 GitHub Issue 搜索大多数坑都已经有人趟过。