刚做完一个工地运输车识别检测项目正好沉淀一下。这套系统基于YOLOv10从数据集标注、模型训练到UI界面搭建全都走了一遍完整流程最终做成了一个带图形界面的Python检测工具。整个过程踩了不少坑也总结了一些实战经验这里分享给准备做同类项目、尤其是工业场景视觉识别的朋友。1. 先说结论这套系统到底做了什么1.1 系统能完成的事这套系统解决的核心问题很明确在工地出入口、洗车台、料场等固定监控点自动识别来往运输车辆并实时记录车辆类型。我对接的一个模拟项目X里实际检测目标包括渣土车、混凝土搅拌车、自卸车、挖掘机、装载机这几类常见工程车辆检测端采用YOLOv10模型配套了一个可视化界面支持导入单张图片、视频文件和连接摄像头进行实时识别。系统的主要功能分四块图片检测、视频检测、摄像头实时检测、检测结果统计。图片检测适合对抓拍照片批量分析视频检测可以处理历史监控录像摄像头模式则直接对应现场实时监控场景。每次检测结果都会在界面上标注出车辆位置和类别同时按类别汇总数量方便后续统计进出场车次。如果你正在做一个类似的视觉识别项目或者想把YOLO系列模型落地到实际场景中这篇复盘里关于数据集构建、训练调参、界面集成的内容可以直接参考。1.2 为什么选YOLOv10而不是其他版本选型阶段我对比了YOLOv5、YOLOv8和YOLOv10。最终选择YOLOv10核心原因是它在保持高精度的同时推理效率更进一步而且引入了一套端到端的无NMS推理机制。先解释一下什么是NMS。传统目标检测模型在输出结果时会对同一个目标产生多个重叠的候选框需要用NMS非极大值抑制算法筛掉多余的框保留置信度最高的那一个。这个过程虽然是标准操作但会引入额外的计算延迟而且NMS的阈值参数需要手动调整不同场景下的适应性有局限。YOLOv10通过一致性双分配策略在训练阶段让模型学会直接输出唯一的检测框推理时不需要NMS速度和精度都得到了优化。当然YOLOv8和YOLOv5也是成熟的选择。但既然新版本在架构上有明显改进而且ultralytics官方已经集成支持生态完整性和后续维护都有保障我就直接采用了YOLOv10。实际跑下来在工地这个场景里模型对中大型工程车辆的识别效果确实比较理想即使在部分遮挡和雨天环境下也能保持稳定输出。2. 数据是第一步工地车辆数据集的构建2.1 素材从哪来很多做检测项目的朋友一上来就找现成数据集实际上针对工地车辆这个垂直场景公开数据集很难直接满足需求。公开数据里的工程车辆大多是国外场景国内常见的渣土车涂装、搅拌车罐体样式、自卸车结构差异很大直接拿来训练容易出现分布偏移也就是所谓的训练集和真实场景不匹配。我做这个项目时素材来源分三类第一类是现场监控抓拍在合规前提下采集工地出入口的车辆通行画面第二类是互联网公开图片搜索渣土车、混凝土搅拌车、自卸运输车等关键词筛选清晰且角度多样的图片第三类是视频抽帧从公开的工地监控视频、行车记录仪素材中按帧抽取画面。三类素材加起来大概收集了4000多张图片每类的数量分布并不平均挖掘机、装载机更容易找到素材渣土车和搅拌车的角度多样性相对较少。这里提醒一下素材数量虽然重要更关键的是多样性——同一个类别如果只有正面图片模型很容易过拟合到特定角度换一个视角就检测不出来了。所以采集时要有意识地补充侧面、背面、遮挡、雨天、夜间等不同条件的样本。2.2 标注规范与格式转换我用了两种标注工具早期用LabelImg做框标注后期换成了X-AnyLabeling因为后者支持自动标注辅助能显著提升效率。标注的类别我定义了5类dump_truck渣土车concrete_mixer混凝土搅拌车dump_tipper自卸车excavator挖掘机loader装载机这里有一个容易踩坑的细节类别名称最好统一用英文字母加下划线不要用中文。虽然某些标注工具支持中文标签但后续转成YOLO格式、训练读取类别文件时中文容易引发编码问题没必要在这个环节冒险。标注规范方面有几个原则必须坚持。第一目标被遮挡超过一半时不标或者只在目标主体清晰可见时标注第二目标在画面边缘截断时仍可标注因为实际监控场景中车辆经常进出画面第三阴影、雨雾中的车辆如果轮廓可辨就应该标注这有助于模型学习困难样本第四完全不标远处过小的车辆这类目标就算标注了模型也很难学到有效特征反而可能引入噪声。标注完成后是格式转换。如果用的是LabelImg默认导出的是PASCAL VOC格式的XML文件需要转换成YOLO格式的TXT文件。YOLO格式每一行是类别ID、中心点x坐标、中心点y坐标、目标宽度、目标高度坐标值都是归一化到0到1之间的小数。转换逻辑很简单就是读取XML里的xmin、ymin、xmax、ymax换算成归一化中心点和宽高。转换完还要做一步校验随机抽几张图把标注框画回去看确认坐标没有错位。这一条我建议每次做完数据集都执行画框验证虽然费几分钟时间但能避免训练时才发现标注格式不对的尴尬。2.3 数据增强与类别均衡工地场景有个明显特点环境多样性高晴天、雨天、扬尘、夜间都有可能遇到。为了提升模型泛化能力我在训练时启用了数据增强也就是在训练过程中对图片做随机变换相当于免费扩充数据集。YOLOv10基于ultralytics框架训练时默认会启用Mosaic增强就是把4张图片随机拼接成1张这能提升模型对多尺度目标的感知能力。此外还可以手动调整HSV颜色变换、随机翻转、缩放等参数。数据增强的开启是在训练配置里直接控制的。比较基础的是颜色扰动模拟不同光照条件下车辆颜色的变化这个对夜间和黄昏场景特别有效随机上下翻转和左右翻转能增加角度多样性注意左右翻转在需要检测左右方向不对称的车辆时慎用Mosaic拼接对提高小目标和遮挡目标的检测效果很有帮助。类别均衡方面如果某个类别的样本量偏少训练时模型对该类的学习就不充分表现为召回率低、容易漏检。我当时的处理办法是对少数类做过采样在训练集里适当重复少数类样本配合较大的数据增强让模型对这类数据有足够多的迭代更新。3. 模型训练把YOLOv10跑起来的完整过程3.1 环境准备训练YOLOv10硬件和软件环境都需要提前规划。我在本地用了一块显存12G的显卡训练如果你显存小可以选择更小的模型版本或者降低批量大小。软件方面核心依赖就是Python、PyTorch、ultralytics。实际训练时还要用到NumPy、OpenCV这些基础库。我的建议是直接用conda建一个专用虚拟环境避免和系统Python环境产生包依赖冲突。搭建环境时有一个细节值得注意PyTorch的安装版本要和显卡驱动、CUDA版本匹配。现在PyTorch的官方安装命令会自动适配建议装完成后用一段简单代码验证GPU是否可用。这个验证步骤虽然基础但能避免后面训练时才发现用的是CPU白等半天的情况。3.2 训练参数的选择训练时我使用的模型预训练权重是yolov10n、yolov10m、yolov10l三个版本做过对比最后选定了yolov10m作为基座。选这个档位的原因比较实际yolov10n参数最少推理最快但对小目标和遮挡目标的精度有妥协yolov10l精度更高可推理速度对实时性有一定影响。yolov10m属于中间档精度和速度都比较适合工地监控这个场景。训练命令的核心参数一般这样配置from ultralytics import YOLO model YOLO(yolov10m.pt) results model.train( datasteel_site.yaml, epochs300, imgsz640, batch16, device0, workers4, lr00.01, mosaic1.0, patience50, seed42 )解释一下几个重点参数。epochs设为300配合patience50早停机制也就是连续50轮验证集指标不再提升时自动停止训练避免过拟合。imgsz设为640这是YOLO系列的动态输入尺寸如果后续检测分辨率更高的小目标可以适当提升到960甚至1280但训练时间和显存占用也会成倍增加。batch大小根据显存调整12G显存跑yolov10mbatch设为16已经比较满了。workers是数据加载线程数一般设为CPU核心数的一半设置太高可能造成数据加载瓶颈反而拖慢训练。训练数据配置文件是YOLO格式的YAML内容是数据集路径和类别列表。这里有一个关键提醒在Windows系统上数据路径最好写绝对路径相对路径偶尔会出现找不到图片的问题排错很麻烦。3.3 训练结果怎么看训练过程会实时输出loss曲线同时定期在验证集上评估精度指标。ultralytics框架会把训练日志、权重文件、可视化结果保存到训练输出目录里。YOLO训练的主要指标是mAP50和mAP50-95。mAP50表示IoU阈值为0.5时的平均精度均值mAP50-95表示在不同IoU阈值下计算的平均精度后者要求更严苛也更能体现模型对目标定位的准确性。我的训练结果mAP50在0.88左右mAP50-95在0.64左右对于工地车辆这个场景已经够用。训练完成后输出目录里会生成多个权重文件其中best.pt是验证集表现最好的权重last.pt是最后一轮训练的权重。推理时优先使用best.pt。这里我要特别说明一个细节如果训练过程中出现过验证集指标突然下降、然后在后面几轮又回升的情况不用急着终止训练可以观察整体趋势是否稳定提升早停机制会帮你做最终判断。4. 系统实现与UI界面开发4.1 项目结构设计这是很多初学者容易忽视的部分。模型训练完之后从技术角度讲核心工作其实已经完成了但如果要交付一个能给别人使用的系统UI和代码组织才是关键。我的项目结构按照功能做了拆分construction_vehicle_detection/ ├── datasets/ │ ├── images/ │ ├── labels/ │ └── steel_site.yaml ├── runs/ │ └── detect/ ├── weights/ │ └── best.pt ├── src/ │ ├── train.py │ ├── detect.py │ ├── ui_main.py │ └── utils.py ├── requirements.txt └── README.mddatasets目录放数据集weights目录放训练好的模型权重src目录放核心代码UI相关代码独立成一个文件这样后续如果要改成Web界面或者移动端只需要替换UI层检测核心逻辑不用变动。4.2 检测推理模块检测推理模块是整个系统的底层能力我封装了一个Detector类对外提供predict方法UI层只需调用这个方法传入图片就能拿到带标注框的结果图、目标类别列表和置信度列表。from ultralytics import YOLO import cv2 class VehicleDetector: def __init__(self, weights_pathweights/best.pt, conf_thres0.25): self.model YOLO(weights_path) self.conf_thres conf_thres def predict(self, image): results self.model.predict( sourceimage, confself.conf_thres, device0, verboseFalse ) return results[0] def draw_results(self, image, results): annotated results.plot() return annotated置信度阈值conf我这里用的0.25这是YOLO的默认阈值。但实际项目中不建议直接用默认值建议根据验证集的置信度分布做一次调优。如果现场误报多把阈值往上调如果漏报多把阈值往下调。我用的是0.3平衡下来效果比较好。Detector类里还有一个关键细节model.predict方法在连续调用时会频繁切换设备上下文如果每次都传入device参数推理效率会受影响。正确的做法是在类初始化时指定好设备Predict时保持统一这样视频流场景下帧率能稳定。4.3 UI界面的设计UI界面的框架我用的PyQt5。为什么不用Tkinter因为PyQt5的布局系统更灵活能做出更接近专业软件的界面而且支持样式表定制外观上能做得更好看。界面布局我设计了三个区域左侧是功能操作区包括按钮和参数设置中间是检测结果显示区显示原始画面和标注框右侧是统计信息区显示各类车辆的实时计数。底部还有一条日志栏记录每次检测的时间和结果。功能按钮包括打开图片、打开视频、打开摄像头、保存结果、退出系统。图片检测模式下点击打开图片选择图片后系统自动运行检测并显示结果视频检测模式下可以用进度条跳转视频位置检测结果逐帧显示摄像头模式下通过OpenCV读取摄像头画面调用Detector类检测并实时显示。class MainWindow(QMainWindow): def __init__(self): super().__init__() self.detector VehicleDetector() self.setWindowTitle(工地运输车识别检测系统) self.setGeometry(100, 100, 1280, 800) self.init_ui() def on_open_image(self): file_path, _ QFileDialog.getOpenFileName( self, 选择图片, , 图片文件 (*.jpg *.png *.bmp) ) if file_path: image cv2.imread(file_path) results self.detector.predict(image) annotated self.detector.draw_results(image, results) self.show_result(annotated) self.update_statistics(results)统计信息的实现要注意一个细节因为检测是逐帧进行的如果直接每帧累计计数会出现同一辆车经过多帧被重复计数的问题。我的做法是做一个简易去重逻辑每5帧统计一次记录当前画面中的各类车辆数量如果新一帧的检测结果与上一统计周期的结果类别和数量差异很小就不重复累加。这种策略虽然不如目标追踪算法精确但对工地车辆通行统计已经足够用了。5. 落地过程中踩过的坑5.1 检测精度相关典型问题一渣土车和自卸车容易混淆。这两类车外观在某些角度下高度相似尤其是侧面视角车厢形态接近。我排查后发现数据集中自卸车的样本量偏少且多为空载状态渣土车则多是满载状态模型学到的主要区分特征是车厢形态和覆盖物。解决办法是补充了大量自卸车空载、载货、不同角度的样本同时增加了混淆样本在训练集中的权重。典型问题二夜间检测效果差。工地车辆经常夜间作业普通摄像头在弱光下画面噪点多模型检测置信度明显下降。我用了三个手段缓解一是增加夜间图片的训练样本二是训练时增强HSV色彩变换让模型适应色彩失真三是建议现场安装补光设备。经过调整后夜间检测效果从原来的频繁漏检提升到了基本稳定的状态。典型问题三摄像头仰拍视角下检测率低。工地监控通常安装在门架高处俯拍为主但也有部分摄像头装在较低位置车辆从远处驶来属于斜侧视角。这种视角下车辆轮廓形变明显尤其在转弯时。我在数据集中增加了低机位视角的图片并对样本做了旋转增强效果有改善。但说实话这类问题没有完美解最终建议现场尽量统一摄像头安装高度和角度。5.2 部署性能相关部署到普通工控机上时CPU推理速度是另一个考验。工控机的CPU性能一般用yolov10m推理一张640x640的图片CPU模式下耗时约200到300毫秒勉强达到实时但视频流场景会卡顿。如果现场没有GPU建议改用yolov10n权重推理耗时能缩短到一半左右虽然精度略有下降但整体可用性更高。另一个优化方向是TensorRT部署。把模型导出成TensorRT格式后在NVIDIA显卡上推理速度能提升几倍到十几倍。导出时需要注意TensorRT的版本和PyTorch版本要匹配否则会报兼容性错误。这个我在实际项目中遇到过一次解决方式是使用NVIDIA官方提供的PyTorch镜像重新搭环境一步到位。还有一个小优化是输入分辨率。监控视频流的原始分辨率一般是1080P或更高直接全分辨率推理非常慢合理做法是缩放到640再做检测标注框坐标再映射回原图。这个过程虽然多了两次坐标变换但推理速度能提升好几倍是工业部署的常规做法。5.3 现场环境适配现场调试时遇到过几个真实问题。第一个是雨天场景雨滴在画面上形成密集的条纹噪声模型把部分雨纹误检为车辆边缘。当时的处理办法是优化数据增强增加了随机噪声和模糊选项让模型对这类干扰更鲁棒。如果雨量过大导致画面严重模糊再强的模型也很难保证效果这时候就需要现场摄像头具备防水防雾功能别指望模型解决所有问题。第二个是扬尘场景。工地扬尘会让车辆轮廓模糊尤其在干躁天气。我的应对是训练时加入高斯模糊增强让模型学会在边缘虚化的情况下仍能识别车辆主体。实际测试中等程度的扬尘遮挡mAP可以维持在0.75以上。第三个是画面比例适配。工地摄像头有些是4:3画面有些是16:9检测时需要注意保持原始宽高比否则车辆变形会影响精度。我在Detector类里对输入图片做了长边缩放处理保持比例不变避免直接拉伸。经验总结做这个项目的过程中我印象最深的一点是模型训练只占整个项目的三分之一时间剩下的时间都花在了数据整理、界面开发和现场调优上。如果你的目标不只是跑通demo而是要交付一个真正能用起来的系统提前预留数据采集和现场适配的时间非常有必要。另外一点体会是选模型不要只看指标还要看生态。YOLOv10的模型性能确实优秀但更重要的是ultralytics框架把数据加载、训练、评估、导出这些流程都标准化了这为后续开发和维护节省了大量时间。如果你有精力后续还可以继续往目标追踪和行为分析方向扩展这在这个系统上都有比较成熟的扩展路径。