1. 训练目标检测模型前先想清楚这几件事我见过太多人拿到一个目标检测的开源项目直接把预训练权重下载下来凑一批图片就开始训练结果训练了两三天loss下不去mAP上不来最后跑来问我说“这个模型是不是有问题”。其实多半不是模型的问题而是你在动手之前漏掉了几件事。目标检测看似就是“框出物体”但背后牵扯到数据分布、任务定义、算力限制、验收标准这几样东西没想清楚后面每一步都会踩坑。我自己首次完整训练一个检测模型时就是没想清楚任务类型花了半个月做了一个精度极高但完全不符合业务需求的方案最后推倒重来教训很深。1.1 你是要训练整个模型还是微调一个现成模型这个问题的答案直接决定你训练策略和资源投入。如果是从零开始训练意味着你要从随机初始化权重起步那需要的数据量通常是百万级的公开数据集配合几十上百张GPU卡普通人根本耗不起。而绝大多数实际场景里我们做的其实是“领域微调”也就是在别人已经学会通用特征的基础上用你的业务数据去适配新的类别和场景。这两种路径的差别具体到操作上全量训练要关注学习率预热、数据加载吞吐、分布式通讯开销等大工程微调则更关注冻结哪几层、数据增强怎么加、过拟合怎么防。我这里建议除非你有非常特殊的网络结构需要验证否则一律走微调路线。哪怕你只有几百张图用预训练权重做迁移学习效果通常也能达到可用的水平。1.2 你的目标属于单类别还是多类别是密集小目标还是大目标不同检测网络在设计上对这两种场景的偏好差别很大。单类别检测相对简单只需要判断“是不是目标”背景干扰才是主要矛盾多类别检测则要同时区分不同物体分类分支的权重往往需要比回归分支更谨慎地调节。小目标问题又是一个单独的维度。如果你的图像里目标只有几十个像素那么任何依靠高倍下采样的主干网络都会把这些特征抹掉你需要一个保留更多细节的特征层来配合检测头。这一点在选模型时就要确定下来否则后面出现大量漏检再去换网络代价极高。1.3 你手头有多少数据质量到底怎么样数据量不仅指图片张数还有标注框的数量、每个类别的实例数。检测模型要求的是“每个类别至少要有足够多的正样本实例”一张图里就算有几十个目标能提供的变化仍然有限。我自己检查数据时会统计一个分布表包括每个类别的实例数、不同尺寸目标的数量、图片平均目标密度这样可以快速发现数据严重不均衡的问题。更让人头疼的是数据质量。很多标注是从网上半自动爬下来的会出现错标、漏标、框边界漂移这些情况。模型学到的其实是你标注里的噪声而不是真正的物体规律。你花在清洗数据上的时间和最终精度的提升是呈正比的这一点在任何论文里都不会写。1.4 用什么指标验收模型mAP真的代表业务效果吗mAP是一个学术界默认的指标但它只衡量预测框与真实框的IoU匹配结果并不关心你业务里真正在意的东西。比如你需要的是“每个零件都要检测出来哪怕误报多也不能漏”那你需要重点关注召回率反过来比如你要做的产品是在人群中找特定标识误报太多会让用户反感那你要压住误检率。我习惯在动手训练前就把验收标准写下来是看某个类别的召回率还是整体mAP还是统计每天误报的次数上限。没有这些硬指标训练到一半你会迷失调参全凭感觉。这也是为什么很多团队训练出的模型指标不低却无法落地因为指标没选对。2. 数据整理与标注决定模型上限的第一关很多教程喜欢跳过数据处理直接讲模型好像目标检测的核心就是网络结构。但以我实际经验来看在检测任务里数据整理花的时间通常占整个项目百分之七八十。模型错了可以换一个结构调参也相对可控但数据的问题会让模型怎么调都收敛不到理想状态因为上限已经被数据锁死了。2.1 图片采集的坑分辨率、光照、遮挡分布我第一次训练安全帽检测模型时随手从监控视频里截了几千帧图像没有做任何筛选结果模型在夜间场景的召回率只有白天的一半。后来才发现数据里大部分图片都是光线充足的白天场景夜间样本少得可怜。模型的泛化能力完全取决于训练集的覆盖度所以采集阶段就要有意识地平衡光照、时间段、天气、角度、距离这些因素。分辨率是另一个容易被忽略的因素。如果你训练用的是1080P的图但实际部署时图片是4K的模型的表现可能不会变好甚至更差因为它在训练时没学过这个分辨率下的尺度分布。反过来也一样用高清图训练但部署时摄像头输出的是压缩过的低分辨率图那检测效果肯定打折扣。我建议你在采集阶段直接模拟部署条件下的图像质量包括压缩率、噪声、焦距等。哪怕引入一些模糊、压缩伪影、过曝的样本也要比干干净净的完美图集更接近真实场景。2.2 标注格式的统一比工具更重要标注工具的选择因人而异但格式的统一必须从一开始就定好。目前主流的工作流是先用某款标注工具导出成一种通用格式再转换成训练框架需要的格式。我自己踩过最大的坑就是团队里不同人用了不同标注软件导出的坐标定义不一致——有的是左上角加宽高有的是中心点加宽高有的四边形四个点混在一起直接让数据加载报错。更隐蔽的是坐标归一化问题。有些格式要求坐标是基于原图尺寸的比例有些是绝对像素。如果不统一模型看到的数据分布完全是乱的训练过程中你会发现loss很奇怪比如前期就特别大或者验证集的框完全错位。所以我会在项目一开始就用脚本强制校验数据格式检查坐标是否越界、类别id是否有缺失、标签文件是否有空标注这些校验虽然不起眼但能省掉后续无数个调试时间。2.3 数据划分要不要随机答案是否定的随机划分是最省事的做法但在检测任务里尤其是视频监控场景随机划分会导致同一个视频相邻帧的图像同时出现在训练集和验证集造成“数据泄漏”。所谓泄漏指的是模型其实在“记忆”图像背景而不是学习目标本身因为前后帧背景几乎一样只是目标位置有微小移动。这时候训练集的mAP会虚高但换到全新的视频场景效果立刻崩掉。正确的做法是按“场景”划分假设数据来自不同摄像头、不同时间段那么应该保证同一个摄像头的数据不会同时落在训练集和验证集。我在做项目时一般会为每条数据记录一个“采集场景ID”划分时按场景ID去切而不是按图片文件去切。这样得到的验证指标才有参考价值。2.4 类别不均衡与负样本检测模型天然面临正负样本失衡问题所以一般都会配置采样策略。但很多人只关注了背景与前景的不平衡忽略了不同类别之间的实例数量差。比如你的数据里有800个“车辆”实例只有60个“行人”实例那么模型很容易倾向把类似行人轮廓的目标一并归为车辆因为车辆类别的先验概率更大。处理这个问题的常用手段是类别重采样我一般会统计每个类别的实例数给少的类别多复制几份或通过拼接增强增加出现频率。需要注意的是复制样本容易导致模型在同一图片上过拟合所以可以额外加一些颜色扰动、尺度抖动。负样本也很重要一张完全没有目标的背景图能让模型学会抑制误检我在每个类别都少的场景里会专门采集大量的纯背景图并配置为负样本参与训练。3. 模型选型与训练配置把问题映射到合适的网络结构目标检测模型的发展路线已经足够成熟从两阶段到一阶段再到Transformer类检测器各有各的适用范围。我的观点是不要一味追新先看你的算力、场景和延迟要求再倒推选什么结构。3.1 骨干网络与检测头的搭配思路骨干网络负责提取特征检测头负责从特征里回归出框和类别。两者是配合关系不是简单拼装。如果你用了一个很强的骨干比如百层以上的深度网络但检测头却是一个轻量级输出层那么小目标和密集目标的定位精度可能不够反过来强的检测头加一个很弱的骨干特征本身不够丰富也难以出效果。我训练时会遵循一个原则先用一套标准配置跑通基线再逐步更换骨干网络对比而不是一上来就上大模型。基线模型确认有效之后再用手头的数据去测试是分辨率影响大还是模型容量影响大。很多时候提高输入分辨率比增加模型深度更有效因为检测任务对空间细节比较敏感。3.2 预训练权重到底要不要用多数时候需要虽然社区里总有“从零训练也能涨点”的说法但那通常是在超大规模数据集、长期训练的条件下得出的结论。我们在实际工程中数据量一般几百到几万张直接随机初始化基本很难收敛。使用在通用数据集上预训练的权重等于让模型先继承了一整套通用的边缘、纹理、形状特征你的训练只需要微调类别相关的部分。需要注意的是预训练权重并不是越新越好。某些新鲜的权重训练时采用的代码版本和你的框架不一致加载后可能出现张量名不匹配或通道顺序不一致的错误。所以我会检查权重文件的元信息确认它对应的网络配置和当前代码是否匹配如果不匹配就重新导出。3.3 训练框架里的关键配置都在做什么你拿到的任何训练脚本里都有一堆看起来差不多的配置项但它们各自影响很大。以最常见的配置为例input_size决定图像输入尺寸anchor相关参数决定了先验框的尺度分配batch_size和lr是联动的milestones用来做固定步长学习率衰减num_workers决定数据加载的并行度。初学者最容易犯错的地方是修改了输入尺寸但忘记同步修正锚框参数。如果你的训练框架基于锚框机制那么锚框的尺寸是针对特定特征层定的输入分辨率改变后目标在特征图上的尺度分布也会变锚框可能需要重新聚类。不重新聚类的话虽然也能训练但收敛速度和最终效果都会受影响。3.4 显存不够怎么办batch size、混合精度、梯度累计“显存不够”永远是训练检测模型的高频问题。通常的解决办法有三个降低batch size、开混合精度、使用梯度累计。降低batch size要谨慎因为学习率是和batch size挂钩的减小batch size后学习率也要按比例缩小否则优化过程会震荡。混合精度是目前性价比最高的方案它只需将部分张量用半精度存储和计算显存占用可以降低接近一半而且很多主流GPU都有专门的加速单元训练速度还可能更快。梯度累计是在batch size无法再降时通过累计几个小批量梯度的平均值来模拟一个较大的batch。它的坑在于BatchNorm类层会受到影响因为统计量是基于当前小批量的累计梯度并不会改变BN的统计范围。所以如果要使用可以考虑使用同步BN或者换用不依赖BN的结构。4. 训练过程中的监控与调参技巧训练一旦跑起来不是坐等结束就行了。目标检测的训练周期通常比较长如果前几十轮就出现明显问题越早发现越能及时止损。我习惯每训练一个小的检查点就记录日志并用可视化工具查看指标变化而不是刷满全流程。4.1 损失函数曲线应该长什么样从预训练权重开始微调时初始loss一般不会特别高因为模型已经具备一定基础。随着训练进行loss应该呈现一种“阶梯式下降”并不是光滑直线。这很正常因为不同阶段的优化对不同难度的样本发挥效果不同。你不用纠结于每次迭代的下一次loss数值而要看平滑之后的趋势。如果你发现loss在刚开始就爆表先检查数据加载和标签映射是否错误再去看学习率是不是太大了。如果loss下降很快然后一直震荡不降可能模型已经过拟合到训练集的小部分模式了这时候可以降低学习率同时加强数据增强。更常见的一种情况是分类loss降得很快定位loss却怎么也不降。那可能是回归任务的学习率被共享的优化器拉得太低可以尝试为回归分支单独设置稍高一点的学习率。4.2 学习率策略从warmup到余弦退火学习率是检测训练里最关键的超参数之一。直接以0.01起步可能在初期让loss剧烈抖动特别是用预训练权重时。通用的做法是加一个warmup阶段在前几个epoch内从很小的学习率比如0.0001线性提升到目标学习率这样可以让模型逐渐适应新的数据分布。到了训练中后期学习率如果一直保持较大值模型会在最优值附近来回跳动无法收敛到更优的位置。常见策略是余弦退火它会让学习率平滑地降低到接近零在后期有不错的表现。如果你更喜欢简单控制也可以用固定步长的衰减比如在第60轮和第80轮的时候衰减到十分之一。我在实际项目中发现过一个太长的训练周期mAP可能反而会掉一点这在检测任务里很常见。所以训练完不一定就是“最终模型”你可以保存多个检查点然后在验证集上分别测试选效果最好的那一个而不是最后一次保存的。4.3 验证集怎么选多久验证一次验证集应该与训练集完全隔离不能有同源场景这个前面已经说过。验证的频率取决于训练轮数和单轮耗时我一般每5到10轮验证一次太频繁会占用大量时间太少则会错过判断最佳checkpoint的时机。验证时可以输出每一类的AP曲线而不是只看总mAP。有时候整体mAP看起来不错但某个小类别AP特别低这说明数据分布有问题或者模型对该类别的特征不敏感。只有看到细分指标你才知道该往哪个方向调整。4.4 训练中断与恢复的注意事项训练检测模型经常遇到机器重启、手动停掉、显存溢出导致中断。如果没有定期保存checkpoint那前面可能白跑了几十个小时。我习惯每训练一定轮数就保存状态同时保存优化器参数和随机种子这样恢复时能完全接上。恢复训练还有一个常见的坑如果你改变了训练脚本里的数据增强或输入尺寸旧的优化器状态和当前学习率调度可能不匹配强行载入会得到不理想的结果。所以恢复训练时最好保持配置完全一致或者干脆从最近一个稳定checkpoint重新开始避免出现莫名其妙的精度下降。5. 训练结束不等于完事评估、排查与收敛经验模型训练完很多人直接拿去测试发现效果还行就结束了。但实际工作中训练完成只是起点。针对验证集做详细评估、定位失败案例、针对边缘情况做优化这些步骤能让你的模型精度再上一个台阶甚至避免上线后翻车。5.1 mAP怎么算PR曲线怎么读mAP其实是一个通过改变置信度阈值得到的综合指标。每个类别的预测结果会按置信度从高到低排列不断调整阈值就能得到一条以召回率为横轴、精确率为纵轴的PR曲线。曲线越靠近右上角说明模型越能在保持高精度的同时不丢目标。读PR曲线有个技巧看曲线掉点的位置。如果曲线在召回率很低的地方就急剧下降说明置信度高的预测也会出现不少错检模型对正样本的置信度不够自信如果曲线在召回率很高时才掉说明模型容易把真正目标漏掉。根据不同曲线形态你可以决定后续是加强困难样本的采集还是调整NMS阈值或者修改类别权重。有一点要特别注意mAP整体接近但PR曲线形态不同可能在业务上感觉完全不同。比如一个模型的PR曲线在低召回时很高非常适合“准召平衡”场景另一个模型虽然mAP稍高但前期误检多放到业务里会被频繁误报淹没。所以别只看表格里的mAP数字一定要看图。5.2 误检漏检的典型原因与排查链路如果你的模型总是把A物体误检成B物体典型原因是训练数据里这两种物体形态相似或者类别边界没有定义清楚。我在标注时遇到过将“穿上反光服的人”和“未穿反光服的人”分成两类但标注员只按“人”标注导致模型无论如何都无法区分。所以排查第一步是检查标注逻辑是否有歧义。漏检则多半出现在小目标、遮挡、模糊这类困难场景下。排查时我会把漏检图片单独拉出来看目标尺寸在输入分辨率中占据的像素比例。如果小目标比例过低可以尝试提高输入分辨率、增加小目标复制粘贴增强、或者采用多尺度训练。如果问题集中在某个特定背景区域可以考虑是不是场景太复杂导致模型学到背景纹理。这时候补充该场景的负样本和真实正样本往往会比调整模型结构更直接有效。5.3 多尺度测试与TTA的提升空间测试时增强是一种不需要重新训练即可小幅度提升精度的技巧。最常用的是多尺度推理把同一张图片缩放成不同尺寸分别送入模型再把所有预测框合并进行NMS。这种方式对尺度变化较大的检测场景很有用能明显提升小目标的召回率。但它的代价是推理时间成倍增加所以是否采用要结合你们业务的实时性要求。如果摄像头上的检测需要毫秒级响应那么TTA基本不可行但如果是离线批量处理图片完全可以用。另一种更实用的做法是“水平翻转TTA”就是把图片水平和原图各跑一次然后融合预测框。这个提升幅度通常比多尺度小但速度快。实际项目中我一般先评测原图效果再看翻转TTA能提升多少如果能提升超过两个点说明模型对目标的镜像对称性利用还不够充分。5.4 导出与部署前要做哪些无损处理验证完之后模型往往还要导出成推理格式。这一步经常出的问题包括算子的兼容性、图像的预处理差异、以及归一化方式不同。比如训练时你用了RGB顺序但部署时常用的读取库可能返回BGR顺序如果不做一致化就会导致输出完全错乱。所以我会在导出前写一个小脚本对比原始框架的推理结果和导出后的推理结果确保误差小于某个极小阈值。另一个容易被忽略的是非极大值抑制的置信度阈值和IoU阈值在导出时是否被固化。有些框架的导出流程会自动裁剪掉一些后处理操作导致你部署时的结果跟离线评估差异巨大。我的检查习惯是先用一小批验证集图片分别跑原始模型和导出模型对比每一张图的预测框数量和置信度分布如果分布差异较大就立即排查预处理或后处理环节。最后再说一点个人体会训练目标检测模型不是一次性的冲刺而是一个循环的过程。你训练完第一版分析错误补数据重新训练精度往往才会真的涨上去。哪怕你的数据量有限只要认真对待错误分析模型的可用性就能稳步提高。不要指望某个神奇的模型结构一次性解决所有问题扎实的数据理解和实验迭代才是最有用的经验。