1. 从“看得见”到“看得准”目标检测与定位到底在解决什么问题很多人第一次接触计算机视觉脑子里冒出来的第一个念头往往是“让机器认出图片里有什么”。这个想法没错但只对了一半。真正让机器从“看见”进化到“看懂”的关键一步是不仅要说出画面里有只猫、有辆车、有个人还得说清楚这只猫在画面的哪个位置、这辆车占了多大区域、这个人离镜头是远是近。这就是目标检测和目标定位要干的事。我刚开始做视觉项目的时候踩过一个很典型的坑以为检测就是分类的升级版把图片喂给网络输出一个类别标签就完事了。结果实际跑起来才发现分类网络告诉我“这是一张有狗的图片”但我根本不知道狗在哪儿。如果画面里同时有三只狗、两辆车、一个人分类网络直接懵了——它只能给整张图打一个标签。而目标检测要做的是把画面里每一个感兴趣的对象都框出来并且给每个框标上类别。这里需要先把两个容易混淆的概念掰扯清楚。目标定位通常指的是在已知类别的前提下找出单个或多个同类目标在图像中的具体坐标位置输出形式一般是边界框的四个坐标值。目标检测则是在定位的基础上更进一步不仅要找到位置还要判断每个位置上的物体属于哪个类别。换句话说定位回答“在哪里”检测回答“是什么在哪里”。在实际工程中这两者往往是同一个模型同时完成的所以业内经常把它们放在一起讨论。那这项技术到底能用在哪些地方我梳理了一下自己接触过的场景大致可以分成这么几类。第一类是安防与监控比如在园区里检测有没有人闯入禁区、有没有人没戴安全帽、有没有车辆违停。第二类是工业质检在生产线上检测产品表面有没有划痕、缺件、装配错位。第三类是自动驾驶与辅助驾驶检测道路上的车辆、行人、交通标志和信号灯。第四类是零售与商业分析统计货架上的商品陈列情况、分析顾客在店内的动线。第五类是医疗影像在CT或X光片里定位病灶区域。第六类是农业与遥感从航拍图像里检测农作物长势、病虫害区域或者统计果树数量。这些场景看起来五花八门但底层要解决的核心问题是一样的给定一张图像找出所有感兴趣目标的位置和类别。区别只在于目标的尺度、密度、遮挡程度、光照条件、实时性要求各不相同。所以我在做项目选型的时候从来不会一上来就问“哪个模型最好”而是先问“你的场景里目标有多大、有多密、跑在什么设备上、能容忍多少延迟”。这几个问题的答案直接决定了后面技术路线的选择。提示如果你刚入门不要一上来就啃最新的论文。先把“分类、定位、检测、分割”这四个概念的区别和联系搞清楚后面学任何模型都会事半功倍。2. 两阶段与单阶段检测模型的两条技术路线怎么选目标检测模型发展到现在技术路线大致可以分成两大阵营两阶段检测器和单阶段检测器。这两条路线的设计哲学完全不同适用的场景也各有侧重。我在实际项目里两种都用过下面把它们的核心差异和选型逻辑讲清楚。2.1 两阶段检测器的工作逻辑先找候选再精修两阶段检测器的代表思路是“先粗后精”。第一步网络会在图像上生成大量可能包含目标的候选区域这些区域叫做区域提议。第二步对每个候选区域单独做分类和边界框回归判断它到底是不是目标、是什么类别、框的位置需不需要微调。这种设计的优势很明显因为第二阶段对每个候选区域都做了精细的分类和回归所以检测精度通常更高尤其是对小目标和密集目标的处理更稳。但代价是速度慢因为要处理的候选区域数量可能上千每个都要过一遍分类网络。我早期在一个工业质检项目里用过这类模型当时产线上要检测的缺陷非常小有些只有十几个像素宽而且缺陷和背景的对比度很低。两阶段模型在这种场景下的召回率明显比单阶段高出一截。但问题是产线速度要求每秒钟处理至少15帧两阶段模型在当时的硬件上跑不到这个速度最后只能换方案。2.2 单阶段检测器的取舍一步到位速度优先单阶段检测器走的是另一条路直接在特征图上预测每个位置的类别和边界框不需要单独的候选区域生成步骤。你可以把它理解成“在每个像素位置上直接问这里有没有目标是什么框多大”这种设计的最大优势是速度快因为整个网络是一次前向传播就出结果没有反复的区域裁剪和二次分类。在需要实时处理的场景里单阶段模型几乎是默认选择。但它的短板也很明显由于正负样本极度不平衡绝大多数位置都是背景训练时容易出现漏检尤其是小目标和密集排列的目标。不过这几年单阶段模型进步非常快通过特征金字塔、焦点损失、多尺度训练等技巧精度已经追得很近了。我在一个交通监控项目里用单阶段模型检测车辆和行人在1080P分辨率下能做到每秒30帧以上精度也满足业务要求。2.3 选型决策表什么场景该用哪条路线为了让你更直观地做选择我把自己总结的选型逻辑整理成了一张表考量维度两阶段检测器单阶段检测器检测精度通常更高尤其小目标近年已接近但极端小目标仍略逊推理速度较慢难以做到高帧率实时快适合实时场景训练难度相对稳定收敛较好需要调损失函数和正负样本策略密集目标表现较好需要专门优化否则容易漏检部署复杂度较高计算图较复杂较低适合边缘设备典型场景工业质检、医疗影像、遥感安防监控、自动驾驶、移动端我的经验是如果场景对精度要求极高、对速度不敏感或者目标特别小、特别密优先考虑两阶段路线。如果场景要求实时、部署在算力有限的设备上或者目标尺度适中、分布不太密集单阶段路线更合适。当然最终还是要用你自己的数据跑一遍对比因为不同数据集上的表现差异可能很大。注意不要迷信论文里的精度指标。论文用的数据集和你的业务数据分布往往差别很大一定要在自己的验证集上实测。3. 边界框的表示与回归检测模型到底在输出什么很多人用现成的检测框架跑通了Demo但问到“模型输出的那个框到底是怎么算出来的”就说不清楚了。这一块如果理解不透后面做数据标注、损失函数调优、后处理都会一头雾水。我尽量用最直白的方式把这件事讲透。3.1 四种坐标表示法及其转换关系边界框在计算机里的表示方式主要有四种不同框架和数据集用的格式可能不一样这是新手最容易踩的坑之一。第一种是左上右下格式也就是记录框的左上角坐标和右下角坐标通常写成(x_min, y_min, x_max, y_max)。这种格式最直观画图的时候直接用就行。第二种是中心宽高格式记录框的中心点坐标和宽高写成(cx, cy, w, h)。很多检测模型在训练时用这种格式因为它对位置和尺度的建模更自然。第三种是归一化格式把坐标值除以图像宽高变成0到1之间的小数。这种格式的好处是跟图像分辨率解耦换分辨率时不用改标注。第四种是两点格式跟第一种类似但有时候用(x1, y1, x2, y2)表示注意区分坐标顺序。它们之间的转换关系其实很简单但我在代码里见过太多因为格式搞混导致框画歪的案例。比如把(cx, cy, w, h)直接当成(x_min, y_min, x_max, y_max)用画出来的框会偏到左上角去。建议在项目里统一用一种格式做内部表示只在数据加载和结果输出时做转换。3.2 为什么模型不直接预测绝对坐标这是一个很关键的问题。如果让模型直接回归框的绝对像素坐标会遇到一个麻烦同一个物体在不同分辨率的图像里绝对坐标完全不同。模型很难学到“这个物体长什么样”和“它的绝对坐标是多少”之间的稳定关系。所以主流做法是让模型预测偏移量。具体来说模型先有一个“参考框”然后预测真实框相对于参考框的偏移。这个参考框可能来自锚框、特征图上的网格点或者上一阶段的候选区域。偏移量的表示通常是对中心点偏移做归一化、对宽高做对数变换这样可以让不同尺度的目标在回归时处于相近的数值范围训练更稳定。我打个比方这就像你告诉朋友“从你家出门左转走两百米再右转”比直接说“到经度116.4度纬度39.9度”更容易理解和执行。偏移量就是那个“左转走两百米”的相对描述。3.3 锚框机制与无锚框机制的对比锚框是检测模型里一个非常重要的概念。简单说就是在特征图的每个位置上预先设定若干个不同大小和长宽比的参考框模型基于这些参考框做偏移预测。这样做的好处是给模型提供了先验知识——比如在某个尺度上目标大概有多大。但锚框也带来了一些问题。首先是超参数多要设定锚框的尺寸、长宽比、数量这些在不同数据集上需要调整。其次是正负样本分配复杂要计算每个锚框和真实框的重叠度然后决定哪些算正样本、哪些算负样本。最后是计算量大锚框数量往往是特征图位置数的好几倍。无锚框机制则试图绕开这些麻烦直接预测目标中心点或者关键点然后从中心点推导出边界框。这种思路更简洁超参数更少近年来在很多场景下表现也很好。我在一个目标尺度变化不大的项目里用过无锚框方案调参确实省心不少。但如果目标尺度跨度很大锚框机制的先验仍然有优势。提示如果你用的是现成框架先搞清楚它默认用的是锚框还是无锚框这直接影响你后面调参的方向。4. 从标注到训练一个检测项目的完整落地流程光懂原理不够真正把项目跑起来是另一回事。我做过好几个从零开始的检测项目下面把完整流程拆开讲包括每一步容易出问题的地方。4.1 数据标注质量比数量更重要检测项目的第一步永远是数据。没有标注数据再好的模型也学不出东西。标注的质量直接决定模型的上限这一点怎么强调都不过分。标注工具的选择上常用的有开源的标注软件支持画框、选类别、导出多种格式。我建议在标注之前先定好标注规范比如目标被遮挡多少比例就不标目标小于多少像素就不标边界框是紧贴目标边缘还是留一点余量这些规则如果不提前统一不同标注人员标出来的数据一致性会很差。我踩过的一个坑是早期项目里让几个人同时标注没有统一规范结果有的人把整个货架标成一个框有的人把货架上每个商品单独标框。模型学出来的结果就是一会儿检测大区域、一会儿检测小物体完全没法用。后来重新定了规范、返工标注浪费了大量时间。还有一个经验是标注数量不是越多越好而是越均衡越好。如果某个类别的样本特别多其他类别特别少模型会偏向多数类。我一般会保证每个类别至少有几百个实例并且尽量覆盖不同的尺度、光照、遮挡情况。4.2 数据增强让小数据集也能训出好模型实际项目里标注数据往往不够多。这时候数据增强就是救命稻草。常用的增强手段包括随机裁剪、缩放、翻转、旋转、色彩抖动、马赛克拼接等。但增强不是随便加就行。比如你做的是交通标志检测那水平翻转可能没问题但垂直翻转就不合理了——现实中的交通标志不会倒过来。再比如你做的是工业质检色彩抖动可能把缺陷的颜色特征破坏掉反而降低效果。我通常的做法是先分析业务场景里目标可能出现的变化然后只加那些合理的变化。比如目标可能出现在不同光照下就加亮度对比度调整目标可能有不同尺度就加多尺度缩放目标可能被部分遮挡就加随机遮挡。增强策略要跟实际场景对齐不能为了增强而增强。4.3 训练配置学习率、批次大小与迭代次数训练配置这块我见过太多人直接用默认参数跑结果要么不收敛要么过拟合。这里说几个关键点。学习率是最重要的超参数。太大容易震荡不收敛太小收敛太慢。我一般先用一个较小的学习率跑几百次迭代观察损失下降情况然后再调整。如果用的是带预训练权重的模型初始学习率可以设小一点因为权重已经比较好了不需要大改。批次大小受显存限制。如果显存不够可以用梯度累积来模拟大批次。批次大小会影响批归一化的效果太小的话统计量不稳定训练会抖动。迭代次数不是越多越好。我一般会在验证集上监控指标如果连续若干轮验证指标不再提升就提前停止。否则模型会在训练集上过拟合验证集上反而变差。4.4 模型评估mAP之外还要看什么提到检测模型的评估大家第一反应就是mAP。这个指标确实重要但它不是全部。我在实际项目里还会看以下几个维度。第一是各类别的AP。整体mAP高不代表每个类别都好。有可能多数类AP很高少数类AP很低但被平均值掩盖了。一定要把每个类别的指标单独拉出来看。第二是不同尺度目标的召回率。把验证集里的目标按面积分成小、中、大三档分别看召回率。如果小目标召回率明显低说明模型对小目标处理不好可能需要调整特征金字塔或者增加小目标增强。第三是误检和漏检的具体案例。指标只是数字真正定位问题还是要看具体图片。我习惯把误检和漏检的图片单独导出来看分析是标注问题、模型问题还是场景本身太难。第四是推理速度。在业务场景里模型跑不动等于没用。要测实际部署环境下的帧率包括预处理和后处理的时间。注意评估一定要用独立的验证集不能用训练集。训练集上的指标再高也不能说明模型泛化能力。5. 部署与优化让检测模型真正跑起来模型训练完只是第一步真正部署到业务环境里还有一堆事要处理。这一块往往是学术研究和工程落地之间差距最大的地方。5.1 推理引擎的选择与模型转换训练框架和推理框架往往是两回事。训练可能用的是某个深度学习框架但部署时为了性能通常会把模型转换成专门的推理格式然后用对应的推理引擎来跑。常见的推理引擎各有特点。有的对服务器端优化好有的对边缘设备支持好有的对特定硬件有加速。选择的时候要考虑你的部署硬件是什么、是否需要跨平台、社区支持是否活跃。模型转换过程中最容易出问题的是算子不支持。训练时用的某些操作推理引擎可能没有实现转换就会失败。我的经验是在模型设计阶段就尽量用主流算子避免用太新的或者太冷门的操作。如果非用不可就要准备好自己实现或者找替代方案。5.2 量化与剪枝在精度和速度之间找平衡如果模型在目标设备上跑得太慢可以考虑量化和剪枝。量化是把模型的权重和激活值从高精度浮点数转换成低精度表示比如8位整数。这样做的好处是模型体积变小、内存占用降低、推理速度提升。但量化会带来精度损失尤其是对检测这种对位置敏感的任务量化后的框可能会有偏移。我一般会用量化感知训练来缓解这个问题就是在训练阶段就模拟量化的效果让模型提前适应。剪枝是去掉模型中不重要的连接或通道减少计算量。结构化剪枝可以直接减少卷积核数量对速度提升更明显。但剪枝后通常需要微调否则精度掉得厉害。我的建议是先用量化因为实现简单、收益直接。如果还不够快再考虑剪枝。两者可以叠加使用但要注意叠加后的精度损失。5.3 后处理非极大值抑制的坑与调参检测模型输出的原始结果里同一个目标往往会有多个重叠的框。非极大值抑制就是用来去掉冗余框的按置信度排序保留最高的然后去掉跟它重叠度超过阈值的其他框。这个重叠度阈值是个关键参数。设得太高冗余框去不干净同一个目标会出现好几个框设得太低相邻的两个目标可能被误删一个。我在密集场景里调这个参数调了很久最后发现没有万能值只能根据业务场景的实际密度来定。还有一个坑是当两个同类目标靠得很近时非极大值抑制很容易把其中一个删掉。后来我用了改进的软化版本不是直接删除而是根据重叠度降低置信度效果好了不少。5.4 实际部署中的性能瓶颈排查部署之后如果发现速度不达标不要急着换模型先排查瓶颈在哪里。我一般按这个顺序查第一步测预处理时间。图像解码、缩放、归一化这些操作有时候比模型推理还慢尤其是高分辨率图像。第二步测模型推理时间。这是核心计算部分用推理引擎的profiling工具看每一层的耗时。第三步测后处理时间。非极大值抑制在框很多的时候会很慢可以考虑用GPU加速或者优化实现。第四步看数据传输时间。如果数据在CPU和GPU之间来回拷贝或者通过网络传输这部分开销可能很大。我遇到过一个案例模型推理只花了10毫秒但图像解码花了30毫秒整体帧率被预处理拖垮了。后来换了更快的解码库帧率直接翻倍。所以一定要分段测不要凭感觉猜。6. 那些只有踩过才知道的实战经验最后这部分我想分享一些在文档和论文里不太会写、但实际项目中非常关键的经验。这些都是我在多个项目里踩坑踩出来的希望能帮你少走弯路。6.1 小目标检测为什么难怎么破小目标检测是检测领域公认的难点。难在哪里一是小目标在图像里占的像素少经过多次下采样后特征几乎消失了二是小目标的标注本身就不容易边界框稍微偏几个像素重叠度就掉很多三是小目标和背景的区分度低模型容易漏检。我试过几种有效的策略。第一种是提高输入分辨率让目标在输入图像里占更多像素。但这会增加计算量要权衡。第二种是用特征金字塔把浅层的高分辨率特征和深层的语义特征融合起来让模型既能看到细节又能理解语义。第三种是专门的小目标增强比如在训练时把小目标复制粘贴到图像的不同位置增加小目标的样本量。第四种是调整锚框尺寸让锚框跟实际目标的尺度分布匹配。这几种方法可以组合使用。我在一个遥感图像项目里同时用了提高分辨率和特征金字塔小目标召回率提升了将近二十个百分点。6.2 类别不平衡与难例挖掘的实操技巧实际业务数据里类别不平衡是常态。有的类别样本成百上千有的类别只有几十个。模型训练时会偏向多数类少数类检测效果很差。我常用的应对方法有几种。第一种是重采样对少数类过采样或者对多数类欠采样。但过采样容易导致过拟合欠采样会丢失信息要谨慎使用。第二种是损失加权给少数类的损失更高权重让模型更关注少数类。第三种是难例挖掘在训练过程中找出模型预测错的样本重点训练这些难例。难例挖掘这块我一般会在训练几个轮次后用当前模型在验证集上跑一遍把漏检和误检的样本挑出来人工检查是标注问题还是模型问题。如果是标注问题就修正标注如果是模型问题就把这些样本加入训练集重点训练。这个迭代过程往往比单纯调模型结构更有效。6.3 模型更新与数据闭环的工程实践检测模型上线不是终点而是起点。业务场景会变化数据分布会漂移模型需要持续更新。建立一个数据闭环非常重要。我的做法是在线上推理时把模型置信度处于中间区间的样本、以及用户反馈有问题的样本自动保存下来。定期对这些样本做人工审核和标注然后加入训练集重新训练模型。这样模型就能不断适应新的数据分布。这个闭环的关键是自动化。如果全靠人工去收集和筛选样本成本太高很难持续。我一般会写脚本自动完成样本收集、去重、初步筛选人工只需要做最后的审核和标注。6.4 常见问题速查表为了方便你快速定位问题我把检测项目里最常见的问题和排查方向整理成了表格现象可能原因排查方向训练损失不下降学习率过大或过小、数据标注错误检查学习率、可视化标注框验证集指标远低于训练集过拟合、数据分布不一致增加增强、检查验证集来源小目标漏检严重特征分辨率不足、锚框不匹配提高输入分辨率、调整锚框密集目标漏检非极大值抑制阈值过低调高阈值、用软化版本推理速度慢预处理瓶颈、模型过大分段测时、量化剪枝框位置偏移坐标格式转换错误检查标注和输出的格式某些类别效果差类别不平衡损失加权、重采样、难例挖掘这张表是我自己排查问题时常用的基本上覆盖了八成以上的常见情况。遇到问题先对照这张表过一遍能省不少时间。6.5 给不同阶段从业者的建议如果你是刚入门我的建议是先把一个完整的流程跑通从标注几十张图开始用一个成熟的框架训练一个小模型然后部署起来看到实际效果。不要一开始就追求SOTA先把链路打通理解每个环节在干什么。如果你已经有一定经验建议深入两个方向一是数据侧研究怎么用更少的数据训出更好的模型怎么做数据增强和难例挖掘二是部署侧研究怎么在有限算力下把模型跑得更快更稳。这两个方向在实际工作中价值最大。如果你在做团队项目建议尽早建立标注规范和评估标准。这两件事看起来不起眼但如果没有后面返工的成本会非常高。我见过太多项目因为标注不一致导致模型反复重训浪费了大量时间和算力。目标检测和定位这个领域理论在快速演进但工程落地的核心逻辑其实很稳定数据质量决定上限模型选型决定效率部署优化决定能不能真正用起来。把这三件事都做好项目基本就不会差。