1. Anchor Free 系列模型的核心思路拆解1.1 从“先找锚点”到“直接回归”的范式转变做目标检测这些年我最大的感受就是锚点框Anchor这个东西既是功臣也是包袱。早期 Faster R-CNN 那一套靠 RPN 生成一堆候选框再筛选、回归、NMS流程长、超参多调起来像在伺候一个脾气古怪的老伙计。后来 YOLO 系列把检测拉成单阶段速度上来了但锚点框的尺寸、比例、数量依然要人工设计换一个数据集就得重新聚类一遍非常折腾。Anchor Free 的核心思路说白了就一句话别再预设框了让模型直接学“点”或者“中心区域”。这里有两个代表性分支一个是基于关键点的方法比如把目标表示成左上角加右下角两个点另一个是基于中心点的方法预测中心点加热力图再回归宽高。我最早接触的是 CornerNet 那一类当时觉得思路很妙但实际跑下来发现角点配对特别容易出错两个角点明明属于不同目标模型却硬把它们凑一对后处理逻辑复杂得要命。后来 CenterNet 这类中心点方案出来我才觉得这条路真正走通了。它的逻辑很符合直觉一个目标就一个中心点找到中心点再回归出宽高目标就定位了。没有锚点没有复杂的配对后处理就是在一个热力图上找峰值简单直接。这也是为什么我后来在多个项目里都优先考虑 Anchor Free 方案——不是因为它一定比 Anchor Based 精度高而是因为它的结构更干净、超参更少、迁移到新数据集时更省心。1.2 为什么“12”这个版本值得单独拿出来讲标题里的“12”我理解是这个系列迭代到第十二个版本。做模型迭代的人都知道前面几个版本往往是在试错到了十版以后很多东西才真正稳定下来。这个版本我推测是在前代基础上做了几处关键调整一是骨干网络换了更轻量的结构二是热力图头的设计做了优化三是训练策略上引入了更强的数据增强和更合理的损失权重。这些改动单看都不算颠覆但组合在一起实际效果就是“同样的硬件推理快了一截小目标召回也稳了不少”。我自己的经验是模型迭代到后期真正拉开差距的往往不是某个惊天动地的创新而是一堆细节的打磨。比如热力图的高斯核半径怎么设、正负样本怎么划分、损失函数里各项权重怎么配这些看起来不起眼的地方调好了就是几个点的精度提升。所以下面我会重点讲这些“脏活累活”而不是泛泛地谈架构。2. 核心细节解析与实操要点2.1 热力图头的设计与高斯核半径计算Anchor Free 模型里热力图头是灵魂。它的输出是一张 H×W×C 的特征图C 是类别数每个通道表示该类目标中心点出现在对应位置的概率。训练时真值不是简单的 0/1 掩码而是一个以目标中心为峰值、向四周衰减的高斯分布。为什么要用高斯而不是硬标签因为目标中心附近的位置其实也能代表这个目标硬标签会让模型对中心点的定位过于苛刻泛化变差。高斯核半径的设定有个经验公式我一般这么算radius max(1, int(gaussian_radius((height, width), iou_threshold)))其中gaussian_radius是根据目标宽高和 IoU 阈值反推出来的。简单说目标越大半径越大IoU 阈值越严半径越小。我实测下来IoU 阈值设在 0.7 左右比较平衡太小会导致热力图峰值太尖锐模型难学太大又会让相邻目标的峰值糊在一起后处理时容易误检。注意如果数据集里小目标特别多建议把最小半径强制设为 1 甚至 2否则小目标的热力图峰值可能只有一个像素训练时正样本太少召回上不去。2.2 正负样本划分与损失函数配比Anchor Free 没有锚点那正负样本怎么定我的做法是以目标中心点为中心半径 R 以内的位置都算正样本其余算负样本。这个 R 通常取目标尺寸的一个比例比如宽高的 1/8 到 1/4。这里有个坑如果两个目标靠得很近它们的正样本区域可能重叠导致一个位置同时被两个目标“认领”。我的处理方式是按距离就近分配谁的中心离得近就归谁避免梯度打架。损失函数一般分三块热力图损失focal loss 变体、中心点偏移损失L1、宽高回归损失L1 或 GIoU。权重配比很关键我常用的初始值是 1 : 1 : 0.1然后根据验证集表现微调。热力图损失权重太低模型学不到中心点太高又会压制宽高回归的梯度。这个配比没有万能解建议先用小学习率跑几个 epoch看三项损失的下降曲线是否同步哪项掉得慢就适当加权重。2.3 骨干网络选型与下采样倍率骨干网络这块我试过 ResNet、MobileNet、还有几个轻量级结构。如果追求精度ResNet-50 加 FPN 是稳妥选择如果部署在边缘设备MobileNetV3 或类似的轻量骨干更合适。下采样倍率一般取 4也就是输出特征图是输入的 1/4。为什么不是 8 或 16因为中心点检测对定位精度要求高下采样太狠小目标的中心点直接消失了。取 4 是在精度和速度之间比较平衡的点。不过下采样倍率 4 意味着特征图比较大显存占用高。我的折中方案是训练时用 4推理时如果显存吃紧可以改成 8但要在宽高回归头上加一个补偿系数把因为下采样丢失的精度补回来。这个补偿系数怎么定简单用验证集跑一遍看预测框和真值框的平均尺寸偏差按比例缩放就行。3. 实操过程与核心环节实现3.1 数据准备与增强策略数据这块Anchor Free 对标注格式的要求和 Anchor Based 不太一样。它不需要聚类生成锚点但需要每个目标的中心点坐标和宽高。如果你手头是 VOC 或 COCO 格式转换脚本写起来不难注意中心点坐标要归一化到 0 到 1 之间宽高也要归一化。数据增强我强烈建议用Mosaic MixUp 随机翻转 色彩抖动这套组合。Mosaic 把四张图拼成一张能显著增加小目标和遮挡场景的样本量MixUp 让模型对边界模糊的情况更鲁棒。但有个细节Mosaic 之后目标的中心点坐标要重新计算不能直接用原图的否则热力图真值就错了。我见过有人在这里翻车训练 loss 一直不降查了半天才发现是增强后的坐标没更新。# 简化的中心点重计算逻辑 def update_center_after_mosaic(img, boxes, mosaic_params): # boxes: [x1, y1, x2, y2] # mosaic_params: 拼接时的偏移和缩放 new_boxes [] for box in boxes: x1, y1, x2, y2 box # 应用偏移和缩放 x1 x1 * mosaic_params[scale] mosaic_params[offset_x] # ... 同理处理其他坐标 cx (x1 x2) / 2 cy (y1 y2) / 2 w x2 - x1 h y2 - y1 new_boxes.append([cx, cy, w, h]) return new_boxes3.2 训练配置与学习率调度训练配置我一般这么设batch size 根据显存来能大则大但不要超过 32否则收敛会变慢初始学习率 1e-4 到 5e-4 之间用余弦退火或者带 warmup 的阶梯下降。warmup 很重要前 500 到 1000 步用很小的学习率预热避免一开始梯度爆炸。我试过跳过 warmup结果前几个 epoch loss 直接飙到 nan查了半天是热力图损失在初期太大导致的。优化器用 AdamW 比 SGD 更稳尤其是 Anchor Free 这种回归任务多的结构。权重衰减设 1e-4不要太大否则宽高回归会欠拟合。训练 epoch 数看数据集大小一般 100 到 300 个 epoch早停策略看验证集的热力图损失连续 10 个 epoch 不降就停。提示如果训练过程中发现热力图损失下降很慢先检查高斯核半径是不是设得太小再检查正样本划分的半径 R 是不是太严。这两个参数对收敛速度影响极大。3.3 推理后处理与 NMS 替代方案Anchor Free 的推理后处理比 Anchor Based 简单很多。先在热力图上做 3x3 最大池化保留局部峰值然后取 top-k 个峰值点每个点对应一个预测框。因为没有了锚点NMS 的候选框数量大幅减少速度自然快。但这里有个问题如果两个目标的中心点靠得很近热力图峰值可能合并成一个导致漏检。我的解决办法是在峰值提取时用更小的池化核或者直接对热力图做非极大值抑制而不是对框做。宽高回归出来后直接和中心点组合成框再按置信度阈值过滤一遍。置信度阈值我一般设 0.3 到 0.5太低会引入大量误检太高会漏掉一些模糊目标。如果场景里小目标多阈值可以适当降低但要在后处理里加一个尺寸过滤把明显不合理的框去掉。4. 常见问题与排查技巧实录4.1 训练不收敛或 loss 震荡这是最常见的问题我踩过好几次。原因通常有三个一是学习率太大二是正负样本划分有问题三是数据增强后的坐标没更新。排查顺序建议从学习率开始先降到 1e-5 跑几个 epoch如果 loss 开始稳定下降那就是学习率的问题。如果还不行检查正样本划分的半径 R打印一下每个 batch 的正样本数量如果波动特别大说明 R 设得不合理。还有一个隐蔽的坑热力图真值的高斯核半径如果小于 1会被截断成 1导致小目标的热力图峰值过于尖锐模型很难学到。这时候要么增大最小半径要么在损失函数里对小目标的热力图损失加权。4.2 小目标召回率低小目标一直是 Anchor Free 的痛点。我的经验是从三个地方入手一是提高输入分辨率二是减小下采样倍率三是调整正样本划分半径。提高分辨率最直接但显存和速度代价大减小下采样倍率到 2 会显著增加计算量慎用。比较划算的是在数据增强里多放小目标样本比如 Mosaic 时故意多拼几张有小目标的图。另外宽高回归损失对小目标要单独加权。我一般会统计训练集里目标尺寸的分布对尺寸小于某个阈值的样本把宽高回归损失的权重提高 2 到 3 倍。这个阈值怎么定看数据集中小目标的定义比如 COCO 里面积小于 32x32 算小目标那就按这个来。4.3 相邻目标漏检或误检相邻目标的问题前面提过核心是热力图峰值合并。除了在峰值提取时用更小的池化核还可以在训练时对相邻目标的中心点做排斥让它们的峰值在热力图上分得更开。具体做法是在损失函数里加一个排斥项如果两个目标的中心点距离小于某个阈值就惩罚它们的热力图响应重叠。后处理阶段如果发现两个预测框的 IoU 很高但类别不同不要急着 NMS 掉先检查是不是热力图峰值合并导致的。如果是可以尝试在峰值提取时降低 top-k 的数量或者对热力图做一次形态学腐蚀把粘连的峰值分开。4.4 常见问题速查表问题现象可能原因排查方法解决思路训练 loss 不降学习率过大、正样本划分错误降学习率重跑、打印正样本数量调整学习率、修正半径 R小目标召回低下采样倍率大、正样本少统计小目标正样本数提高分辨率、加权损失相邻目标漏检热力图峰值合并可视化热力图减小池化核、加排斥项推理速度慢特征图太大、后处理复杂测各阶段耗时降下采样倍率、简化 NMS宽高回归不准损失权重低、数据增强坐标错检查损失曲线、验证增强逻辑调权重、修正坐标更新5. 模型部署与性能优化的实战心得5.1 导出与量化注意事项训练完的模型要部署第一步是导出。Anchor Free 模型导出时有个特殊点热力图头和回归头是分开的导出时要确保两个头的输出都被正确保留。我见过有人只导了热力图头结果推理时没有宽高框全变成点排查了半天才发现是导出脚本漏了。量化方面热力图头对量化比较敏感尤其是峰值附近的响应量化误差大了会导致峰值偏移。我的做法是对热力图头保持 FP16回归头可以量化到 INT8这样精度损失小速度也有提升。如果非要全 INT8建议用感知量化训练QAT在训练后期插入伪量化节点让模型适应量化误差。5.2 推理加速的几种手段推理加速我试过几种一是用 TensorRT 或类似的推理引擎二是把骨干网络换成更轻量的结构三是降低输入分辨率。TensorRT 的加速效果最明显尤其是对卷积层的融合和 kernel 自动调优实测能快 30% 到 50%。但要注意TensorRT 对动态 shape 的支持有限如果输入分辨率不固定要提前设好优化 profile。轻量骨干网络比如 MobileNetV3速度提升明显但精度会掉几个点。如果场景对精度要求不高比如只是做粗略检测那完全可以用。降低输入分辨率是最粗暴的加速方式但小目标召回会受影响建议先评估场景里小目标的比例再决定降到多少。5.3 部署后的监控与迭代模型上线不是终点部署后的监控和迭代才是长期工作。我一般会在推理服务里加一个日志模块记录每个 batch 的推理耗时、检测框数量、置信度分布。如果发现某个时间段检测框数量骤降可能是数据分布变了模型需要重新训练。置信度分布也很重要如果大量框的置信度集中在阈值附近说明模型对这部分样本不确定可以考虑把这些样本挖出来重新标注。迭代周期我一般设一个月一次每次迭代前先看监控数据确定是数据问题还是模型问题。数据问题就补数据模型问题就调结构或损失函数。不要盲目重新训练那样既费时又费资源。6. 从 Anchor Free 到更远的地方6.1 这个系列的后续扩展方向Anchor Free 走到“12”这个版本基础架构已经比较成熟了。后续扩展我觉得有几个方向值得试一是引入 Transformer 结构做中心点检测利用自注意力机制捕捉长距离依赖对遮挡和密集场景可能有帮助二是把检测和分割、跟踪联合起来做多任务学习共享骨干网络提升整体效率三是探索无监督或半监督训练减少对标注数据的依赖。这些方向我自己也在摸索目前跑过几个小实验Transformer 那套在密集场景下确实有提升但训练成本高收敛慢需要更多的数据和算力。多任务学习倒是比较务实检测和分割共享特征分割的像素级监督能反过来提升检测的定位精度这个我在一个项目里验证过mAP 涨了差不多两个点。6.2 给后来者的几点实在建议如果你正准备入手 Anchor Free我的建议是先把 CenterNet 这类经典实现跑通理解热力图、正样本划分、损失函数这三块的核心逻辑再动手改。不要一上来就自己从头写那样容易在细节上卡住浪费时间。跑通之后拿自己的数据集做迁移重点观察小目标和相邻目标的表现这两个地方最容易暴露问题。调参的时候一次只改一个变量改完跑完整的验证集记录结果。我见过有人同时改学习率、增强策略和损失权重结果精度涨了也不知道是哪个起的作用跌了也不知道该回退哪个。这种“盲调”效率极低一定要避免。最后不要迷信 Anchor Free 一定比 Anchor Based 好。两者各有适用场景Anchor Free 胜在结构简单、超参少、迁移方便但在某些密集小目标场景下Anchor Based 配合精心设计的锚点精度可能更高。选型要看具体任务不要跟风。