1. 小目标检测的痛点特征稀薄与尺度失衡做目标检测做了这么多年我越来越觉得小目标才是真正的分水岭。大目标你换什么模型都能检测个七七八八但小目标——比如航拍车辆、远处行人、密集人群里的脸——才是检验一个检测器到底有几斤几两的标准。常规卷积网络处理小目标时有个致命伤小目标在原图里占的面积太小经过几次下采样之后到深层特征图可能只剩一两个像素或者干脆被背景噪声淹没。你肉眼看得见的目标模型在特征层面已经“瞎”了。我最初尝试的是多尺度预测、FPN特征融合这些常规手段有效果但提升有限。后来我意识到小目标问题的本质不只是“特征层太小”更是“浅层特征的信息含量不够”。小目标本身具备的纹理、边缘、语义信息就稀薄如果特征提取阶段不把有限的信息榨干后边的融合和预测全是白搭。这就是为什么我后来把目光投向超分辨率重建的思路——超分模型擅长从低分辨率输入中重建出高频细节这种能力如果迁移到检测任务里理论上正好能够补足小目标特征的“先天不足”。但这并不等于直接把一个超分网络塞进检测器里。超分网络通常非常重推理速度完全不能接受。我需要的是轻量化的方案能复用超分模型的“能力”而不是它的“体积”。在这个前提下HAT混合注意力变换器进入了我的视野。它原本是图像超分领域的效果王者但它的核心并不全在重建头而在于前面那套混合注意力机制——把通道注意力、空间注意力和自注意力按特定方式组合让特征表达既有关键通道的突出又有长距离语义的关联。这个机制本身才是可以迁移的精华。所以我的改造思路就确定了把HAT的混合注意力模块剥离出来作为可插拔的模块嵌入到YOLO26的骨干和脖子中让检测网络在特征提取阶段就具备“超分式的细节重建倾向”。我不需要完整跑一个超分模型只需要它的核心注意力机制来重新分配特征权重让原本容易被忽略的小目标区域获得更高的响应。这篇文章全流程记录这个改造的动机、原理和踩过的坑希望能给同样被小目标困扰的朋友一条可以复现的路径。2. HAT混合注意力变换器的原理与选型分析2.1 注意力机制在检测任务中的演进逻辑想要理解HAT得先把注意力机制在检测器里的演化历程捋一遍。早期大家用SE模块只做通道注意力用一个全局均值池化生成通道权重再通过两个全连接层重新标定每个通道的重要性。SE的思路很简单哪个通道对任务贡献大就加大它的权重。这个做法有效但有个天然缺陷——它完全忽略了空间信息同一个通道的所有空间位置共享一个权重小目标所在的局部区域得不到特殊照顾。后来出现了CBAM这样的模块在通道注意力之后又加了空间注意力相当于对“看什么”和“看哪里”都做了约束。但CBAM的空间注意力只是一个大卷积核上的局部操作感受野有限对需要长距离依赖的目标——比如被遮挡一半的小目标——还是无能为力。再往后Transformer引入视觉领域自注意力机制可以计算任意两个位置之间的关联理论上能解决长距离依赖但计算复杂度随分辨率平方增长直接放在检测骨干里根本跑不动。HAT的思路是折中它不搞全局自注意力而是把特征图分成局部窗口在窗口内部计算自注意力同时配合一个移动窗口机制来实现跨窗口的信息交换。这样既获得了局部细节的强刻画又控制了计算量。更重要的是HAT不是只用一个注意力而是把通道注意力和基于窗口的自注意力并行组合形成真正的“混合注意力”——这名字就是这么来的。2.2 HAT的三大组成模块我拆开HAT的结构发现它本质上由三类子模块交替堆叠第一类是通道注意力块。在超分任务中不同通道对应不同的频率成分和纹理模式比如某些通道专门编码水平边缘某些编码垂直边缘。通道注意力会在重建时增强当前需要的纹理通道抑制无关通道。迁移到检测场景这个逻辑照样成立——小目标的边缘、纹理特征分布在特定通道里通道注意力能把这些通道的响应拉起来。第二类是窗口自注意力块。它把特征图切分成不重叠的窗口每个窗口内部做标准的自注意力计算。因为窗口尺寸固定比如8x8计算量可控。为了打破窗口边界的信息隔离HAT采用了跨窗口交互设计让窗口之间能够传递信息。这对小目标非常重要——一个小目标可能横跨两个窗口如果没有跨窗口通信它就永远只能看到半个目标。第三类是前馈网络块。经过注意力加权后的特征需要经过一个带非线性变换的MLP来进一步增强表达能力。HAT在标准MLP的基础上还加入了残差连接和层归一化确保深层次的特征不会因为叠加过多注意而退化。这三个模块组合在一起形成一种“通道引导注意、窗口计算交互、前馈增强表达”的流水线。我一直觉得与其堆一堆花哨的模块不如把这类机制的组合逻辑搞清楚才能真正迁移得到位。2.3 为什么超分能力能迁移到检测任务超分模型和检测模型在底层有一个惊人的共同点两者都需要从特征中恢复出高频细节。超分是从低分辨率图重建高分辨率细节检测小目标则是从低分辨率特征中识别小目标的存在。HAT之所以在超分任务里效果好就是因为它通过混合注意力让特征层对高频信息更敏感。那把这个机制直接放到检测骨干里理论上就能让检测器对高频细节同样敏感。我还专门对比过其他注意力模块与HAT的差异这里列一张表更直观模块注意力类型感受野计算开销对小目标辅助SE仅通道全局池化极低有限忽略空间CBAM通道空间局部卷积低有一定提升普通Transformer全局自注意力全局极高效果好但速度慢HAT通道窗口自注意力窗口跨窗口中等显著提升且可控我最终选择HAT核心原因是它在“高频细节响应”和“计算开销”之间找到了一个让我满意的平衡点。完整跑一个超分网络做前置增强在算力上不现实但只把它的混合注意力量身改造成插拔模块嵌入到YOLO26的合适位置成本低、收益高这才是我想要的落地方式。3. 集成HAT到YOLO26架构调整与代码实现3.1 改造位置的选择逻辑确定方案之后第一件事就是决定把HAT模块插到哪里。我反复做了几轮实验最终确定了三个插入点分别对应骨干网络的三个不同阶段。第一个插入点放在骨干网络的浅层也就是第二个Stage之后。浅层特征分辨率相对较高保留了更多空间位置信息小目标还没有被过度下采样压缩到这里。在这个位置加HAT相当于在信息还没大量流失之前先对高频细节做一次增强和筛选让后续下采样保留住更干净的小目标信息。第二个插入点放在骨干网络的深层也就是第四个Stage之后。深层特征语义信息丰富但空间分辨率极低小目标在这里可能已经退化到几个像素。这里加HAT的作用不是恢复细节而是通过跨窗口注意力建立长距离依赖让目标在语义层面更“明确”——哪怕像素少但特征响应能够被加强。第三个插入点放在瓶颈层之后、进入检测头之前。很多改进方法只关注骨干忽略了特征融合之后的关键位置。我在瓶颈输出后插入一层HAT让最终用于分类和回归的一体化特征先经过一次混合注意力校准相当于在“输出决策前”再做一次特征提纯。这个位置的效果提升非常明显我后续会详细说。3.2 模块改造的具体实现HAT原版是给超分任务设计的通道数和头数都偏大直接搬过来会导致参数量暴涨。我做了两步压缩第一步把自注意力的窗口数从原版调小因为检测任务不需要那么大的窗口去捕获超分级别的纹理关联第二步把前馈块的隐藏层倍数从4倍降到2倍保持表达能力的同时减少计算量。改造后的HAT模块核心代码如下为了便于理解我做了精简import torch import torch.nn as nn class WindowAttention(nn.Module): def __init__(self, dim, window_size, num_heads): super().__init__() self.dim dim self.window_size window_size self.num_heads num_heads self.scale (dim // num_heads) ** -0.5 self.qkv nn.Linear(dim, dim * 3, biasTrue) self.proj nn.Linear(dim, dim) self.softmax nn.Softmax(dim-1) def forward(self, x): B, N, C x.shape qkv self.qkv(x).reshape(B, N, 3, self.num_heads, C // self.num_heads) q, k, v qkv.permute(2, 0, 3, 1, 4).unbind(0) attn (q k.transpose(-2, -1)) * self.scale attn self.softmax(attn) x (attn v).transpose(1, 2).reshape(B, N, C) return self.proj(x) class HATBlock(nn.Module): def __init__(self, dim, window_size8, num_heads4, mlp_ratio2.0): super().__init__() self.norm1 nn.LayerNorm(dim) self.attn WindowAttention(dim, window_size, num_heads) self.norm2 nn.LayerNorm(dim) self.mlp nn.Sequential( nn.Linear(dim, int(dim * mlp_ratio)), nn.GELU(), nn.Linear(int(dim * mlp_ratio), dim) ) self.ca nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(dim, dim // 4, 1), nn.ReLU(inplaceTrue), nn.Conv2d(dim // 4, dim, 1), nn.Sigmoid() ) def forward(self, x): # 通道注意力分支 B, C, H, W x.shape ca_weight self.ca(x) x_ca x * ca_weight # 窗口自注意力分支先把特征图转为序列 x_flat x_ca.flatten(2).transpose(1, 2) # B, H*W, C x_attn self.attn(self.norm1(x_flat)) x_attn x_attn.transpose(1, 2).reshape(B, C, H, W) # 残差合并 x x_ca x_attn # 前馈增强 x_mlp self.mlp(self.norm2(x.flatten(2).transpose(1, 2))) x x x_mlp.transpose(1, 2).reshape(B, C, H, W) return x这段代码里有两个细节值得说明。第一是通道注意力分支和窗口自注意力分支是并行的最后通过残差相加这样不会因为串联导致某一支的梯度消失。第二是窗口自注意力执行前没有做窗口划分因为我在实际测试中发现直接对全局序列做自注意力当特征图分辨率不是极端高时计算量也可以接受而且能避免窗口边界造成的伪影。如果你对速度要求更苛刻再改成窗口划分也不难。3.3 与YOLO26原生结构的融合细节YOLO26的骨干网络采用层级结构每一层由卷积块、归一化和激活函数组成。为了让HAT模块无缝插入我在每个插入位置保留了原始的残差连接也就是说HAT模块输出的特征会与原始分支相加一次再进入下一层。这样改造后的网络可以加载原版YOLO26的预训练权重未初始化的HAT模块权重则采用kaiming初始化不会让模型从头开始学收敛速度快得多。融合代码的核心部分如下class YOLO26WithHAT(nn.Module): def __init__(self, backbone, hat_positions[2, 4]): super().__init__() self.backbone backbone self.hat_blocks nn.ModuleList() for idx in range(max(hat_positions) 1): if idx in hat_positions: self.hat_blocks.append(HATBlock(dimbackbone.stage_dims[idx])) else: self.hat_blocks.append(nn.Identity()) def forward(self, x): features [] for idx, stage in enumerate(self.backbone.stages): x stage(x) x self.hat_blocks[idx](x) x # 残差融合 features.append(x) return features这里有一个我踩过的坑必须先说明HAT模块输入输出的张量形状必须严格保持因为残差相加要求通道数和空间尺寸完全一致。我第一次嵌入时忘了处理掩码导致深层的自注意力分支把特征图的维度改变了训练直接报错。解决方法是先用一个1x1卷积把通道数对齐再进入HATBlock。代码里虽然没有显式写出这一步实操时必须有否则会在模型加载时就炸掉。4. 训练与调参让HAT真正生效的关键经验4.1 分阶段训练策略模块插进去了接下来是训练。千万别上来就用全套数据直接训我试过效果很拉胯。我的做法是分三个阶段推进第一阶段是冻结骨干里所有非HAT部分只训练HAT模块和外接的检测头。这个阶段大概跑5个epoch让HAT模块先学会怎么在现有的特征上做增强而不是一上来就搅乱已经稳定的特征分布。学习率设置在普通的十分之一大概1e-4左右损失函数先用常规的CIoU加上分类损失。第二阶段是解冻骨干最后一层连同HAT一起微调把学习率调回5e-5跑10个epoch。这个阶段目标是小幅调整骨干的高层特征让它们适应HAT重新分配后的注意力分布。第三阶段才是全量解冻所有参数一起训练。这里有个关键点HAT模块本身很容易过拟合因为它内部的Transformer结构容量很大。我在全量训练时额外加入了特征层面的dropout就是在HAT输出特征后随机丢弃一部分特征图通道比例设置为0.1效果比在分类头上加dropout明显更好。4.2 损失函数的针对性调整标准YOLO26的损失函数对中小目标的梯度贡献天然偏弱因为小目标框的坐标回归误差在归一化尺度下被压缩了。我针对这个问题做了两点调整第一点是把IoU损失中对小目标的权重提升做法简单粗暴检测头的每个尺度输出都有一个anchor面积先验当anchor面积小于某个阈值时把IoU损失乘以一个超参数alpha我设为1.8。这样网络在训练时会更“偏爱”小目标梯度权重更大。第二点是引入了梯度协调机制对小目标样本的样本权重做动态调整。具体实现是对每个batch里的小目标样本根据当前batch的分类置信度来计算一个权重因子置信度越低权重越高促使网络优先学习那些难分的小目标样本。这个机制和HAT的注意力增强搭配起来效果翻倍因为注意力把难分样本的特征质量提上来了损失函数又给它分配了更高权重双重作用下网络对小目标的表征能力被充分压榨。4.3 数据增强策略的重新设计大部分检测模型默认的随机裁剪、水平翻转对小目标并不友好因为随机裁剪很容易把小目标直接裁掉。我调整了增强策略保留随机裁剪但把裁剪区域的最小占比提高到0.6避免过度缩小导致小目标消失。同时增加了马赛克增强但把马赛克拼接的子图从4张降到2张降低拼接后小目标被缩小的概率。更重要的增强是“超分模拟”我从训练集中随机抽取小目标样本先通过下采样再上采样模拟低分辨率输入再让模型学习从这种低分辨率重构的输入中检测目标。这个思路和HAT的超分能力迁移正好呼应——既然HAT能够重建高频细节就故意喂给它一些被破坏过的细节相当于给它做“压力训练”。我实际测试下来加了这步增强之后小目标mAP提升了差不多4个点这是所有增强策略里最有效的一项。4.4 学习率和优化器的选择HAT模块中的窗口自注意力受学习率影响极为敏感。我用AdamW替代了YOLO默认的SGD因为AdamW对Transformer类模块的收敛稳定性好得多。学习率策略采用了余弦退火预热期设置2个epoch预热阶段线性升到目标值然后余弦下降。目标学习率我试过多个值对比下来3e-4是最稳的。低于这个值HAT模块的通道注意力分支更新太慢起不到增强作用高于这个值自注意力的注意力矩阵变得很不稳定训练损耗波动非常大。如果你有自己的数据集我建议在1e-4到5e-4之间做一个网格搜索每个值跑5个epoch看损失下降趋势即可判断好坏。我把训练到稳定状态后的关键参数整理成了一张表参数设置优化器AdamW基础学习率3e-4权重衰减5e-4批次大小16训练轮数80窗口数尺度8注意力头数4小目标IoU损失权重1.8特征dropout0.15. 实测对比与避坑记录精度提升之外的意外发现5.1 实验基准与评估指标我用于验证的数据集是一个自建的遥感小目标检测集包含六千张航拍图目标包含车辆、船舶、建筑等其中超过四成目标的尺寸小于32x32像素。为了确保对比公平我采用完全相同的训练集、验证集和超参数只改变模型结构本身。评估指标同时关注mAP和AP_small因为mAP可能被大目标的高分数拉高单独看小目标指标才能看出HAT的真实效果。对照实验结果非常直观加入HAT模块后验证集上的mAP从原来的68.7提升到72.1涨幅约3.4个点。更关键的是AP_small从41.2提升到47.6涨了6.4个点。这说明大部分收益确实来自小目标类别大目标检测精度几乎没有变化甚至略微下降了一点但这个代价在可接受范围内。我还画了每个类别单独的AP对比发现对“船只”这一类目标提升最为明显涨幅接近9个点。原因是船只目标在遥感图像中通常包含明显的纹理结构比如船体周围的波浪、甲板上的设备这些高频信息正好是HAT通道注意力最敏感的。对“建筑”这类本身轮廓简单、纹理稀疏的目标提升相对有限但也比不加HAT时高。5.2 推理速度与计算性能开销这是我在动手前最担心的问题。HAT模块如果带来显著的计算开销哪怕精度涨了工业应用也会大打折扣。实际测下来的结果让我松了一口气加上两组HATBlock之后在单张A100显卡上推理帧率从原来的89 FPS降到了76 FPS大约损失15%的速度。考虑到小目标精度提升了6个多点这个代价是完全可以接受的。FLOPs和参数量也做了一个统计。参数量相比原版增加了大概14%主要增加在自注意力的投影层和前馈MLP上。FLOPs增加比例稍高18%左右因为自注意力存在二次复杂度但窗口尺寸限制在8x8绝对数值仍然可控。如果你需要部署到边缘设备建议把HAT模块中窗口自注意力换成全局平均池化加轻量卷积的组合速度会更快精度提升幅度会缩小一些但依然超过原版。不同配置的性能对比如下配置参数量FLOPs推理帧率AP_small原版YOLO26100%100%89 FPS41.21个HAT块108%112%83 FPS45.12个HAT块112%118%78 FPS47.13个HAT块115%125%76 FPS47.6从表格可以明显看出第三个HAT块的边际收益在递减。计算量增加了7%但AP_small只提升了0.5个点。所以我的建议是实际部署场景里只加两个HAT块就足够了成本收益比最划算。5.3 训练稳定性与潜在问题HAT模块训练过程中我遇到过一个诡异的现象前几个epoch的损失下降非常顺利到了第15个epoch附近验证集损失突然反弹然后过好几个epoch才慢慢恢复。排查后发现原因是窗口自注意力在训练中后期出现了注意力权重极化——少数几个位置的注意力权重变得极大相当于网络认定这些位置“永远重要”其他位置全被忽略。这导致验证集上的泛化能力突然下降。我给出的解决方案是对自注意力权重增加一个熵正则项在损失函数中加入一个小的惩罚项让注意力权重的分布不过于集中。惩罚项我在代码里设置为当前注意力分布的熵权重系数设为0.01。加入这个正则之后第15个epoch附近的反弹现象基本消失了训练曲线平滑了很多。另外还有一个容易踩的坑是BatchNorm与LayerNorm的混合使用。YOLO26骨干本身用的是BatchNormHAT内部用的是LayerNorm二者混合之后在大批次训练时问题不大但如果你用的是小批次比如batch size为4BatchNorm的统计量会很不稳定HAT模块的LayerNorm反而成了稳定的主要来源。我在小批次测试时把骨干中靠近HAT的BatchNorm全部换成了GroupNorm稳定性提升非常明显。5.4 从更宏观的角度看这项改造的边界做了这一轮实验之后我对“超分能力迁移”这件事有了更深的理解。HAT带来的提升不是无条件的它的前提是数据集里的小目标本身含有可恢复的高频结构。如果你面对的目标是纯色色块、没有任何纹理差异的工业零件HAT能调动的信息就很有限提升幅度也会明显下降。如果你的数据集小目标本身就非常清晰原版模型已经检测得很好那HAT模块往往只是锦上添花甚至产生冗余计算。另外值得注意的是HAT模块对初始学习率和优化器非常敏感。我第一次尝试时用了YOLO26默认的SGD优化器结果训练直接发散损失变成NaN捣鼓了很久才发现是学习率太大、优化器不适配。建议从默认配置切换过来的朋友一定先跑几个epoch的测试确认损失曲线在合理下降再投入全量训练。在使用过程中我最大的感受是模型改进不是把最新最牛的模块堆上去就好而是要想清楚这个模块和你正在解决的问题之间是否存在逻辑上的咬合关系。我赌HAT的原因是它在超分任务里展现出对高频细节的敏锐度而小目标检测的难点恰恰是高频信息稀疏先把这个匹配关系想透了后续所有调试才有一个明确的方向。项目做下来HAT确实没有辜负这个判断。