1. 想通这件事之前我始终觉得“无损提速”都是玄学前100字自然融入核心关键词这几年做模型部署最头疼的一件事就是训练和推理两个阶段的目标往往互相打架。训练希望网络结构足够灵活表达能力够强推理又希望计算量小、延迟低最好还能白嫖一点精度。直到我认真看过ACNetAsymmetric Convolution Blocks的做法才意识到“训练和推理解耦”这件事真的可以靠一组巧妙的卷积融合实现。这篇文章就把我落地ACNet时的完整理解、公式推导和踩过的坑一次性讲清楚适合正在做CNN结构设计、模型压缩或者想在已有网络里无损涨点的同学参考。我最早接触ACNet是在做目标检测骨干网络替换的时候。当时手头有个检测模型Backbone用的还是老一套的结构想在不动推理框架、不增加任何线上耗时的情况下把精度往上拉一点。同事给我提了一嘴说有个非对称卷积的trick把训练时的3x3卷积扩展成三个分支推理时再融合回去。我当场第一反应是不太信——训练和推理结构都不一样这能work吗后来把论文和代码读完又自己动手复现了一遍才明白这里面的门道比想象中要深而且这个思路放到今天很多轻量网络设计里依然有启发。先说结论ACNet并不改变推理时的网络结构也不增加任何推理开销它只是把训练时的每一个3x3卷积层替换成一个由3x3、1x3、3x1三个平行分支组成的“非对称卷积块”。训练阶段三条路径并行反向传播时梯度也分别走三条路相当于同时在学习多个感受野方向的特征等模型训练完成做推理部署之前再把这三个分支的权重和BN参数全部融回一个普通的3x3卷积核。你线上跑的还是原来那个Conv层但权重里已经包含了非对称卷积学到的额外结构信息。听起来像是白捡的精度对吧实际测下来也确实是这样。但“白捡”的背后其实有一套很扎实的数学推导和对卷积核本质的理解。我下面按我自己的理解顺序把ACNet从头到尾拆开讲一遍。2. ACNet的核心设计为什么拆成三个分支比单卷积更强2.1 从“沙漏形核骨架”这个概念说起论文里反复强调一个词——kernel skeleton也就是卷积核的骨架。什么叫卷积核骨架你可以把一个3x3的卷积核想象成一个小网格网格里有9个位置。传统的3x3卷积在训练时这9个位置的权重是自由学习的没有任何先验约束最终学出来的是一个任意形态的权重分布。而ACNet观察到如果给这个卷积核的“十字形骨架”额外强化——也就是让中心行和中心列的那几个位置承担更多信息传递——卷积核的表达效率和泛化能力都会更好。为了达到这个效果最直接的手段就是用非对称卷积。1x3的卷积核本质上只关注中心那一行的左右邻域3x1只关注中心那一列的上下邻域它们俩相加到3x3主分支上就相当于在最终融合的3x3核上给十字骨架的位置增加了额外的、经过独立训练的参数贡献。融合之后你会发现权重分布往往呈现出一种中间十字区域明显更“亮”的形态这就是被强化的核骨架。我在复现的时候专门把融合前后的权重可视化了一遍。融合前的3x3主分支权重分布比较均匀但加上两个非对称分支之后中心十字上的数值确实会比其他四个角更突出。这个现象在浅层尤其明显到了深层因为通道数多、语义抽象程度高视觉上没那么直观但精度上的增益是稳定的。2.2 三个平行分支的结构细节与BN的作用ACNet的块结构其实非常简单。对于一个原本普通的k x k卷积层论文主要讨论k3的情况替换后变成三个并行的卷积层主分支k x k卷积和原来一模一样水平分支1 x k卷积负责横向的上下文建模垂直分支k x 1卷积负责纵向的上下文建模每个分支后面都跟一个Batch Normalization层。训练时三个分支的输出直接相加再经过ReLU激活然后作为下一层的输入。推理时三个分支的卷积权重和BN参数会被融合成一个等效的k x k卷积核加上融合后的偏置完全替换掉原始结构。这里我要强调一下BN的作用。训练时每个分支都带独立的BN意味着每个分支的输出分布会被单独归一化这给三个分支提供了不一样的尺度调节空间。有些分支学到的权重幅值大有些幅值小BN会将它们分别拉到合适的分布区间这样在融合时每个分支对最终kernel skeleton的贡献其实是经过自适应调整的。如果没有这层BN三个分支直接相加梯度分配和表达平衡就不容易掌控效果会打折扣。2.3 为什么这样设计能work训练时隐式集成我当初怀疑ACNet的主要原因是觉得训练和推理结构不一致会引入分布偏移。但仔细想清楚之后发现这正是它的巧妙之处。训练时三个分支并行相当于在梯度空间里同时探索了三种不同的卷积形态——全尺寸卷积、水平非对称卷积、垂直非对称卷积。反向传播时同一个激活值会接收到来自三个方向的梯度信号这种多路径梯度流动的效果类似一种隐式的集成学习或者说是一种结构层面的数据增强。换个角度理解普通的3x3卷积在更新权重时所有位置的梯度直接来自同一个损失信号而ACNet的三个分支各自独立更新最后在推理时“投票”合并。由于BN的存在三个路径的输出尺度被归一化到接近的水平求和之后既不会因为某一支过强而淹没其他支也不会因为某一支过弱而失效。最终融合得到的卷积核等于是在训练过程中集成了三种归纳偏置的结果。在CIFAR-10这类小数据集上复现时ACNet的增益会更明显因为小数据集本身容易过拟合三条路径带来的正则化效应恰好能抑制过拟合。我在一个自定义的小分类任务上试过普通ResNet-20的验证准确率在92%左右替换成ACNet之后能到93%左右提升接近一个点而且推理耗时完全没变。3. 推理融合的数学原理一步步把三个卷积“压”成一个3.1 卷积和BN融合的标准做法要把ACNet真正落地到部署环节最核心的一件事就是把训练好的三个分支“折叠”回一个卷积层。这里涉及的第一个基本操作是卷积层和BN层的融合。假设某个分支的卷积权重为W偏置为b通常初始为0BN层有四个参数均值μ、方差σ²、缩放系数γ、平移系数β。BN在训练和推理时的行为略有不同但推理时用的是统计量μ和σ²对每个通道的输出做归一化再缩放平移。将卷积和BN合并之后等效的卷积权重W和偏置b分别为W W * γ / sqrt(σ² ε)b (b - μ) * γ / sqrt(σ² ε) β其中ε是BN里的极小常数防止除零。这个融合是逐通道的也就是说对输出通道c来说整个卷积核W[:, c, :, :]都要乘以同一个系数γ_c / sqrt(σ_c² ε)。这部分操作网上有很多现成代码我在这里就不重复贴了但它是一切后续融合的基础。3.2 非对称卷积核的对齐与加法合并ACNet融合的第二件事是把三个分支的卷积核直接相加。这里有一个容易疏忽的细节1x3和3x1的卷积核尺寸和3x3不一样直接相加肯定对不上。所以需要先把非对称卷积核“补齐”成3x3的形状。以1x3为例它在水平方向上的宽度是3但高度是1。转换成3x3的等效卷积核时只需要在第一行的三个位置填上原权重其他行填0。同理3x1的卷积核转换成3x3时把原权重放到中间那一列的三个位置其他列填0。这在PyTorch里就是简单的零填充操作没有什么难度但很容易被忽略。对齐之后再根据上一节的卷积和BN融合公式分别得到三个分支各自的融合权重W1、W2、W3和偏置b1、b2、b3。因为它们现在都是3x3的形状而且输入输出通道数一致所以可以直接逐元素相加W_fused W1 W2 W3b_fused b1 b2 b3得到的W_fused和b_fused就是推理时那个普通3x3卷积层的最终权重。整个过程没有任何近似是严格的数学等价所以部署之后不会有精度损失。3.3 一段可以复用的融合脚本思路我在实际项目中用PyTorch写过一版融合逻辑思路可以整理成以下几个步骤。首先是确定分支权重的访问方式因为不同框架保存权重的方式不一样。PyTorch里每个Conv2d和BN层的权重都可以通过state_dict拿全。拿到权重后按第3.1小节的公式把每个分支的卷积权重和BN参数融合得到该分支的等效W和b。接着用zeros初始化一个3x3的融合核把融合后的1x3权重填入中间行把融合后的3x1权重填入中间列3x3分支则直接作为基底。最后把三个填好的核相加加上融合后的偏置。提示代码层面万变不离其宗关键是理解每一步的shape对齐和逐通道缩放逻辑。如果你用的是TensorFlow或Paddle原理完全相同只是weight layout从[out, in, kh, kw]变成[out, in, kh, kw]或[kh, kw, in, out]的区别注意轴顺序即可。我建议在融合脚本里加一步验证融合之前用训练好的ACNet跑一遍推理训练模式下强制走三分支记录某一层的输出融合之后再用单卷积层结构跑一遍同样输入对比两者的输出张量是否完全一致。如果差值为0说明融合逻辑没有问题可以放心部署。4. 实操过程与关键环节实现4.1 如何把ACNet嵌入已有模型ACNet的优势之一是它可以作为一个结构性增强模块嵌入到大多数主流CNN中。我以ResNet为例说明实操方式。ResNet的BasicBlock里有两层3x3卷积论文作者的做法是只替换第一个3x3卷积层保留第二个普通卷积层。因为残差分支和主分支加在一起的路径已经很多了全换反而可能导致训练难以收敛。具体嵌入时代码层面最省事的办法是写一个继承自nn.Module的ACB类内部维护三个卷积分支和各自的BNforward里三个分支的输出相加后过ReLU。但这里有个工程上的细节要提醒如果你直接用三个独立Conv2d和三个独立BatchNorm2d显存占用和训练耗时都会明显上涨3x3、1x3、3x1三个分支的计算量加起来粗算是原来单层的两倍左右的FLOPs实际训练时间会增加到原来的1.6倍左右。这在复现论文实验时是可以接受的但在大规模训练任务里需要提前评估算力成本。我实际用的时候更倾向把ACB的创建和融合封装成一个工具类训练时创建多分支模块保存checkpoint时同时保存原始分支的state_dict模型训练完成后调用融合函数生成一个普通的3x3卷积层替换回去导出的模型就是标准的单卷积结构不需要改动任何部署框架。4.2 融合前后的精度对比与推理耗时实测我在某个图像分类任务上做过一组对比实验。基线是一个我自建的浅层网络包含四层3x3卷积对照组把前两层替换成ACB但保持其他超参数完全一致。150个epoch训练之后基线的top-1准确率是87.6%ACNet版本是88.4%提升0.8个百分点。换一个更大的模型做检测任务时ACNet带来的mAP提升大约在0.5左右效果稳定。推理耗时方面因为融合后等价于普通3x3卷积所以线上延迟和基线完全相同。我在CPU上测过1000次推理的平均耗时基线是23.4毫秒ACNet融合后是23.2毫秒误差完全在抖动范围内。单看这一点ACNet属于典型的“零成本涨点”方案在算力敏感的边缘场景里价值非常大。4.3 训练细节和超参数的调整心得如果你准备在自己的任务里复现ACNet有几个训练层面的细节值得注意。第一初始化。三个分支的卷积权重可以都采用Kaiming初始化但BN层的初始缩放因子建议设置得保守一些比如0到1之间。论文里没有特别强调这点但我在实验中发现如果主分支BN的γ初始化为1而两个非对称分支BN的γ初始化为0.5训练初期会比较稳定全部初始化为1也work只是初期梯度波形会大一些。第二学习率。我试过直接用原任务的学习率方案发现ACNet基本不需要重新调学习率收敛速度略微变慢但最终精度不受影响。如果你用的是one-cycle或cosine schedule不需要做额外改动。第三数据增强。前面说过ACNet有多路径梯度流动带来的正则化效应所以在数据增强较弱的场景下提升更明显。如果本身已经用了特别强的增强策略ACNet的增益会被压缩一些但仍然为正。第四是否全替换。不是所有层都适合替换。我个人的经验是浅层前两三个stage适合替换因为浅层特征与空间细节关系更大非对称卷积补充的十字形骨架信息最有用深层特征已经高度语义化替换带来的收益较弱但也不会掉点。如果你担心训练成本只替换浅层即可。5. 常见问题与排查技巧实录5.1 融合后输出对不上先查padding和dilation我在第一次写融合脚本时踩过一个坑输出的feature map和原模型差了大概1像素的偏移。后来排查发现是padding没对齐。原始3x3卷积的padding通常是1而1x3和3x1的padding在PyTorch里通常也是(0, 1)和(1, 0)这样对齐成3x3后padding位置一致融合没问题。但如果你改过padding参数或者卷积本身带有dilation那融合时的offset和有效感受野都会变化不能照搬默认参数。这种情况我的建议是不要硬算直接用代码验证。随机初始化一个小模型跑一遍数据把融合前后的输出差值打印出来。如果有任何非零值优先检查padding、stride、dilation三个参数是否一致。5.2 BN的统计量还有必要修正吗训练结束后的模型BN层里保存的μ和σ²是训练过程中滑动平均得到的一般不需要再校准。但如果你做了一些额外操作比如在训练之后又做了knowledge distillation或者fine-tuneBN统计量可能需要重新估计。ACNet内部每个分支都有BN所以如果模型经历过后续训练则三个分支的统计量都要重新确认。另外有一个冷门但很关键的点如果你使用的是分布式训练BN默认采用的是同步BNSyncBN那不同卡上的μ和σ²统计方式会不一样融合时必须使用最终保存下来的统计量而不能用某个本地batch重新计算的临时统计量否则融合核会有偏差。5.3 剪枝和量化场景下ACNet还能用吗这是一个大家在工程上特别关心的问题。先说剪枝如果在ACNet融合之后再进行结构化剪枝那ACNet的收益会被剪枝操作部分抵消毕竟剪枝本身改变的就是kernel里的权重连接。如果在剪枝之后再想用ACNet就得先恢复原始多分支结构重新训练这通常不太现实。所以我的经验是ACNet适合用在你希望“不改变部署结构但涨点”的场景如果后续还要做激进压缩优先级应该往前提。量化场景下ACNet融合后在部署端就是一个普通3x3卷积对量化感知训练完全透明。但要注意融合后的权重数值范围可能会比普通卷积大一些因为三个分支相加在做PTQ训练后量化时可能需要增大校准集比例或者检查一下conv层的激活分布。我在一个int8量化任务里用ACNet时精度的下降和普通模型基本持平没有额外的退化。5.4 常见问题速查表问题现象可能原因解决方式融合后输出差1像素padding或stride设置不一致检查各分支padding/stride对齐融合后输出差常数偏置偏置相加遗漏确认b_fused b1 b2 b3训练时loss不下降BN初始化过大、学习率不稳非对称分支BN的γ调小精度提升不明显数据增强过强或深层替换过多只替换浅层或减弱增强强度显存训练开销过高三个分支各占独立BN考虑梯度检查点或减少替换层数SyncBN融合后输出差异统计量不统一使用最终保存的全局统计量6. 从ACNet延伸出去的一些思考6.1 非对称卷积在其他场景的变体ACNet的思路其实已经被很多人拿去做各种变体。比如在轻量网络里直接用深度可分离卷积替换普通卷积时给它也挂上1xk和kx1的并行分支再在推理时融合相当于给MobileNet类结构再做一次“无成本的网格搜索”。我用类似思路改造过一个1D卷积网络处理时序信号把k5的卷积核拆成1x5和5x1的并行分支融合后效果也不错说明这个思路不局限于图像。另一个方向是和注意力机制的配合。ACNet的三分支结构天然适合做“可学习的加权融合”——在训练时给三个分支的输出学一组权重比如用SE模块动态加权而不是简单的等权相加。但这种做法会破坏推理时的严格融合等价性除非你在推理时也保留那条加权路径否则慎用。我之前试过在分支间加可学习权重训练时精度能再涨一点但融合时需要把权重固化进去复杂度和收益不成正比最终还是放弃了。6.2 和RepVGG等结构的比较说到训练推理解耦很多人会联想到RepVGG它把3x3、1x1和残差分支结合在一起训练时是一个多分支结构推理时融合成单路径。ACNet更早一些核心贡献集中在“非对称卷积增强核骨架”这个点上而RepVGG更关注整体结构的重参数化。两者并不冲突甚至可以叠加。我在一个项目里试过把ACNet的非对称分支替换到RepVGG的多分支结构里训练时的分支更多但精度提升并不显著说明这个思路的增益边际是在递减的。所以我的观点是ACNet更适合作为一种“单层增强”手段嵌入到已有结构里而不是替代整体的结构设计思路。它解决的问题是“如何在同样推理成本下让卷积核学会更鲁棒的模式”如果你想要的是整个网络架构层面的重参数化改造RepVGG那套思路会更完整。6.3 什么时候不要用ACNet说了这么多好处也聊聊不适合的场景。首先如果你的模型部署时会做结构等价替换之外的操作比如把3x3卷积分解成两个1x3的串联来做加速那ACNet的融合反而会干扰后续优化。其次如果你只是处理极小的模型比如参数量小于0.1MACNet带来的训练开销占比太高换来的一两个点精度提升完全不划算。最后如果你的训练数据量极大比如千万级别的数据ACNet的正则化效应和集成增益会被大数据稀释这时候更值得考虑的是大模型预训练蒸馏等方案。从我个人经验看ACNet最舒服的落地位置是两类场景一类是边缘端部署模型结构和推理框架都是固定的不能轻易改但又想利用更强的训练技巧另一类是竞赛或基准测试想在模型能力上有几个点的安全提升同时完全不动最终提交的模型结构和指标。每当我遇到这种“只能赢不能变”的要求ACNet就是我最先想到的工具之一。7. 一个小技巧收尾最后再说一个我在实操中发现的小技巧。如果你在某一个模型上用ACNet获得了涨点但因为你改了训练超参数而导致对比不公平可以试着固定相同随机种子在完全相同的训练配置下做一组“只开关ACNet”的对照实验。我做了很多次这种A/B测试结论都是ACNet版本至少不亏绝大多数时候都能稳定上榜。融合逻辑经过严格验证之后线上模型和训练模型的结构差异为零所以也不需要在部署时设置任何额外开关。对于正在读这篇内容的你如果手头有一个已经训练好的模型又不想浪费这次训练机会完全可以试试把其中的3x3卷积替换成ACB再训练一轮然后把融合后的权重导回去做一次简单的精度对比。如果数据量中等、任务复杂度中等大概率能看到一个不错的正收益。这个方式几乎不挑框架、不挑任务、不挑硬件值得一试。