前阵子去某PCB工厂看产线发现他们新上的检测设备不再是我熟悉的传统AOI那一套——操作员不用再反复调阈值、写规则而是对着屏幕等模型推理结果。从AOI到AI AOI这个转变看似只是多了一个字母背后其实是整个工业视觉检测的技术栈变了。作为在这行摸爬滚打多年的从业者我想把这条演进路线、技术原理和我个人的实战踩坑记录整理出来给正在纠结要不要上AI检测的同行一些参考。1. 先看懂传统 AOI它解决了什么又卡在哪里1.1 AOI 到底是怎么工作的传统AOI的全称是Automated Optical Inspection自动光学检测。它的核心逻辑其实很朴素用相机拍下被测物体表面的图像再用预设的算法规则去判断图像上是否有缺陷。一套完整的AOI系统通常由几个部分组成光学光源、工业相机、运动平台、图像处理软件和PLC通信模块。光学部分是很多人容易忽视的重点。AOI的光源配置往往比相机本身更讲究常见的有环形光、同轴光、条光、穹顶光等每种光源应对的缺陷类型完全不同。比如环形光适合检测焊点的三维轮廓变化同轴光适合反射率较高的平面划伤条光则常用于检测线路板表面的异物或凹凸。实际产线上经常需要组合光源通过不同角度照射让缺陷在图像中形成明显的灰度差。图像处理算法是传统AOI的灵魂。早期主要靠Blob分析和灰度阈值分割后来发展出模板匹配、形态学滤波、边缘提取等一系列经典工具。检测工程师的工作方式是这样的先拍一批良品和缺陷样本然后针对每种缺陷手工编写一套图像处理流程比如“先高斯模糊再二值化然后用膨胀腐蚀去掉噪声最后计算连通域面积是否超过阈值”。这套流程需要针对不同产品、不同工艺逐项调试每个机种换型时都要重新做一遍。1.2 传统 AOI 的三座大山传统AOI在实际生产中积累了不小的问题我用我自己的观察把它们归纳成“三座大山”。第一座大山的名字叫“规则脆弱”。图像处理规则本质上是人为定义的判断逻辑它只对调试时期见到的缺陷有效。一旦产线换了批号、工艺窗口漂移、来料颜色有轻微差异同一个规则就可能开始误判。最典型的是PCB行业同一块板子在不同批次间油墨颜色会有肉眼看不出的差异但在二值化阈值固定的算法里这种差异会被放大成成片的“伪缺陷”。很多工厂遇到这种情况只能派工程师去现场改参数治标不治本。第二座大山是“人力黑洞”。因为规则算法的误报率通常较高产线上必须安排人工复判工位把AOI报警的图片一张张再过一遍。一条产线少则需要两个人多则需要五六个人昼夜倒班做这种极度消耗注意力的工作。我曾经见过一个朋友负责的SMT车间AOI每天的报警量高达上万条复判人员手都点酸了还经常出现因疲劳漏放的情况这正是产品缺陷漏到下站的直接原因。第三座大山是“缺陷覆盖有限”。传统AOI能检的缺陷种类高度依赖工程师预先编写的那几套规则对于没有见过的异常形态基本无能为力。比如封装器件表面的细微裂纹、镀层乌黑、树脂溢出等这些缺陷没有固定的几何特征用传统规则很难表达。很多工厂嘴上说着“全检”实际上只是把有限的已知缺陷模式拿规则筛了一遍。这三座大山让我越来越清楚一个方向检测的判定逻辑必须从“人写特征”变成“机器学特征”。而能做到这件事的就是AI AOI。2. AI AOI 的内在变化从“写规则”到“喂数据”2.1 技术架构的四个关键环节AI AOI和传统AOI在硬件层上其实没有颠覆性区别相机、光源、运动平台依然保留真正变了的是图像处理这一层。传统算法被人写的规则替代变成了深度学习模型在GPU上做的推理。它的完整架构可以拆成四个关键环节数据采集、数据标注、模型训练、推理部署。数据采集环节的目标是把产线上能见到的所有外观形态都拍下来尤其是缺陷样本。这里有一个很现实的困难工厂里良品远多于缺陷品尤其是一些特殊不良可能一周都见不到几片。所以AI项目的启动期往往伴随一个主动制造缺陷样本的过程或者跨产线调集历史累积缺陷图库。这一步如果草草了事后面模型效果会非常差。数据标注环节是把图像中的缺陷用框或轮廓标记出来。这个工作看似简单实则决定模型上限。标注员如果对缺陷定义理解不一致同一种划伤有人画框、有人画点模型就会学得一团混乱。模型训练环节是整个链路中听起来最“AI”的部分但实际上对算力和框架熟悉度的要求比对算法创新的要求更高。大多数落地项目使用的都是成熟的目标检测或语义分割模型比如YOLO系列、Faster R-CNN、U-Net极少有人从头设计网络结构。训练的关键反而在数据增强策略、学习率调整、过拟合预防这些工程细节上。推理部署环节则是把训练好的模型打包成能在产线上实时运行的推理服务。工业现场对检测节拍有硬指标通常要求在几百毫秒内完成单图判定因此部署环节往往需要模型量化、TensorRT加速、多线程流水线等优化手段。2.2 一张表看传统 AOI 与 AI AOI 的区别维度传统 AOIAI AOI特征来源工程师手工编写规则与阈值数据驱动自动提取特征新缺陷适配重新写算法、调参补充样本、微调模型误报率偏高依赖人工复判经过数据迭代可显著降低缺陷覆盖已知、规则可表达的缺陷形态复杂、无固定特征的缺陷上线周期每机种几天到两周数据足够时数天数据不足时需要积累硬件要求普通工控机即可需GPU或边缘AI加速卡主要成本算法工程师人力数据标注与算力成本可维护性参数难追溯版本化模型迭代典型场景简单背景、规则明显的缺陷复杂纹理、缺陷形态多样这个表格里最值得琢磨的是最后一行。实际生产中的检测场景并不是非黑即白有些场景用传统AOI已经足够稳定比如单一背景下的螺丝缺失检测、规则排列的连接器引脚变形检测这些缺陷特征分明、规则好写硬上AI反而是杀鸡用牛刀。而带走线密集、铜面纹理复杂、缺陷种类繁多的场景传统算法很难兼顾低漏检和低误报AI才有了真正的用武之地。2.3 为什么说迁移学习是 AI AOI 落地的关键纯从零训练一个工业缺陷检测模型理论上需要几十万张样本这在大多数工厂里是不可能完成的。迁移学习的思路一下子把门槛降了下来先用公开数据集或者已有的大模型预训练出一套基础特征提取能力再用工厂自己的少量样本去微调。实际项目中几百到几千张缺陷图就能让模型跑起来效果往往还远好于从零训练。迁移学习还有一个隐藏好处模型的底座已经具备对边缘、纹理、光照变化等通用视觉特征的表达能力所以对不同机种的适应速度很快。比如我今天用A机种的PCB板训练了一个模型明天换B机种只需要用B机种的几百张样本微调一下通常半天时间就能得到可验证的模型。这在产线频繁换型的场景下是巨大的效率优势。要注意的是迁移学习不是万能药底座模型和目标任务越接近迁移效果越好。如果用公开的自然图像数据集预训练再去检测很凉暗、对比度低的工业图片效果会打折扣。所以有条件的情况下更推荐用行业内的历史缺陷图先做一个海量数据预训练再针对具体客户场景微调这种“行业底座场景微调”的架构是我目前最推荐的落地姿势。3. 实操记录一个 AI AOI 项目我踩过的坑3.1 数据采集比想象中更花时间我曾经参与过一个半导体封装外观检测项目客户一开始拍着胸脯说库里已经存了上万张历史AOI图片直接拿去训练就行。等我们把数据打开一看发现麻烦不小图片分辨率参差不齐、拍摄角度不统一、大部分图片其实是复判人员随手截的图缺陷位置乱七八糟甚至有的图片上根本没有缺陷。后来我们老老实实回到产线重新搭数据采集流程。有个经验值得分享数据采集时的光照条件和角度必须和实际检测运行时保持完全一致否则模型在训练时看到的“域”和推理时看到的“域”不同准确率会大幅下降。数据采集也不一定是越多越好需要的是分布均衡。我们当时设定了每类缺陷最少300张、良品2000张的目标同时要求样本覆盖不同批次、不同工艺参数、不同时段生产的产品确保模型看到的不是某个单一批次的局部特征。还有一个小坑是关于图像格式。工业相机输出的Raw格式或高位深TIFF和模型训练常用的8位JPEG/PNG在信息量上差别巨大直接转成低位数格式会导致一些细小缺陷丢失。我们最后保留了一套原始格式数据做备份训练前统一做归一化和格式转换并记录下转换参数确保后面调试的时候能溯源。3.2 标注规范决定模型上限很多团队把精力花在网络模型上忽视了标注质量这其实是最大的误区。模型能学到什么完全取决于标注给它看了什么。标注不一致、漏标、错标都会直接变成错误的训练信号。我总结了一套比较实用的标注规范供参考缺陷边界必须紧贴真实轮廓宁可略小不要多扩因为外扩会把正常区域学成缺陷。同一个缺陷出现在不同样本中标注框大小要一致避免模型学到“不同尺寸的同类缺陷是两种东西”。对于模糊不清的样本建立疑难样本集由工艺工程师和质量工程师共同裁定后再标注不要凭标注员个人感觉。标注完成后至少要有一轮交叉复核抽检比例不低于20%。在实际项目中我发现标注交叉复核后模型mAP普遍能涨两到三个点这个收益比换网络结构来得快得多。我们用的是开源标注工具LabelImg配合Labelme做分割标注。团队里就三个人前前后后标了一万多张图花了整整三周时间。后来为了效率引入了预标注模型先让模型跑一遍自动生成初版标注人工只负责修正效率大约提升了三倍。预标注模型不一定很准哪怕只有60%的正确率也能省掉大量从零画框的时间。3.3 训练与评估别只用准确率说事在工业检测场景里最忌讳只看“准确率”这一个指标。缺陷检测是一个样本极端不平衡的任务良品可能占99%以上如果模型把所有图片都判成良品准确率照样高达99%但这就是个废模型。所以必须看召回率和误报率这两个指标的组合召回率对应漏检误报率对应过检工业客户最关心的就是这两个。我们当时训练用的是YOLOv8系的目标检测模型配合随机翻转、随机亮度变化、随机噪声等数据增强策略。训练集和验证集按8:2划分并保证缺陷类别在两边分布一致。训练完的模型在验证集上mAP到了0.93召回率也不错但一放到现场就发现误报率非常高。后来排查原因问题出在现场图像和训练图像的亮度分布有差异我们的增强策略里亮度扰动范围太小没有覆盖产线实际变化。解决方式是重新采集现场图像加入训练集做增量训练同时把数据增强中的亮度扰动范围调大。还有一招很有用在模型后面加一个基于规则的后处理过滤层把一些具有明显几何特征的误报筛掉。比如模型报了一个小缺陷点但它的尺寸和形态明显不符合真实缺陷的分布区间后处理层就会把它过滤掉。这种“AI加规则”的混合方案在实际部署中远比单一纯AI方案稳定。3.4 上线部署跟产线节拍死磕实验室模型跑得再快到了产线也未必能跟上节拍。我们遇到的一个典型情况是GPU服务器推理一张图只要80毫秒但加上图像传输、预处理、PLC触发、结果通讯之后整个流程却要500毫秒以上直接把产线节拍拖慢了。后来我们做了一系列优化把整条链路理清楚相机触发采用硬件触发避免软件触发的抖动和延迟图像预处理用GPU上的CUDA算子替代CPU版本模型推理采用TensorRT FP16精度在几乎不损失精度的前提下把推理时间从80毫秒压到40毫秒左右输出结果通过共享内存直接传给上位机省掉中间序列化开销。部署架构上很多工厂担心GPU服务器成本高其实工业检测不一定要上高性能服务器。像这种单相机单工位的检测场景一块中端GPU甚至一块边缘AI加速卡就够用。如果工位多可以通过一台服务器挂多路相机用流水线方式调度。我们有一条产线一台机器同时接了四路相机通过多线程和异步推理稳定跑了几个月完全满足节拍要求。4. 常见问题与排查实录问题现象直接原因排查与解决方案模型误报高好品报坏品训练数据光照域与现场不一致采集现场真实图像做增量训练加大亮度扰动增强增加规则后处理过滤漏检严重缺陷未检出该缺陷类型在训练集中样本不足补充样本到每类300张以上启用困难样本挖掘失败案例回流再训练新机种换型后效果下降新机种图像域偏移用迁移学习微调哪怕只有200张样本也能显著改善推理速度不达节拍模型过大或链路串行严重尝试轻量网络或TensorRT量化检测全链路各环节耗时并行化处理现场偶发误报漂移光源老化或相机位置微动定期执行光源补偿校准固定相机安装结构加入图像亮度动态归一化同类缺陷标注结果不稳定标注规范缺失建立标注规范文档明确边界定义进行交叉复核统一标注口径模型在验证集好、现场差验证集与现场图像数据分布不同重新划分验证集从现场随机抽样使用域差异分析工具观察特征分布除了表格里的这些问题我再补充一个排查思路当AI AOI出现问题不要第一时间去调模型参数先看数据。我多次遇到过所谓“模型抽风”的情况最后查出来的原因不过是操作员把某个物料放反了或者上一道工艺修改了参数导致表面状态变化这种时候收集新数据重新训练比调参靠谱得多。还有一个关于光源的独家经验AI模型对光照的敏感度比传统算法更高。传统AOI的阈值算法在光照变化时顶多是边界偏移AI模型则可能出现大面积特征漂移。所以AI AOI对光源稳定性的要求更高最好选用带反馈控制的高稳定光源并定期用电学或光学手段验证辐照度。很多工厂买了AI检测设备后频繁报故障最后查出来只是光源衰减了更换光源后一切恢复正常。5. 选型与落地建议什么时候该换 AI AOI5.1 先算账成本与收益我经常被客户问到一个问题AI AOI到底比传统AOI贵多少值不值得上这个问题的答案不能一概而论但可以有一套算账逻辑。先看投入端。AI AOI的显性成本包括带有GPU的工控机或边缘设备、AI软件平台授权、数据标注与模型维护的人力投入。对比传统AOI硬件差异可能在几万到十几万元这个量级软件和人力则是持续性的。很多客户容易忽略一个隐性成本——模型上线后的持续维护因为产线工艺不是一潭死水产品升级、新工艺导入都会带来新的缺陷模式这意味着AI模型需要持续迭代不是一次训练就一劳永逸。再看收益端。收益主要来自三个方面一是人工复判人力减少如果一条产线原来需要四个复判员上AI后减到一个人每年省下的人力成本非常可观二是漏检下降带来的客户投诉和返工损失减少三是换型效率提升传统AOI换一个机种可能要两三天调算法AI AOI靠迁移学习可能当天就能完成。我见过一个典型的算账案例某电子组装车间原来每条产线三个复判人员每年人力成本约50万元加上因漏检导致的客户退货每年约30万元。上了AI AOI后复判人员减到一人退货费用降到每年5万元以内。虽然前期软硬件和数据项目投入了40多万元但两年内基本就能收回成本。这个账算完决策也就清楚了。5.2 三条落地路径根据工厂的现状我建议分三条路径来落地AI AOI不同基础不同走法。第一条是“渐进式增强”。如果工厂已有传统AOI且运行稳定可以先不替换原有设备而是加装一个AI检测模块把传统AOI报警的图片送入AI做二次分类。这种“第一级传统粗筛第二级AI复判”的模式能在不改动原有产线结构的前提下大幅减少人工复判量。我参与过的一个项目传统AOI报警量每天一万多件经过AI复判后真正需要人工看的只剩一千多件人员从六人减少到一人。这条路风险小适合预算有限和不想折腾旧产线的工厂。第二条是“整线替换式”。当工厂面临产线新建、产品缺陷种类多且复杂、传统AOI已经严重成为瓶颈时直接上完整的AI AOI检测工位。这条路径投入大、见效快但需要工厂有较强的数据管理能力并且愿意在前期投入时间和人力做样本积累。第三条是“平台化统一”。适合多基地、多产线的大型制造企业把所有检测数据汇集到一个统一的AI平台上模型集中训练、下发生成各产线共享数据资产。这条路见效慢但长期看数据飞轮效应明显缺陷样本越积越多模型越用越准。我目前看到的行业头部企业基本都在往这个方向走。5.3 避坑心得有些坑只有踩过才知道我在最后分享几条个人体会。第一条是不要迷信大模型。工业检测场景里速度和稳定性比算法炫技重要得多。一个几百万参数的小模型如果能把误报率压到千分之一比一个几十亿参数的大模型在离线测试里高两个点更有价值。产线对稳定性的要求近乎苛刻偶尔一次抽风可能导致整批次报废。第二条是数据和工艺要联动。AIAOI不是IT部门自己的事必须让工艺工程师深入参与。很多时候模型检出的“异常”其实是因为工艺参数漂移导致的正常物理形态变化如果工艺端能先稳定下来模型才稳定得下来。把AI检测当成一个产品系统的传感器和工艺联调才能发挥最大价值。第三条是要管理预期分阶段交付。不要指望模型一上线就达到超过99%的准确率更现实的方式是分阶段第一阶段目标定为替代50%的人工复判量第二阶段再优化误报和漏检逐步提升替代比例。在组织层面设定一个可量化的验收指标这样项目推进才不会被一句“效果不好”卡住。从我实际操作的体会来看AI AOI不是对传统AOI的完全替代而是在传统AOI打下的硬件和工艺基础上的一次智能升级。光学系统、运动平台这些物理层短期内不会有颠覆性变化真正的演进发生在图像理解那一层——从人教机器看到人带机器自己学。这个转变会让检测系统从“工具”变成“经验沉淀的载体”。哪家工厂能先把数据资产攒起来把标注和迭代的流程跑顺哪家就能在越来越挑剔的质量要求面前站稳脚跟。