1. 为什么TVA要引入智能体而不只是堆检测模型AI智能体视觉检测系统TVA这个系列写到第十一篇前面已经聊过不少底层的图像处理链路、特征提取方案和模型训练细节。这一篇换个视角聊一个容易被忽略但真正决定系统上限的问题当检测任务从固定场景、固定缺陷扩展到产线多变、缺陷未知、标准动态调整时传统一个模型打天下的思路为什么扛不住TVA又是怎么把视觉检测从模型调用升级为智能体自主决策的。先说结论TVA并不是换了一个更大的神经网络也不是单纯加了几个检测分支而是在架构上把检测过程拆成了感知—理解—决策—执行—反馈五个环节让一个智能体大脑来统筹这五个环节。视觉模型仍然是核心组件但它从输出结果的主体降级为提供证据的工具。这个转变听起来抽象实际落地后效果差别非常大。我记得最早的原型版本就是典型的老思路一个目标检测模型负责框出缺陷区域一个分类模型负责给缺陷定性两个模型串起来跑准确率在小批量样本上能到95%以上。但一到真实产线就露出马脚——光照稍微变一点、产品表面反光强一点、偶尔出现一种样本里没见过的瑕疵形态整套系统就乱了。后来复盘原因问题不在模型本身而在于系统没有任何判断当前情况是否需要调整策略的能力。TVA加入智能体层就是为了补上这一块。2. 感知层的重构图像采集不再是拍完就完事2.1 多视角成像与光源策略的自动联动传统视觉检测的感知层是静态的工业相机固定安装、光源固定亮度、拍摄角度固定系统拿到一帧图像就往下走流程。TVA的第一个变化是把感知层的配置参数变成智能体可以动态调整的状态变量。举个例子检测透明瓶身的内部杂质时单靠正面打光很难区分杂质和瓶身自身的纹理干扰。TVA在感知层挂了三个成像通道明场、暗场、红外透射。智能体会先跑一帧快速预分析判断当前批次瓶身的透光率和纹理密度然后决定采用哪种光源组合、曝光时间调多少、是否需要切换偏振镜。这个逻辑用伪代码表达大概是这样的def sensing_strategy(quick_preview): # 快速预分析, 提取图像统计特征 brightness analyze_brightness(quick_preview) texture_density estimate_texture_density(quick_preview) material_transmittance estimate_transmittance(quick_preview) strategy {} if material_transmittance 0.6: strategy[illumination] infrared_transmission strategy[exposure] adjust_exposure(quick_preview, target_gray120) elif texture_density 0.35: strategy[illumination] dark_field strategy[polarizer] True else: strategy[illumination] bright_field strategy[exposure] standard return strategy这套动态联动机制解决了一个非常实际的问题同一台设备在不同批次、不同材质的工件之间来回切换时不需要人工重新调参。智能体通过预分析自动匹配采集策略从源头上减少了后续检测环节的干扰因素。2.2 图像质量自评模块提前拦截脏数据感知层还有一个容易被忽略的模块——图像质量自评。很多传统系统拿到模糊、过曝、欠曝的图片照样硬着头皮往下跑结果就是误检率飙升而且很难排查原因。TVA在图像进入检测主流程之前会先跑一个轻量级的质量评分网络判断对比度、清晰度、有效覆盖面积三个指标是否达标。只要有一个指标低于阈值系统不会直接报检出缺陷而是先触发重新采集或补充光源的动作。这个设计在初期的确增加了单件检测耗时但换来的是整体误报率大幅下降。实际产线里脏数据带来的问题远比想象中多尤其是传送带震动导致的运动模糊如果不拦截后面所有分析都是白算。3. 决策层的工作逻辑从多模型投票到证据链推理3.1 缺陷检测为什么不能只靠一个模型在最朴素的方案里一个缺陷检测模型输出框和类别就完事了。但真实工业场景的麻烦在于缺陷的形态定义是模糊的同一类缺陷在不同工艺条件下长得完全不一样。比如划痕有的是细直线有的是不规则的片状磨损有的是周期性条纹脏污可能是油渍、水渍、灰尘也可能是涂层不均造成的色差。用一个模型硬学所有形态很容易顾此失彼。TVA的做法是把多个专业检测模型组织成一个工具集智能体根据任务描述动态选用合适的工具并按置信度对多项检测结果做交叉验证。它的工作流可以简单理解成这样智能体接收当前工件的类型、工艺阶段、已知风险清单。从工具集里选择2到3个最匹配的检测模型。每个模型独立输出候选缺陷区域及置信度。智能体对这些候选区域做一致性校验不同模型都指出的区域优先判定为真缺陷只有一个模型指出、且置信度低于阈值的区域标记为存疑。对存疑区域重新触发高分辨率局部成像二次确认。这套流程最核心的价值在于检测系统从给出一个答案变成了给出一个可解释的证据链。对产线质检员来说看到的不只是一个NG标记而是哪个区域、由什么模型检出、置信度多少、其他模型是否一致这样处理起来就有依据得多。3.2 规则引擎与模型输出的融合经验知识不掉线纯数据驱动的检测系统有个通病——老师傅积累的经验规则很难塞进神经网络。比如这个工位生产的前30件属于设备调试期检测标准应该放宽20%或者换料之后的前50件重点关注某类特定缺陷这些规则用训练数据很难表达。TVA在决策层保留了一个轻量级规则引擎与模型输出做加权融合。规则引擎处理的是结构性、时序性的经验知识模型处理的是图像里的感知信息。两者的输出并不冲突如果规则引擎给出当前处于特殊工况阈值整体放宽的指令智能体会对模型输出的置信度阈值做动态修正反过来如果模型的输出持续与规则预期不符系统会记录异常并提醒人工复核规则是否已经过时。这个模型为主、规则兜底、互为校验的设计是TVA在实际部署中比纯深度学习方案更受产线老师傅认可的关键原因。系统不再是不讲道理的黑盒而是能看到一部分可以被经验理解的逻辑。4. 持续学习与场景自适应越跑越准的秘密4.1 在线样本库与定期微调机制视觉检测系统最怕的两个字是过时。产品改版、工艺调整、原材料批次更换任何一项变化都可能让原本有效的检测模型失效。TVA的应对方式是让系统具备持续学习的能力但这里的持续学习不是实时训练那在工业现场既不现实也容易灾难性遗忘。实际的机制是这样系统正常运行过程中所有检测结果以及对应的图像都会被存入一个临时的样本池。当智能体判断某个区域置信度中等但倾向为缺陷时这些样本会被标记为待确认。质检员每天处理待确认样本时系统会把人工判定结果自动记录下来。积累到一定数量后TVA会触发一次增量训练把新样本融入旧模型。增量训练的设计有几个细节值得说说。一是学习率要比正常训练小一个数量级否则旧知识会被快速覆盖二是需要使用回放样本从样本池里抽取一部分历史数据参与训练防止遗忘三是每次增量训练前都会先在留出的验证集上跑一遍如果指标反而下降会自动回滚模型版本不更新。这套机制保证了系统只在确认有效的时候才更新自身。4.2 缺陷长尾分布的主动发现工业检测里有个常见现象90%的缺陷集中在两三类常见的类型上剩下10%是各种稀奇怪异的长尾缺陷。常规系统往往对常见缺陷检测得很准长尾缺陷却几乎全部漏检。TVA在处理长尾缺陷时不是靠堆更多的样本而是靠异常检测思路——先不管缺陷是什么类别先把不像正常工件的区域找出来。智能体会为每个工件建立一个正常外观分布的参考模型凡是偏离分布阈值较多的区域都被标记为待检区域然后再用分类模型判断究竟是什么问题。这个先找异常再定性别的两步策略对长尾缺陷有天然的召回优势。实际运行中它也确实抓到过很多训练样本里完全没有的缺陷类型比如某批次材料在特定温湿度下产生的细微析出物如果系统中没有先验样本常规分类模型基本不会框出来但异常检测分支把它拉出来了。这也是TVA在用户现场口碑不错的一个直接原因。4.3 边缘端与云端协同的场景自适应TVA在部署形态上不是单机运行而是边缘端推理加云端调优的协同架构。边缘端部署经过压缩的轻量模型保证产线实时性云端保存完整模型和所有历史数据负责增量训练、策略迭代和跨产线知识迁移。这套架构有一个实际的好处当一个产线遇到新场景云端可以通过迁移学习快速生成一个针对该场景的特化版本下发给边缘端。比如同样检测金属表面缺陷打磨工艺产线和冲压工艺产线对光照、角度的敏感度完全不同但底层特征提取器是共享的只需要微调最后几层就能适配。实际更新一个场景的模型差不多半小时就够。5. 系统稳定性设计工业现场最怕什么5.1 感知极端情况的兜底逻辑即使是智能体系统也不可能保证永远不出错。设计时必须考虑一个问题如果现场条件超出系统能处理的范围应该怎么办TVA的策略是宁可拒绝检测也不猜测结果。当图像质量自评多次不过、模型之间冲突严重、或者关键传感器数据异常时系统会主动输出无法判断而不是强行给一个低置信度的结果。这个设计在一些人看来是系统能力不足的表现但实际部署中反而赢得了现场人员的信任。产线要的不是一个每次都给答案但经常给错答案的系统而是一个知道自己什么时候不行、及时求助的系统。5.2 检测结果的可追溯与回放最后一个值得一提的设计是完整的全链路日志。每一次检测都会记录输入的图像和成像参数、智能体选择了哪些工具、各模型的原始输出、规则的触发情况、最终的决策依据。所有的记录保存在本地数据库并支持按工件编号快速回放。这些日志的价值在初期不显眼等系统上线跑几周后解决争议问题和定位参数漂移时它的价值就凸显了。比如有时候产品质量出了问题但检测系统当时判的是OK如果没有全链路日志根本查不清是系统漏检还是后来运输环节造成的损坏。有了日志直接回放当时的检测过程问题归属一目了然。一开始确实有人觉得这个功能增加存储开销但到了后来越发觉得这是整个TVA系统里性价比最高的投资。尤其是多产线并行部署后跨线对比同一批工件的检测日志往往能快速定位某条产线的设备异常。系统的学习和记忆能力有一半功劳要归于这套日志机制。后续的新版本里我个人的计划是给日志模块加上更细粒度的向量检索让相似缺陷的历史处理记录能被更高效地调取这样智能体在做决策时能参考的经验会再上一个层级。这可能也是这个系列下一篇文章要详细展开的内容。