01先对齐概念什么是「YOLO 粗筛 VLM 精查」级联架构级联质检架构Cascade Inspection Architecture是把能力互补的视觉模型按先粗后精、逐级过滤串联成本极低的检测模型通常是 YOLO以低阈值对每张图做毫秒级初筛保证真缺陷不漏仅被标记的少量可疑图像才连同检测框、类别、坐标与置信度送视觉大模型完成真缺陷/误报判别、缺陷分类与根因分析确认缺陷进人工复判终裁误报回流放行。一句话概括其分工哲学YOLO 是门卫VLM 是外聘专家人是厂长。门卫负责拦住一切可疑人员反应快、成本低但偶尔会认错人专家只复核门卫拿不准的少数对象看得深、说得清但出场费高、不能事事惊动最终拍板权始终在人手里。术语速查表术语含义本文统一口径YOLOYou Only Look Once一类单阶段目标检测深度学习模型擅长在图像中快速框出目标位置并给出类别与置信度边缘端单图推理可做到毫秒级模型体积最小仅数 MB。VLMVision-Language Model视觉语言模型视觉大模型能同时理解图像与文字指令并以自然语言或结构化 JSON 输出判别结论、缺陷类别与工艺解释。级联Cascade把多个模型按顺序串联、前一级的输出作为后一级输入、逐级收窄处理范围的系统组织方式。ROIRegion of Interest感兴趣区域即图像中被框选出来、需要重点判别的局部区域。误报 / 过杀False Positive / False Call / Overkill把合格品错判为不良品。误报率越高人工复判工作量越大并会因狼来了效应麻痹复判人员。漏检 / 逃逸False Negative / Escape把不良品错判为合格并放行是质检中后果最严重的错误可能导致客户端失效与批量召回。触发率被 YOLO 初筛标记、进而送 VLM 复核的图像占全部图像的比例。触发率直接决定 VLM 调用成本注意它不等于缺陷率。量化把模型权重从高精度浮点FP16压缩到低比特INT8/INT4的技术AWQ 是常见的 INT4 量化方案可让数十亿参数的 VLM 装进 8GB 级边缘设备。直通率 / 自动化率无需人工介入即完成检测并自动放行的产品比例是衡量质检系统效率与投资回报的核心指标。02为什么单模方案都走不通误报、节拍与稳定性的三重墙2.1 传统 AOI 与纯 YOLO快是快但被误报拖住传统规则式 AOI 的原理是与标准样板做相似度匹配对光照、色差、位置偏移极度敏感——换一批光源、字符偏半毫米、材料轻微色差相似度就可能跌破阈值触发误报。人民网 2026 年 6 月报道援引统计传统 AOI 在复杂 PCBA 检测中的平均误判率约 5%不仅拉低直通率、浪费人工还容易让复判人员疲劳麻痹、漏掉真缺陷。多家视觉厂商的经验区间更宽5%~15%部分纯传统图像处理工况可达 30% 以上。换成 YOLO 这类深度学习检测器定位与泛化能力上了一个台阶但独自守全岗仍有三个短板其一误报绝对量仍然可观典型区间为 15%~25%安防场景工程评估口径量级参考其二只给坐标、不给解释——它能框出这里像裂纹却说不清为什么、属于哪类工艺问题工程师拿不到可行动的信息其三换产即重训新产品、新缺陷需要重新采集标注、训练验证柔性生产跟不上。2.2 视觉大模型单干道理讲得好废品判不了把视觉大模型直接放上质检岗位任务变成在整张图像里自己找缺陷、再判性质——这是开放世界检测恰恰是当前 VLM 最薄弱的环节。三组公开评测数据把问题摆得很清楚判别稳定性不足。Extrica 期刊 2026 年发表的焊接缺陷 VLM 评测中27B 参数的 Gemma 3 判焊接缺陷召回率为 66.4%看似可用但精确率只有 46.1%——每两个报警中就有一个是假的3B 小模型召回率仅 35%与 YOLOv12 同一水平Qwen2.5-VL-32B 甚至连规定格式的输出都稳不住无法进行自动化评测。定位能力薄弱。Omni-AD 工业异常检测基准上Qwen3-VL 零样本判别准确率为 62.9%而缺陷定位 F1 仅 26.2%——知道大概有问题和准确指出问题在哪之间差距巨大。节拍与成本不可承受。开源晶圆原型压测显示云端 VLM API 单图平均7.87 秒本地 YOLOv8n 约 0.13~0.16 秒相差数十倍。产线一秒几十个工件张张等大模型线开不动一天几十万张图全过 VLMtoken 账单与 GPU 占用同时失控。2.3 量化只解决了能不能上车没解决会不会开车需要客观承认2026 年的 VLM 已能跑上边缘端。NVIDIA 2026 年 4 月的 Jetson 技术博客给出路线INT4 AWQ 量化把 Qwen3 4B 权重压缩到约 2GB8GB 内存的 Orin Nano 即可运行8B 模型 W4A16 量化省出约 10GB 显存Jetson Thor 的 NVFP4 还能再快。国内也有质检盒子厂商宣称 AWQ 量化后占用 12GB、提速 3.2 倍、精度仅降 0.8 个百分点厂商口径未见第三方复测。但量化改变的是模型的体积不是职责。判别稳不稳、节拍够不够、账单付不付得起这三件事量化一件也没有解决。真正的工程问题因此从VLM 能不能上产线变成了另一个问题——该让它看多少张图。口径说明本部分数据来源不同、口径不一5%~15% 为传统 AOI 在电子制造场景的行业经验区间人民网、视觉厂商资料202615%~25% 误报率来自安防场景混合架构工程评估CSDN2026-09属工程估算而非产线实测焊接评测、Omni-AD 为公开学术基准数据7.87 秒与 0.16 秒来自开源原型压测。引用时请按场景区分不宜跨口径直接比较。四条技术路线横向对比维度规则式 AOI纯 YOLO 检测纯 VLMYOLO VLM 级联单图速度毫秒级毫秒级边缘端约 0.16 秒秒级云端约 7.87 秒约 90% 图像毫秒级疑难件秒级且异步误报水平高5%~15% 经验值较高15%~25% 估算区间判别不稳精确率低至 46%明显下降3%~7% 估算区间根因解释无无仅给框与类别有自然语言输出有仅为疑难件生成换产 / 新缺陷弱重新写规则弱需要重新训练强支持零样本强VLM 兜底长尾缺陷硬件成本中专用设备低高百路约 50~100 万约为纯 VLM 的 1/10典型短板怕光照与色差误报多、无解释慢、贵、输出不稳系统集成复杂度上升图单图处理延迟对比数据来源开源晶圆原型压测纵轴单位秒/张。级联架构中 90% 的正常件全程只走 YOLO 毫秒通道真正等待 VLM 的仅为不挡产线的异步疑难件。03级联架构全拆解一张图看清数据如何流动级联的流程并不复杂复杂的是每一级之间的接口约定。先看完整数据流图 3-1再逐级拆解。产线相机采图YOLO 初筛低阈值 0.15毫秒级检测 · 宁可多报保召回无候选?置信度 ≥ 0.5 ?0.15~0.50记录观察直接放行零 VLM 调用费用画框 类别 / 坐标 / 置信度VLM 语义复核异步队列真缺陷 / 误报判别 工艺根因超时/异常采信 YOLO 并标记误报回流放行真缺陷人工复判终裁无命中命中候选是是超时/异常误报真缺陷图 3-1级联质检全流程绿色为放行路径琥珀色为可疑件送 VLM 精查红色为确认缺陷送人工终裁灰色为异常降级路径逐级拆解每一级到底干什么采图与初筛。相机按节拍采图后首先进入 YOLO初筛阈值刻意压低常 0.1~0.25召回优先真缺陷一个都不能从门口漏过。无命中即放行。YOLO 没有报出任何候选目标的图像系统直接判合格放行不产生任何 VLM 调用这是成本最低、速度最快的主通道。候选件画框打包。对命中的候选目标系统在图像上画出检测框并把类别 坐标 置信度等结构化信息与图像打包成一条复核任务。VLM 复核判决。问法根本改变——不是找找有没有缺陷而是YOLO 报告此处有可疑特征请复核红框内是真缺陷还是正常结构若为真缺陷属于什么类型、工艺原因是什么结论融合分流。VLM 判为误报的回流放行判为真缺陷的连同自然语言诊断报告送人工复判工位VLM 调用超时或返回异常的自动降级为采信 YOLO 结果并打上标记事后追溯。人工终裁与留痕。疑难件由复判员做最终判决每一次机器判决与人工修正都存图、存文、存时间戳既满足质量追溯也成为下一轮模型迭代的样本资产。五个角色的职责边界角色职责不承担什么工业相机 / 光源按节拍提供稳定、一致、可复现的图像是全系统的数据源头不做任何判别成像不稳时再强的模型也救不回来YOLO 检测器毫秒级全量初筛高召回输出可疑候选与位置不做最终判决不对缺陷做语义解释VLM 复核专家对带框候选做真/误报判别、缺陷分类、工艺根因分析不在全图自由巡检不直接决定产品报废异步队列 / 调度削峰填谷、超时控制、失败重试与降级保证产线节拍不被阻塞不改变判决逻辑不丢任务人工复判员疑难件终裁、误报确认、样本反馈是质量责任的最终承担者不复判海量正常件——那是自动化要消灭的工作量三个被代码跑通的关键工程决策GitHub 上的开源晶圆缺陷分析原型fab_yolo_vlmMIT 协议把整套流程的代码完整公开YOLOv8n 模型仅 6.2MB用 50 张合成数据微调后在独立测试集上 mAP50 达到 0.861。在作者抽样的 5 张图中3 张被 YOLO 直接放行触发 VLM 的 2 张里1 张确认为真裂纹并附上工艺根因切割受力不均、热应力开裂另 1 张被 VLM 当场拦下——红框内其实是晶圆边缘的正常结构并非裂纹。原型口径该项目是个人开发者的原型验证训练数据为合成数据60% 放行是 5 张抽样中通过 3 张的小样本现象并非产线 KPI作者 README 也明确标注仅供学习与原型验证。它的真正价值是把三个关键决策跑通且代码可复现① 双阈值——0.15 低阈值出候选保召回、0.5 才触发 VLM② 带框图提问——VLM 看得到 YOLO 关注的位置才说得出红框内是边缘正常结构③ 失败降级——VLM 调用超时自动以 YOLO 结果为准网络抖动不停线。学术界走同一路线。IEEE TII 2026 年 4 月的 WeldLLM在边缘端用定制 WTDWR-YOLO 做焊接缺陷实时定位ROI 送入经 LoRA 微调的 Qwen2.5-VL3B生成诊断与维修建议代码和数据集开源arXiv 2601.062042026-01把重建初筛 检测 VLM 推理串成三级端到端延迟降至直接调 VLM 的三分之一。04三笔账自己算误报、成本与节拍的量化模型技术选型最终要回答的是经营问题能省多少人、省多少钱、线能不能开得动。下面把三笔账写成可以直接代入本厂数据的公式所有假设值均明确标注请勿把示例数字当成承诺。4.1 误报账把假警报洪水压缩一个数量级设初筛报警件中误报所占比例为p_fVLM 对误报的识别拦截率为r则级联后最终进入人工环节的残余误报比例近似为# 残余误报比例同一口径下p_residual p_f × (1 − r)代入工程评估给出的区间初筛p_f 15%~25%若 VLM 复核能拦下其中约 72%~80% 的误报r ≈ 0.72~0.80则p_residual ≈ 3%~7%与工程一线报告的复核后误报区间吻合。其微观过程在晶圆原型中已被观察到YOLO 把晶圆边缘正常结构框成裂纹VLM 复核时直接将其拦下、回流放行。换算成人力更直观日产 10 万张、初筛误报 20%即每天约 2 万个假警报VLM 拦下 80% 后仅剩约 4000 个需人看复判工作量下降 80%且人的注意力集中在真正的疑难件上。图 4-1误报率区间纯 YOLO 初筛 vs YOLO VLM 级联工程估算口径CSDN 2026-09典型场景量级参考非产线实测4.2 成本账硬件十分之一调用量降九成先看一次性硬件投入。百路相机规模下纯 VLM 方案需要 8~16 张高端 GPU约 50~100 万元级联方案只需 1~2 台边缘盒子加 1~2 张 GPU约 5~10 万元约为前者的十分之一。再看持续运营成本年化总成本可拆成# 年化质检推理成本通用模型C_year H/3 N × t × 330 × p_api C_ops# H硬件投入(按3年折旧)N日产图像量t触发率# 330年生产天数p_api单张VLM调用单价C_ops电费与运维纯 VLM触发率 t 100%每张图都计费级联触发率 t 通常压到 5%~20%90% 左右的图像在 YOLO 闸门处直接放行、零调用费用。示例测算单价为假设值须替换为实际报价N 10 万张/天t 10%云端 API 按 0.02 元/张计则级联方案年 VLM 调用 330 万张、费用约 6.6 万元纯 VLM 方案调用 3300 万张、费用约 66 万元相差约 60 万元/年。若 VLM 改为本地部署把 API 费换成 GPU 折旧与电费即可量级关系不变。口径提醒触发率不等于缺陷率。低阈值初筛宁可多报触发的是可疑候选而非异常件杀误报本就是 VLM 那一级的职责。触发率高低主要取决于 YOLO 阈值、现场工况与成像质量而非产品真实不良水平。图 4-2百路相机规模硬件投入区间对比数据来源混合架构工程评估2026-09工程估算口径图 4-3日产 10 万张时不同触发率对应的 VLM 日调用量柱内为同步放行的图像量。触发率每下降 10 个百分点等于每天少付 1 万次调用的钱。4.3 节拍账主通道毫秒级疑难件异步等产线节拍是硬约束一秒流过几十个工件检测环节必须在节拍窗口内给出放行/挂起的结论。级联架构把任务拆成了两条时间尺度完全不同的通道主通道同步、毫秒级YOLO 推理约 0.16 秒无命中当场放行命中候选也不当场等待结论而是先给工件挂可疑标记、送入异步队列主线不阻塞。复核通道异步、秒级VLM 精查走消息队列削峰填谷真正等待它的只有 5%~10% 的疑难件而疑难件本来就要进入复判流程多等几秒完全可接受。论文实测级联端到端延迟降至直接调 VLM 的三分之一人工终裁件数同步收窄日产 10 万张、触发率 10%、其中 VLM 判真缺陷约占三到四成则每天需复判员深度处理的仅 3000~4000 件人力配置可从按报警总量配改为按确认缺陷量配。4.4 商业侧的硬佐证过杀与漏检的跷跷板需要一个支点SixSense 2026 年 5 月的先进封装案例披露原厂 AI 分类系统过杀率卡在 2%~4%漏检无法压到零若漏检清零自动化率就得掉到 75% 以下。过杀与漏检此消彼长是 AOI 老毛病——调严则过杀上升、复判人海调松则漏检抬头、风险外溢。VLM 复核本质是给跷跷板加支点初筛继续用最严阈值保零漏检语义复核在后端低成本卸掉过杀两个目标首次可以同时逼近。05为什么先筛后查反而更准任务降级与错误的笼子5.1 大模型单干是开卷找错题打下手是有上下文的判断题反直觉的机制是同一个 VLM独自判图很糟、给 YOLO 打下手却可靠因为任务难度被降低了一级。单干模式任务是在整张、高分辨率、背景复杂的图像里自己定位可疑区域再判别性质——这是开放世界检测需要同时完成找得到和判得准两件事而定位恰恰是 VLM 的弱项Omni-AD 定位 F1 仅 26.2%焊接评测中模型甚至连输出格式都稳不住。复核模式YOLO 已经把候选位置圈好任务变成这个红框内的局部目标是真缺陷还是误报——一个有明确边界、有上下文、选项封闭的判别题。模型既不用在全图大海捞针也不会因背景干扰而自由联想。Omni-AD 的数据正好为这种用法背书先给模型圈好 ROI 再提问判别准确率从 62.9% 提升到 69.1%6.2 个百分点的增益完全来自任务被重新定义模型本身没有任何变化。5.2 把大模型的自由发挥关进 5%~10% 的区间让模型直接对整条产线负责它的每次幻觉、格式失控都会变成事故级联架构中VLM 的自由发挥被限制在 5%~10% 的疑难件区间——外有 YOLO 高召回闸门、后有人工复判兜底。它说对了是净增益说错了伤不到产品判真缺陷最多让人多看一眼判误报仍有抽检与留痕。标准风控姿势是——给专家发言权不给签字权。5.3 三种人员编制的资源配置对比编制 A · 门卫独岗只部署 YOLO / 传统检测速度快、成本低所有图当场出结果但门卫会频繁认错人误报围城且说不出为什么长尾新缺陷直接漏过。编制 B · 专家全包每张图都送 VLM判别深、能解释、零样本适应新缺陷但专家出场慢数秒/张、出场费高输出还时稳时不稳产线等不起、账单元付不起。编制 C · 门卫 专家YOLO 粗筛 VLM 精查门卫毫秒级全量筛查专家只复核 5%~10% 的疑难件厂长人保留终裁权速度、成本、准确率三者第一次同时成立。5.4 数据飞轮检测器出数据大模型出知识知识再喂回检测器级联还隐含长期价值VLM 为每件疑难图留下结构化自然语言记录——真缺陷附工艺根因如切割受力不均导致热应力开裂误报写明原因如边缘正常结构被误框。这些记录是两类改进的原料工艺侧向 MES 反馈参数问题、从源头减少缺陷算法侧把确认样本喂给 YOLO 迭代触发率随时间持续下降。YOLO 初筛留痕框 / 类别 / 置信度VLM 复核记录根因 误报理由人工复判确认修正 终裁标签样本库 / MES工艺改进 再训练每周回流模型再训练 · 阈值校准 · 工艺整改图 5-1级联质检的数据飞轮检测模型产出数据视觉大模型提炼知识知识经人工确认后回流到检测器与工艺系统06六步搭一套从模型选型到数据闭环的实施流程下面把落地拆成六个步骤。具体型号与参数随场景变化本文给出方法论与起点值最终参数以本厂验证集实测为准。图边缘计算盒子部署在产线旁工程师在触控屏上复核 VLM 标出的缺陷候选步骤 1检测器选型——用最小的模型守住召回检测器体积 / 速度特征适用工位YOLOv8n约 6.2MB纯 CPU 百毫秒级算力极紧的边缘工位、快速原型验证开源晶圆原型即采用此版本YOLO11 n/s同量级下精度与速度均衡新产线默认起点适合大多数结构化缺陷检测YOLO12引入注意力机制复杂纹理表现更好焊接、织物、表面纹理复杂、误报难压的工位领域定制模型如焊接场景的 WTDWR-YOLO有公开专用模型/数据集的垂直行业优先复用再微调步骤 2VLM 与硬件选型——按疑难件复杂度配专家VLM 方案部署形态与资源适用情况3B~4B 本地模型INT4 AWQ权重约 2GB8GB 内存级边缘盒子如 Orin Nano复核类别固定、要求数据不出厂、预算有限的工位8B 本地模型W4A16约省 10GB 显存Jetson ThorNVFP4 更快或单张 GPU 工控机需要较深工艺根因分析、缺陷类型较多的产线30B 云端 API本地零 GPU按调用量付费疑难件比例低、网络稳定、可接受数据上云或已有合规通道的工厂多级模型路由小模型常驻 大模型/API 兜底先用小 VLM 复核置信不足自动升级大模型兼顾成本与上限避坑对量化后精度仅降 0.8 个百分点、提速 3.2 倍一类厂商口径应要求在本厂验证集上做第三方复测重点核对难例小目标、低对比、罕见缺陷的表现——平均精度不掉不代表关键缺陷类不掉。NVIDIA 官方 Jetson 资料给出的 2GB/10GB 资源占用可作为硬件选型基准。步骤 3双阈值设计与调参——把召回和成本分开管双阈值是级联架构的第一道阀门调参方法如下建验证集。覆盖已知全部缺陷类型、历史高频误报场景、不同批次与光照工况规模建议不少于数百张并逐张标注真值。画 PR 曲线。在验证集上跑 YOLO 全量推理绘制精确率-召回率曲线定位两个关键阈值。定候选阈值 t1。以质量协议要求的召回目标关键工位通常要求 ≥99%反推阈值工程起点为0.10~0.25——低于 t1 才放行t1 以上全部进入候选宁可多报。定触发阈值 t2。置信度达到 t2起点0.50才送 VLM在验证集上调整 t2使触发率落入正常工况 5%~10%、复杂工况不超过 20%。灰区管理。t1~t2 之间的弱候选不送 VLM、但记录留痕每周统计灰区高频目标若某类弱候选反复出现说明阈值、成像或模型需要更新。周期校准。换产、换料、光源老化、工况漂移后重新执行上述流程建议把阈值校准固定为月度质量例会议题。工程原则漏检是事故误报是成本。双阈值的设计哲学是让两个目标各归其位t1 对漏检负责压到足够低t2 对成本负责在验证集支撑下取值。绝不能为了省 VLM 调用把 t1 调高——那等于让门卫对可疑人员视而不见。步骤 4Prompt 工程——喂带框图问复核题锁死输出格式级联架构中 Prompt 设计有三条铁律只让模型看框内、只让模型做判别、只让模型按 schema 输出。以下模板可直接按行业替换使用图中检测框需预先绘制并标注序号你是一名资深{行业如焊接/晶圆/精密机加}质检复核专家。检测模型 YOLO 已对下图完成初筛共标出 {n} 个可疑候选候选框已用红色矩形绘制在图上框左上角标注对应序号 候选 1类别「{cls_1}」坐标 (x{x}, y{y}, w{w}, h{h})置信度 {conf} 候选 2……请仅在候选框范围内复核不要检测框外区域。判定原则 1. 框内为正常工艺结构边缘、倒角、镀层纹理、厂商标识等→ false_alarm 2. 框内有客观缺陷证据裂纹、气孔、夹杂、未熔合等→ defect 3. 证据不足或图像质量无法判断 → uncertain禁止猜测。请严格输出以下 JSON不要输出 JSON 以外的任何内容{ results: [ { id: 1, verdict: defect | false_alarm | uncertain, defect_type: 裂纹 | 气孔 | 夹渣 | 未熔合 | null, severity: critical | major | minor | null, confidence: 0.0, evidence: 框内可见的客观特征描述30~80字, root_cause: 可能的工艺原因无把握时填 null, suggestion: 处置与复检建议 } ], image_quality: good | blur | overexposure | reflection, line_note: 对本张图像的整体备注无则填 null}为什么必须画框裸图会把任务推回全图找缺陷模型可能在框外自由发挥、漏看候选画框后它才说得出红框内是边缘正常结构。为什么保留 uncertain给模型一个不会就举手的选项是降低幻觉最有效的手段uncertain 件自动转人工不进入自动放行。为什么要 image_quality 字段把成像问题模糊、过曝、反光单独标识触发清洁/调光工单避免把成像缺陷误算成产品缺陷。步骤 5代码骨架——异步队列 超时降级 全量留痕import json, timefrom queue import Queue# from ultralytics import YOLO# 本地/云端 VLM 统一封装为兼容 OpenAI 接口的 clientT_CAND, T_TRIGGER, VLM_TIMEOUT 0.15, 0.50, 8.0review_q Queue() # 生产环境替换为 Redis Stream / RabbitMQdefinspect(image, meta):# 主线毫秒级绝不等待 VLM candidates yolo_screen(image) # [(cls, conf, box), ...]if not candidates:return {verdict: pass, route: direct} strong [c for c in candidates if c.conf T_TRIGGER] log_gray([c for c in candidates if c.conf T_TRIGGER], image, meta)if not strong:return {verdict: pass, route: gray-observed} review_q.put({image: image, candidates: strong, meta: meta})return {verdict: pending, route: vlm-async}defvlm_worker():while True: task review_q.get()try: annotated draw_boxes(task[image], task[candidates]) prompt build_prompt(task[candidates]) rsp vlm_client.chat(images[annotated], textprompt, timeoutVLM_TIMEOUT) out json.loads(rsp) # schema 校验失败也应降级 validate_schema(out) save_record(task, out, statusok)except (TimeoutError, json.JSONDecodeError, SchemaError) as e: out fallback_yolo(task) # 采信 YOLO打 fallback 标记 save_record(task, out, statusfallback, errstr(e)) dispatch(out) # defect/uncertain → 人工复判false_alarm → 回流放行容错 / 留痕设计具体要求任务幂等幂等键 工件唯一码 图像时间戳重复投递不产生重复判决、重复扣费超时与重试按工位设定超时示例 8 秒最多重试 1 次仍失败进入死信队列并告警降级层级VLM 异常 → 采信 YOLO 结果并标记YOLO 异常 → 该工位安全停机或全量转人工禁止无检测放行留痕字段工件 ID、图像地址、候选列表、VLM 原始返回、最终判决、判决来源VLM/降级/人工、时间戳、人工修正结果运行监控实时监控触发率、降级率、队列积压长度、复核 P95 时延任一越限自动告警步骤 6数据闭环排期——让系统越跑越省周级复判结果与 VLM 记录回流样本库复盘降级件与高频误报。月级YOLO 增量训练与灰度发布复核双阈值与趋势指标。季级评审 Prompt 与 schema纳入新缺陷类型把根因分析汇总为工艺改进报告输入 MES。07关键参数速查表一张表对齐项目组所有人参数推荐起点值说明与调整依据YOLO 候选阈值 t10.10 ~ 0.25按召回目标关键工位 ≥99%在验证集 PR 曲线上反推YOLO 触发阈值 t20.50使触发率落入目标区间过高漏检、过低费钱正常工况触发率5% ~ 10%高于 10% 优先排查阈值、成像与工况而非加 GPU复杂工况触发率上限≤ 20%长期超过 20%级联经济性显著减弱VLM 调用超时5 ~ 10 秒按工件在复核缓冲区的停留窗口设定失败重试次数1 次重试仍失败即降级避免队列阻塞4B 本地 VLM 资源INT4 AWQ约 2GB 权重8GB 内存级边缘设备可运行NVIDIA 官方口径8B 本地 VLM 资源W4A16省约 10GB 显存Thor 平台 NVFP4 可进一步提速年生产天数测算用330 天示例值按工厂实际排班替换样本回流周期每周复判结果、降级件、uncertain 件周度归档模型迭代周期每月增量训练 灰度发布 阈值复核08七个高频坑项目组最容易交学费的地方喂裸图、不画框。VLM 被迫回到全图开放检测漏看候选、自由联想62.9% 与 69.1% 之间的差距就是这么丢的。为了省钱调高初筛阈值。t1 一旦抬高漏检风险立刻失控——省下的是调用费赌上的是客户端质量事故与召回成本。同步等待 VLM 结果。主线被数秒延迟锁死产线节拍直接崩掉复核必须异步化工件挂起进缓冲区。没有降级路径。VLM 服务抖动、网络闪断时全线停等超时采信 YOLO、异常进死信队列是上线前必须验收的能力。只盯平均精度不看单类召回。关键缺陷类微裂纹、虚焊等召回不足会被好看的平均值掩盖验收按缺陷类别逐项过。触发率一飙高就加 GPU。先查 t1/t2 是否漂移、光源是否老化、工况是否变化——大多数触发率问题是数据与参数问题不是算力问题。上线即裁撤复判工位、不留痕。VLM 是专家不是厂长终裁权与追溯链必须保留没有全量留痕一次客户投诉就无法自证。09两条红线这些场景别急着上 VLM 级联以下两类工位应坚持确定性方案不要为技术先进性硬上缺陷率超过一半的工位。大部分图像都要触发 VLM调用量省不下来级联失去经济意义正确做法是把检测模型本身做强或回到前道工艺解决问题。要求毫秒级安全停机的工位。异步复核来不及参与安全回路安全联锁必须由确定性逻辑硬接线 PLC、安全继电器、规则传感器承担大模型永远不能进入安全关键路径。此外成像条件无法固化时先做成像工程图像不允许出厂又无本地部署条件时先解决合规与算力。10上线后看什么效果评估指标体系与四阶段路线指标定义建议目标 / 口径漏检率真缺陷被系统放行的比例零容忍或按质量协议以客户端与抽检双重核对终态误报率经 VLM 复核后仍进入人工的误报比例3%~7%工程估算区间按本厂实测校准触发率送 VLM 复核的图像占比5%~10%复杂工况 ≤20%自动化率无人工介入自动完成检测的比例对标封测行业 75% 基线目标 ≥90%降级率VLM 异常被降级处理的任务占比工程目标 1%逐件复盘复核 P95 时延复核任务 95 分位完成时间小于工件在缓冲区的最大停留窗口复判人均处理量单名复判员日处理确认件数按确认缺陷量配人而非按报警总量样本回流率人工终裁结果结构化回流的比例100%否则数据飞轮转不起来推荐的四阶段上线路线第 1~2 周影子模式级联系统并行采图、独立判决但不执行结论与现有 AOI、人工复判逐日比对验证召回与误报拦截。第 3~4 周旁路辅助VLM 复核结论作为复判员的参考建议显示在工位屏上人仍做全量判决统计人机一致率与模型建议采纳率。第 5~8 周单工位接管选定一个工况稳定的工位正常件由 YOLO 自动放行疑难件走 VLM 人工跑通降级、留痕与样本回流。第 9 周起逐工位复制按工位工况调整阈值与 Prompt 后推广建立月度运营机制触发率、降级率、漏检率、自动化率例行复盘。