文章UniSpector: Towards Universal Open-set Defect Recognition via Spectral-Contrastive Visual Prompting代码https://geonuk-kimmm.github.io/UniSpector单位LG能源解决方案一、问题背景工业生产里的视觉质检是质量把控的关键但现有方案存在三大痛点闭集模型太死板只认识训练过的缺陷类型遇到新缺陷就失效重新标注数据、训练模型成本高、耗时长。异常检测不分型能发现产品有问题却无法区分划痕、凹坑、缺块等具体缺陷类别。视觉提示易崩溃用样图做提示的方法面对同一种缺陷形态差异大、不同缺陷长得像的情况特征会混乱识别准确率暴跌。文字提示不靠谱工业缺陷细微且专业很难用文字精准描述文本驱动模型效果极差。二、方法创新作者提出UniSpector视觉提示框架用三大核心模块解决上述问题空间-频谱提示编码器SSPE结合空间特征与频谱特征提取旋转不变的细粒度纹理信息降低同类缺陷的形态差异放大不同缺陷的特征区别。对比提示编码器CPE用角间隔对比学习强制同类缺陷特征抱团、异类缺陷特征远离构建语义清晰的特征空间避免特征崩溃。提示引导查询选择PQS基于提示动态筛选目标查询摒弃固定查询模式让模型更适配未知缺陷实现端到端优化。同时团队构建了Inspect AnythingInsA这是全球首个基于视觉提示的开放集缺陷检测基准数据集整合7个公开工业缺陷数据可评估域内、跨域泛化能力。三、实验结果性能碾压基线在InsA基准上UniSpector检测AP50^b超基线至少**19.7%分割AP50^m超基线至少15.8%**。细分数据集表现在MagneticTile上AP50^b达**63.3%Real-IAD上达69.1%**远优于DINOv、T-Rex2等主流模型。小样本高效每个缺陷类别仅需1-3张提示图模型性能就能稳定适配工业场景样本少的现状。鲁棒性强对模糊提示、标注不精准的情况容忍度高轻微模糊还能提升性能。四、优势与局限核心优势开放集通用无需重新训练给样图就能识别新缺陷适配不断变化的工业产线。细粒度精准频谱特征能捕捉像素级忽略的纹理差异区分极相似的缺陷。部署友好推理分两步提示特征可离线提取计算效率高。数据高效少量样本即可完成提示降低数据采集成本。现存局限跨域性能低于域内受不同数据集的成像条件、材质偏差影响较大。对极端模糊、标注严重错误的提示性能会明显下降。五、一句话总结UniSpector通过频谱特征对比学习破解工业开放集缺陷识别的特征崩溃难题搭配首个专用基准InsA实现无需重训、看样识瑕的高效工业质检是下一代柔性视觉检测的优质方案。