简介NEU-DET钢材表面缺陷数据集围绕钢铁生产中的质量检测需求构建专注于裂纹、腐蚀、氧化皮、凹坑、划痕等常见缺陷的识别适合计算机视觉、深度学习方向的科研人员、算法工程师及相关专业学生使用。资源共2000个文件其中JPG图像提供真实钢材表面样本XML与TXT文件分别对应目标检测与YOLO训练所需的边界框标注信息额外附带的PY脚本如xml2yolo.py用于标注格式转换YAML文件可配置训练环境整个压缩包约26.68MB。该数据集已有4933人学习下载。数据集提供了带详实边界框标注的图像样本可直接用于训练Faster R-CNN、YOLO等目标检测模型借助配套脚本能快速完成数据预处理与格式统一。通过该资源使用者还能系统练习图像预处理、训练集/验证集划分、模型评估等关键环节为工业智能质检方案的落地提供坚实的数据支撑。 第一次打开NEU-DET压缩包的人十个里有八个会怀疑自己是不是下错了数据1800张图、200×200像素、灰度BMP没有想象中工业大图的气势文件夹也朴素得不像一个“著名数据集”。但恰恰是这批图撑起了过去十来年钢材表面缺陷检测论文里一大半的对比实验。NEU-DET来自东北大学全称是NEU surface defect DETection dataset内容是热轧带钢表面缺陷覆盖六类常见瑕疵每类300张标注格式是Pascal VOC的XML。当年我带着它入门目标检测后来做工业质检项目预研用的还是它。这篇分享不聊空泛的算法排名只讲我在NEU-DET上实际踩过的坑、摸出来的规律以及它和真实钢板产线之间那道不容易跨过去的坎。1. NEU-DET是什么级别的数据集热轧带钢缺陷检测的公共基准1.1 原始构成与六类缺陷NEU-DET最早是东北大学在钢材表面缺陷识别研究过程中整理发布的虽然图像分辨率不高、规模也不算大但它把“钢材表面缺陷检测”这件事定义得很清楚每个样本不是单纯给一个类别标签而是用bounding box标出缺陷的具体位置。这对检测任务来说非常关键因为工业质检最终要回答的不只是“这块钢有没有问题”更是“问题在哪里、大概多大、属于什么类型”。数据集一共1800张灰度图每类恰好300张。常见六类缺陷分别是类别英文名中文常见叫法典型外观人眼识别难度crazing网状裂纹细小、带分叉的裂纹网络和背景纹理纠缠在一起高inclusion夹杂深色颗粒状或小块状异物嵌入表面边界不太规则中patches斑块大范围灰度异常区域边界模糊有时接近背景灰度中pitted_surface麻点密集小坑、小点分布不均匀大小不一高rolled-in_scale氧化铁皮压入块状压入物通常灰度对比明显、边缘较清晰低scratches划痕线状亮条纹或暗条纹方向性较强低从这张表就能看出来NEU-DET在设计上故意保留了一些“难啃的骨头”。crazing这种缺陷如果拿给完全没经验的人看图很多人会把它当成正常纹理pitted_surface则是典型的“小目标密集”场景单看局部很容易漏。而rolled-in_scale和scratches属于相对友好的类别早期跑通pipeline时建议先看这两类的效果。1.2 为什么灰度图反而更适合入门不少初学者看到“灰度图”三个字会下意识觉得信息量不够其实在钢材表面缺陷这个场景里灰度图反而是非常合理的选择。热轧带钢表面的缺陷主要由纹理、形状、灰度突变来体现彩色信息对判断帮助有限真实产线用的工业相机也大量是黑白相机因为灰度传感器在同样分辨率下往往帧率更高、成本更低。NEU-DET用灰度图训练反而帮你自动屏蔽了色调干扰让模型把注意力集中在几何纹理特征上这对理解检测任务本身是有利的。另外200×200的分辨率看起来“寒酸”但有一个实际好处训练速度快。我当年拿一张入门级显卡跑YOLOv8s150个epoch也就是一两个小时的事情迭代实验非常方便。等你把网络结构、数据增强、评估方式都搞明白了再去挑战更大规模的数据集思路是通用的。这也是我为什么一直建议做工业视觉入门NEU-DET可以作为第一个检测数据集来跑。2. 打开标注文件后我才发现的几件事2.1 XML标注结构与解析NEU-DET的标注是Pascal VOC风格每张图片对应一个XML文件。随机打开一个结构是这样的annotation folderNEU-DET/folder filenamecrazing_1.jpg/filename source databaseNEU-DET/database /source size width200/width height200/height depth1/depth /size object namecrazing/name bndbox xmin17/xmin ymin39/ymin xmax186/xmax ymax167/ymax /bndbox /object /annotation注意depth1/depth这张图是单通道灰度图。有些标注解析库在读取时会默认按三通道处理后面转成数组或者存成jpg再读入时容易出问题训练前统一用OpenCV的IMREAD_GRAYSCALE读一遍或者在数据加载阶段强制转成三通道都能避免这类低级错误。2.2 类别不平衡、漏标和划分策略很多人以为NEU-DET每类300张图数据是均衡的其实这是“图片级均衡”不是“实例级均衡”。我自己统计过一次把六类XML里的object全部数出来不同类别的bounding box数量差别能到两三倍。像patches、rolled-in_scale这类缺陷在单张图上经常出现多个目标而crazing、scratches往往一张图只标一两个框。也就是说虽然每类图片数一样模型实际能学到的“正样本实例数”是不一样的。更隐蔽的问题是漏标。NEU-DET整体标注质量在公开数据集里算不错但依然存在一批图片只标注了最明显的缺陷其他肉眼可见的区域没有框出来。我印象最深的是某张pitted_surface图片人眼至少能看到六七个密集麻点区域XML里只标了两个框。这种漏标对训练有影响对评估的影响更大——模型如果预测出了“没标”的缺陷在计算mAP时会被算成false positive导致指标偏低。官方没有提供固定的训练/验证/测试划分这是NEU-DET一个很让人头疼的地方。很多早期开源代码直接按文件名顺序取前240张训练、后60张验证虽然也能用但不推荐。因为按顺序切分可能会让某些类别的困难样本集中落在验证集里导致评估结果不稳。正确做法是按类别分层抽样比如每类随机取240张训练、30张验证、30张测试保证每个子集里六类图片比例一致。分层抽样只多写几行代码但能省掉后续大量“为什么分数忽高忽低”的困惑。3. 用YOLOv8跑NEU-DET的完整记录3.1 选型理由为什么我更推荐单阶段检测器在NEU-DET上刷榜很多人会用Faster R-CNN甚至Cascade R-CNN两阶段检测器在精度上确实有优势尤其是小目标和密集目标场景。但如果你不是专门做论文对比而是想快速验证想法、跑通完整流程我更推荐YOLO系列。原因很直接训练代码工程量小数据格式适配方便推理速度快后续部署到工业端也容易。NEU-DET里的目标虽然有些比较小但图像本身只有200×200单阶段网络完全兜得住。我试过YOLOv8s、YOLOv8m和Faster R-CNN在相同训练设置下YOLOv8s的mAP50已经能到0.8以上训练时间却只有Faster R-CNN的零头。工程预研阶段时间成本是很重要的指标YOLO明显更适合。3.2 数据格式转换与训练配置YOLO系列用的是txt格式标注每行代表一个目标类别ID、归一化中心点x、中心点y、宽度w、高度h。VOC转YOLO的脚本网上很多我自己习惯写一个简洁版本import xml.etree.ElementTree as ET import os classes [crazing, inclusion, patches, pitted_surface, rolled-in_scale, scratches] def voc_to_yolo(xml_path, out_path): tree ET.parse(xml_path) root tree.getroot() w int(root.find(size/width).text) h int(root.find(size/height).text) lines [] for obj in root.iter(object): name obj.find(name).text if name not in classes: continue box obj.find(bndbox) xmin int(box.find(xmin).text) ymin int(box.find(ymin).text) xmax int(box.find(xmax).text) ymax int(box.find(ymax).text) cx ((xmin xmax) / 2) / w cy ((ymin ymax) / 2) / h bw (xmax - xmin) / w bh (ymax - ymin) / h lines.append(f{classes.index(name)} {cx:.6f} {cy:.6f} {bw:.6f} {bh:.6f}) with open(out_path, w) as f: f.write(\n.join(lines)) xml_dir NEU-DET/annotations out_dir NEU-DET/labels os.makedirs(out_dir, exist_okTrue) for xml_name in os.listdir(xml_dir): if xml_name.endswith(.xml): voc_to_yolo(os.path.join(xml_dir, xml_name), os.path.join(out_dir, xml_name.replace(.xml, .txt)))转换完标注再准备一个数据集描述文件# neu-det.yaml path: ./NEU-DET train: images/train val: images/val names: 0: crazing 1: inclusion 2: patches 3: pitted_surface 4: rolled-in_scale 5: scratches然后直接开训from ultralytics import YOLO model YOLO(yolov8s.pt) model.train( dataneu-det.yaml, epochs150, imgsz640, batch16, lr00.01, patience30, )这段配置看起来简单但里面有几个点值得展开说。3.3 实测中的几个典型现象第一个现象imgsz的选择对结果影响很大。NEU-DET原始图只有200×200有人图省事直接以imgsz200训练结果mAP50会掉到0.7以下。原因在于YOLOv8这类网络多次下采样之后特征图分辨率本来就不高原图200×200经过32倍下采样只剩6×6的网格小目标很容易被压没。我试过把输入缩放到320、480、640三种尺寸640的mAP50明显更高。但代价是训练和推理速度变慢工业场景如果对帧率敏感建议用480做折中。第二个现象mosaic数据增强不总是友好。Ultralytics默认开启mosaic把4张图拼接成一张新图。这个增强在大多数检测数据集上有效但在NEU-DET上要留意。因为原图本身尺寸小mosaic拼接后目标在图中的相对尺寸进一步缩小容易让模型学到错误的尺度信息。Ultralytics默认会在最后10个epoch关闭mosaic做微调这个机制是好的如果你自己写训练脚本建议也保留类似设置。第三个现象类别不平衡直接影响收敛速度。我在训练初期就发现scratches和rolled-in_scale的loss降得很快crazing却一直在高位徘徊。简单地对loss加权提升不明显因为crazing难在特征本身和背景太像不是简单加权重能解决的。更务实的做法是保证验证集里crazing的样本量充足同时在数据增强里对这类图做更多裁剪增强。4. 指标、难度排序与典型误检4.1 怎么读mAP和混淆矩阵NEU-DET的论文和开源项目里最常见的评估指标是mAP50也就是IoU阈值0.5时的平均精度。这个指标对定位要求比较宽松框稍微偏一点也能算对。如果你只报mAP50YOLOv8s在合理划分下跑到0.85并不稀奇。但实际部署时IoU达到0.5的框往往不能用现场要求定位更准所以一定要同时看mAP50-95。NEU-DET上mAP50-95通常比mAP50低20到30个百分点这是正常现象别慌。读混淆矩阵比只看mAP更有价值。mAP告诉你“平均做得怎么样”混淆矩阵告诉你“哪两类容易分不清”。这在工业场景里非常重要因为不同缺陷的处理方式完全不同scratches可能只需要报警和标记而rolled-in_scale一旦漏检可能影响后续轧制工艺。4.2 六类缺陷的难度差异我多次实验下来六类缺陷的难度排序大致是crazing pitted_surface inclusion ≈ patches scratches ≈ rolled-in_scalecrazing稳坐最难的位置。它呈现为细碎裂纹网本身和热轧带钢的纹理背景非常相似人眼都需要仔细辨认模型更容易把它和背景纹理混淆也容易误检出一堆不存在的碎裂纹。pitted_surface难点在“密”和“小”一个框里可能包含几十个麻点模型无法精确定位每一个导致预测框数量与真实框数量对不上AP被拉低。相对简单的是scratches和rolled-in_scale。scratches有清晰的线性边缘rolled-in_scale灰度对比度高、形状块状化特征鲜明模型很容易学。如果某个模型在NEU-DET上整体mAP很低先看这两类的AP高不高如果连它们都不高说明训练流程本身有问题而不是数据集难。4.3 常见误检和它们的成因我自己跑出来的误检主要集中在三个类型第一patches和inclusion互相混淆。两者都是灰度异常区域区别在于patches边界更模糊、面积更大inclusion通常更小更暗。当inclusion尺寸偏大时模型很容易把它归成patches。我的应对办法是在后处理里对这两类的置信度阈值做差异化设置inclusion阈值调高一点减少低置信度误检。第二crazing的虚警。模型会在正常背景纹理上预测出大量细小的crazing框这些框往往置信度不高但数量很多。与其调阈值不如检查一下crazing类的anchor匹配情况小目标分布多的话需要确保特征图上有足够的锚点覆盖。YOLOv8虽然不用手工anchor但可以调整检测头在不同尺度特征图上的权重让更细粒度的特征图对crazing这类缺陷更敏感。第三验证集漏标导致的“假错误”。有一次我训练完看某类AP异常低打开验证集图片逐张核对发现一张图实际有3个缺陷标注文件里只标了1个。模型预测的另外两个缺陷一出来就被判成false positiveAP自然被拉低。所以评估前花半小时抽看验证集能省掉大量无效调参时间。判断一个模型好坏光看指标不够一定要可视化预测结果一张一张看。5. NEU-DET与真实钢板产线之间的距离5.1 学术数据集的三层失真很多人在NEU-DET上拿到不错的指标就以为可以直接搬到工厂里用现实往往是当场翻车。我总结了三层失真。第一层是数据规模失真。1800张图对学术研究来说足够跑通算法但对工业落地来说只是起步量。现场光照变化、相机抖动、钢板速度波动、水雾油污干扰这些因素组合起来需要的样本量远超1800张。第二层是场景多样性失真。NEU-DET的图来自相对固定的采集环境灰度范围、缺陷形态都偏理想化。真实产线换一个钢种、换一个光照角度数据分布就变了模型精度会明显下降。这就是典型的domain shift问题公开数据集上分数越高换到现场往往掉得越狠。第三层是类别分布失真。NEU-DET里六类缺陷各占六分之一刻意均衡了。产线上完全不是这样有些缺陷一个月都遇不到几次数据极度不均衡。模型在均衡数据上学到的先验概率到了真实场景并不适用。5.2 让NEU-DET服务工业落地的三种用法虽然NEU-DET不能直接作为工业测试集但它是很好的预训练和增强素材。我实际用过的三种方式第一种把NEU-DET当作预训练数据。先在NEU-DET上训练一个初始模型再用现场采集的小批量真实缺陷图做微调。因为NEU-DET教会了模型“钢材表面缺陷长什么样”迁移到新场景只需要适应光照和纹理差异收敛速度和最终精度都比从COCO预训练权重直接微调好。第二种把NEU-DET图混入训练集做背景多样性补充。现场缺陷样本不足时把NEU-DET图片按一定比例混进去和真实样本一起训练。比例我一般控制在30%以内太高会让模型偏向公开数据分布。这里注意要把图片统一转成三通道RGB虽然内容灰度不变但能避免管道里数据类型不一致的报错。第三种用NEU-DET做数据增强的实验场。现场数据宝贵不能在真机上乱试增强策略。我习惯先在NEU-DET上验证哪种增强组合有效比如随机亮度扰动、高斯模糊、随机裁切再把这套增强管道迁移到现场数据上。这样既保护了真实样本又能快速迭代增强方案。说到底NEU-DET更适合当“练功房”而不是“角斗场”。我在实际项目中最大的体会是公开数据集的价值不在于刷出一个漂亮数字而在于帮你把数据集解析、训练流程、评估方法、误检分析这一整套方法练熟。这套方法拿到任何产线数据上都用得上。如果你也正在跑NEU-DET我建议先别急着训练把三百张crazing图片从头到尾手动翻一遍半小时不到但对这个任务难在哪里的理解会比直接看mAP深刻得多。本文还有配套的精品资源点击获取