1. 为什么我花了两周时间整理这份数据集清单做图像处理和深度学习这几年我最怕听到的一句话就是模型效果不行。十有八九问题不在网络结构而在数据。你调了半天学习率、换了三种优化器、把 backbone 从 ResNet 换成 ConvNeXt最后发现训练集里一半的标注框是歪的或者类别分布严重失衡——这种亏我吃过不止一次。所以当我看到12大类150个图像处理和深度学习开源数据集这个整理方向时第一反应是这东西要是早点有人系统梳理过我能少走太多弯路。它本质上解决的是一个非常具体的问题——当你接到一个图像相关的任务时去哪里快速找到能用的数据。不管你是做目标检测、图像分类、语义分割还是搞遥感、医学影像、工业质检数据集永远是第一道门槛。这篇文章适合谁看刚入门深度学习、还在为课程项目找数据的学生接了新方向、需要快速摸清数据资源的算法工程师以及做图像处理但不想从零标注数据的开发者。我会把这12大类拆开讲清楚每一类里有哪些经典数据集、它们各自的特点和坑在哪里、怎么根据你的任务选型。不是简单罗列名字而是告诉你为什么选它、怎么用、注意什么。2. 数据集分类的整体思路与选型逻辑2.1 为什么按任务领域双维度分类150个数据集如果只是按字母排或者按年份排那基本没法用。我最终采用的是任务类型为主、应用领域为辅的双维度结构。原因很简单你找数据集的时候脑子里第一个念头通常是我要做目标检测还是我要做分类而不是我要找一个2018年发布的数据集。12个大类大致是这样划分的通用图像分类、通用目标检测、语义分割、人脸相关、医学影像、遥感与航拍、自动驾驶与交通、工业缺陷检测、文字识别OCR、视频与动作识别、三维点云与深度、以及生成与增强类。这个划分不是绝对的有些数据集横跨多个类别比如 COCO 既能做检测也能做分割我会在主要归属下说明它的其他用途。选型的时候有个基本原则先看任务匹配度再看数据规模最后看标注质量。很多人反过来一上来就找最大的数据集结果发现标注格式跟自己框架不兼容光写转换脚本就花掉三天。2.2 数据集选型的四个核心判断标准我总结了一个实用的判断框架每次选数据集之前过一遍能省很多事。判断维度关键问题常见陷阱任务匹配标注类型是否直接支持你的任务分类数据集拿来做检测得自己补框规模与分布类别是否均衡长尾是否严重头部类别占80%尾部类别学不动标注质量框是否贴合标签是否一致多人标注标准不统一噪声大格式兼容是否支持 COCO/VOC/YOLO 等主流格式私有格式需要自己写转换提示规模不是越大越好。我做过一个工业缺陷检测项目用了某公开数据集预训练结果因为该数据集的缺陷形态跟实际产线差异太大预训练权重反而拖累了收敛。后来换成小规模但更贴近实际分布的数据效果立刻上来了。2.3 开源数据集的授权与合规注意事项这一点很多人忽略。开源不等于随便用。有些数据集标注了 CC BY-NC意味着不能商用有些是研究用途限定还有些数据集里的图像本身来自网络抓取存在版权隐患。我的做法是商用项目只用明确标注可商用的数据集如 CC0、CC BY、Apache 2.0 等研究项目也尽量记录来源方便后续追溯。另外涉及人脸、医学等敏感数据的数据集使用前一定要看清楚伦理声明和使用条款。这不是小事踩过线可能整个项目都要推倒重来。3. 通用图像分类数据集详解3.1 入门必用的经典分类数据集图像分类是深度学习的Hello World而 MNIST 和 CIFAR 系列就是那本入门教材。MNIST 是 7 万张 28x28 的手写数字规模小到用 CPU 都能跑适合验证你的训练流程是否跑通。但我要提醒一句MNIST 上 99% 的准确率没有任何参考价值它太简单了别拿它当模型能力的证明。CIFAR-10 和 CIFAR-100 是更实用的入门选择。CIFAR-10 有 10 类 6 万张 32x32 彩色图CIFAR-100 是 100 类各 600 张。它们的特点是类别清晰、规模适中适合快速对比不同网络结构。我当年做课程作业时就是在 CIFAR-10 上把 ResNet、VGG、MobileNet 跑了一遍对卷积核、池化、残差连接的理解一下子具体了。再往上就是 ImageNet 了。完整版有 1400 多万张图、2 万多个类别但真正常用的是 ILSVRC 子集1000 类、约 128 万张训练图。ImageNet 预训练权重几乎是所有视觉任务的起点你后面做检测、分割、检索backbone 大概率都是从 ImageNet 权重初始化来的。3.2 细粒度分类与领域分类数据集通用分类跑通之后很多人会进入细粒度分类比如区分不同品种的鸟、不同型号的车、不同种类的花。这类任务难度陡增因为类间差异极小。CUB-200-2011 是鸟类细粒度分类的标杆200 种鸟、约 1.2 万张图还带部件标注喙、翅膀、尾巴的位置。Stanford Cars 有 196 类汽车、1.6 万张图。Oxford Flowers-102 是 102 种花卉。这些数据集的价值在于它们逼着你去思考如何让模型关注局部判别性特征而不是只看整体轮廓。还有一类是场景分类比如 MIT Places 系列覆盖 400 多个场景类别、千万级图像。做场景理解、环境感知的时候很有用。3.3 分类数据集的预处理与增强实操拿到分类数据集别急着往网络里灌。我通常按这个流程走检查类别分布用Counter统计每个类别的样本数画个柱状图。如果最大类是最小类的 10 倍以上就要考虑重采样或加权损失。统一尺寸分类网络通常要求固定输入比如 224x224。但直接 resize 会变形我一般用 resize center crop或者 resize 短边 random crop。数据增强训练时用 RandomHorizontalFlip、ColorJitter、RandomRotation验证时只做 resize center crop。别在验证集上做随机增强否则指标不稳定。归一化用数据集自身的均值和标准差或者直接用 ImageNet 的mean[0.485,0.456,0.406]、std[0.229,0.224,0.225]。from torchvision import transforms train_transform transforms.Compose([ transforms.RandomResizedCrop(224), transforms.RandomHorizontalFlip(), transforms.ColorJitter(0.2, 0.2, 0.2), transforms.ToTensor(), transforms.Normalize([0.485,0.456,0.406], [0.229,0.224,0.225]) ])注意ColorJitter 的强度别调太大尤其是做医学或工业图像时颜色本身就是重要特征过度抖动会破坏判别信息。4. 目标检测数据集全解析4.1 通用目标检测的三大主力数据集目标检测领域PASCAL VOC、COCO、Open Images 是绕不开的三座大山。PASCAL VOC 是早期标准VOC2007 和 VOC2012 最常用20 个类别标注格式简单XML适合入门和快速验证。它的缺点是类别少、场景单一现在基本只用来做 baseline 或者教学。COCO 是当前最主流的检测基准80 个类别、33 万张图、150 万个实例标注。它的特点是小目标多、场景复杂、标注质量高还同时支持检测、分割、关键点、描述生成等多项任务。你如果只选一个检测数据集选 COCO 基本不会错。但要注意COCO 的评估指标 mAP 计算方式比较特殊用的是 IoU 从 0.5 到 0.95 的平均跟 VOC 的单一 IoU0.5 不一样对比结果时别搞混。Open Images 是 Google 放出的超大规模数据集约 900 万张图、600 个类别框标注。规模大意味着训练慢但泛化能力通常更好。适合做预训练或者需要大量长尾类别的场景。4.2 垂直领域目标检测数据集通用数据集解决不了所有问题。做交通要看 KITTI、BDD100K做遥感要看 DOTA、DIOR做工业要自己找缺陷数据集。KITTI 是自动驾驶领域的经典包含市区、乡村、高速场景标注了车辆、行人、 cyclists还有激光雷达点云。BDD100K 规模更大10 万段视频、1000 小时覆盖各种天气和光照。做自动驾驶感知这两个基本是标配。遥感方向DOTA 是个绕不开的名字它专门针对航拍图像目标小、方向任意标注是旋转框oriented bounding box。DIOR 则是 2 万多张图、20 类目标适合做遥感检测的入门。小目标检测是另一个难点。很多数据集里小目标占比低模型学不好。我建议专门找带小目标标注的数据集或者用 SAHISlicing Aided Hyper Inference这类方法把大图切块推理。4.3 检测数据集的标注格式转换与 YOLO 适配检测数据集最烦的就是格式不统一。VOC 是 XMLCOCO 是 JSONYOLO 是每张图一个 txt。你几乎一定会遇到格式转换的需求。以 COCO 转 YOLO 为例核心是把[x_min, y_min, width, height]转成归一化的[x_center, y_center, width, height]# COCO bbox: [x_min, y_min, w, h] # YOLO bbox: [x_center/img_w, y_center/img_h, w/img_w, h/img_h] x_center x_min w / 2 y_center y_min h / 2 x_center / img_w y_center / img_h w / img_w h / img_h提示转换完一定要可视化抽查。我见过太多因为坐标没归一化、或者 x/y 写反导致训练完全不收敛的案例。写个脚本随机抽 20 张图画框出来看五分钟的事能省几小时排查。YOLO 系列包括最新的 YOLOv8、YOLOv11 等对数据组织有固定要求images/train、labels/train、images/val、labels/val外加一个data.yaml指定类别和路径。按这个结构组织基本不会出错。5. 语义分割与实例分割数据集5.1 分割任务的标注类型与代表数据集分割比检测更精细要求逐像素分类。语义分割不区分实例实例分割要区分。代表数据集有 Cityscapes、ADE20K、Pascal VOC 分割子集、COCO 分割子集。Cityscapes 专注城市街景5000 张精细标注 20000 张粗略标注19 个类别。它的标注质量极高是自动驾驶分割的首选。ADE20K 覆盖 150 个类别、2 万多张图场景多样适合通用分割研究。医学分割有专门的挑战赛数据集比如 ISIC皮肤病变、LiTS肝脏肿瘤、BraTS脑肿瘤。这些数据集通常规模不大但标注专业做医学 AI 必备。5.2 分割数据集的评估指标与常见坑分割最常用的指标是 mIoU平均交并比。计算方式是每个类别的 IoU 求平均。这里有个坑背景类要不要算进去。有些论文算背景有些不算对比时一定要看清楚。另一个坑是类别不平衡。街景里道路和天空占了大半行人和交通标志很少。如果直接训练模型会倾向于预测大类。解决办法有加权交叉熵、Focal Loss、OHEM 等。5.3 从检测标注生成分割标注的实用技巧有时候你只有检测框没有分割掩码。可以用 GrabCut、SAMSegment Anything Model等工具自动生成粗略掩码再人工修正。SAM 在这件事上特别好用给个框就能出掩码质量相当不错。# 用 SAM 从框生成掩码的伪代码 mask_generator SamPredictor(sam_model) mask_generator.set_image(image) masks, scores, _ mask_generator.predict(boxbbox, multimask_outputTrue) # 选 score 最高的掩码 best_mask masks[scores.argmax()]注意自动生成的掩码边缘通常不够精细做训练可以做最终交付一定要人工过一遍。6. 人脸、医学与遥感等垂直领域数据集6.1 人脸检测、识别与属性数据集人脸方向数据集非常丰富。检测有 WIDER FACE3 万多张图、近 40 万张人脸覆盖各种尺度、姿态、遮挡。识别有 LFW、MS1M、VGGFace2。LFW 是经典评测集6000 对人脸用来验证是否同一个人。MS1M 和 VGGFace2 规模大适合训练。属性识别有 CelebA20 万张名人脸、40 个属性标注是否戴眼镜、是否微笑等。做多任务学习时很好用。人脸数据集的伦理问题最敏感商用一定要用有明确授权的数据别碰来路不明的人脸库。6.2 医学影像数据集的使用要点医学数据集的特点是规模小、标注贵、类别极不平衡。ISIC 皮肤病变数据集约 2 万张LiTS 肝脏肿瘤只有 131 个 CT 序列。这种规模直接训练深度网络很容易过拟合。我的经验是先用 ImageNet 或大规模自然图像预训练再在医学数据上微调同时用强数据增强旋转、弹性形变、亮度对比度扰动损失函数用 Dice Loss 或 Tversky Loss比交叉熵更适合分割。医学数据还涉及隐私很多数据集需要申请才能下载使用时要遵守数据使用协议。6.3 遥感与航拍图像数据集遥感数据集的目标通常很小、方向任意、背景复杂。DOTA 是代表包含 2800 多张航拍图、15 个类别、18 万个实例。DIOR 有 2.3 万张图、20 类。还有 NWPU VHR-1010 类、800 张图适合入门。遥感图像处理里经常用到集合运算比如求两个区域的重叠、并集这在变化检测、土地利用分类里很常见。做这类任务时除了深度学习模型传统图像处理里的形态学操作膨胀、腐蚀也经常配合使用。7. 数据集获取、管理与高效使用策略7.1 数据集下载与版本管理150 个数据集不可能全部下载到本地。我的做法是建一个索引表记录每个数据集的名称、任务、规模、下载地址、授权协议、是否已下载。用 Notion 或者简单的 CSV 都行。下载大文件用wget -c支持断点续传或者用aria2c多线程加速。下载完校验 MD5避免文件损坏。版本管理方面数据集本身很少变但你的预处理版本会变。我习惯把原始数据和处理后的数据分开存处理脚本也纳入 git 管理这样随时能复现。7.2 数据加载性能优化训练时数据加载经常是瓶颈。PyTorch 的DataLoader里num_workers设成 CPU 核心数左右pin_memoryTrue加速 GPU 传输。如果数据在机械硬盘上考虑转成 LMDB 或者 WebDataset 格式减少小文件读取开销。dataloader DataLoader( dataset, batch_size32, shuffleTrue, num_workers8, pin_memoryTrue, prefetch_factor2 )提示num_workers不是越大越好设太大反而会因为进程切换开销拖慢速度。一般从 4 开始试逐步加到 CPU 核心数。7.3 小样本与长尾分布的处理经验现实任务里你拿到的数据往往是小样本或者长尾分布。公开数据集里也有类似问题比如 LVIS 就是专门做长尾检测的。处理小样本常用方法有迁移学习用大数据集预训练、数据增强尤其是 MixUp、CutMix、元学习MAML、ProtoNet。处理长尾可以用重采样、类别平衡损失、解耦训练先正常训练再只微调分类器。我个人的经验是数据层面的改进往往比模型层面的改进收益更大。与其花一周调网络结构不如花两天把数据清洗和增强做好。8. 常见问题与排查技巧实录8.1 数据集使用中的典型问题速查问题现象可能原因排查方法训练 loss 不下降标签格式错误、学习率过大可视化标签检查前几个 batch验证指标远低于训练过拟合、数据泄漏检查训练验证是否有重叠某类别指标极低样本太少、标注错误统计类别分布抽查标注训练速度慢数据加载瓶颈测 DataLoader 耗时调 num_workers显存溢出batch 太大、模型太大减小 batch用梯度累积8.2 标注质量检查的实操方法标注质量直接决定模型上限。我通常做这几件事随机抽 50 张图可视化标注框看是否有漏标、错标、框不贴合统计每个类别的框数量和平均面积异常值往往意味着标注问题用模型预测结果反查如果某个标注框模型始终学不会很可能是标错了。8.3 数据集组合与跨域迁移的注意事项多个数据集组合训练能增加多样性但要注意类别对齐和标注标准统一。比如把 COCO 和 VOC 合并得先把 VOC 的 20 类映射到 COCO 的对应类别忽略不重叠的类。跨域迁移时源域和目标域差异越大效果越差。可以先在源域预训练再在目标域微调或者用域适应方法如对抗训练、风格迁移缩小差异。9. 我在数据集选型上踩过的坑最后分享几个真实教训。第一别迷信大数据集。我曾经为了追求规模用了一个千万级的数据集训练检测模型结果因为标注噪声大效果还不如在十万级干净数据上训的。数据质量永远优先于数量。第二一定要看数据集的采集场景跟你实际场景是否匹配。我做过一个森林图像分类的项目一开始用 ImageNet 预训练效果一般后来换成专门的森林植被数据集预训练准确率直接涨了十几个点。第三格式转换脚本要写单元测试。我因为一个坐标转换的 bug白白浪费了两天训练时间后来养成了转换完必可视化抽查的习惯。第四关注数据集的更新。有些数据集会发布修正版修复标注错误或者增加样本。定期回看官方页面别一直用老版本。这份清单我会持续维护后续如果发现新的高质量数据集会继续补充进来。数据集这个事永远是做视觉任务的第一步也是最能体现功底的一步。