最近在折腾自动驾驶场景下的图像分割用 UNet 做了一套基线方案从数据处理到训练调参再到落地部署一路踩了不少坑也攒了一些实打实的经验。这篇文章把整个思路、关键实现和调试技巧完整记录下来给准备在这个方向上入门或者正在做类似项目的同学做个参考。先说清楚这套东西是干什么的。自动驾驶系统的感知层需要从摄像头图像里理解道路环境图像分割就是其中核心的一环给图像里的每个像素打上语义标签比如道路、车辆、行人、车道线、交通标志、天空、建筑等等。UNet 是经典的编码器-解码器结构在这个场景下用来做像素级分类输出一张跟输入分辨率对应的类别图。它解决的核心问题是“道路在哪里、哪些区域可以行驶、障碍物轮廓在哪个位置”这些信息是后续决策规划模块的重要输入。适合谁看刚开始接触语义分割、想用 UNet 跑通自动驾驶数据集并拿到可复现结果的同学以及已经在做分割但想系统梳理数据增强、损失函数、评估指标这些细节的开发者。1. 自动驾驶场景图像分割到底在解决什么问题1.1 语义分割在自动驾驶感知链路里的位置先说定位。自动驾驶的感知模块通常要完成几类任务目标检测负责回答“哪里有物体物体是什么”跟踪负责回答“物体往哪走”而分割回答的是更细粒度的问题——“哪些像素属于哪个语义类别”。检测给的是框分割给的是轮廓精度高了一个量级。在实际的自动驾驶系统里分割结果主要喂给三个下游方向。第一个是可行驶区域检测道路区域的分割结果直接决定车辆可以在哪里走边界位置直接关系到路径规划的安全第二个是车道线识别车道线在分割结果里通常是一类细长的像素集合需要精确的像素级分类才能拟合出车道模型第三个是障碍物轮廓提取行人和车辆的精细掩膜有助于计算更准确的包围盒和距离信息特别是当物体相互遮挡时检测框往往会框住多个目标而分割掩膜能区分开各自的实际轮廓。跟目标检测相比图像分割最大的差异在于逐像素输出。检测框有天然的平移鲁棒性框稍微偏几个像素无所谓但分割结果差几个像素道路边界就偏了下游规划就可能做出错误的避让决策。因此在自动驾驶场景里分割模型的边界质量、小目标召回率和推理延迟要求都非常高。1.2 这个场景的难点和常规图像分割不一样在哪自动驾驶图像分割最大的挑战来自场景本身的复杂性和多样性。常规的图像分割任务比如商品图片抠图背景相对干净目标也比较突出但自动驾驶面对的是开放场景晴天、雨天、夜晚、逆光、隧道、树影斑驳的遮挡、前车溅起的水雾这些都会让图像特征发生剧烈变化。几个典型难点我逐一拆一下。极端光照条件是最头疼的问题之一。正午强光下路面反光严重夜间场景中交通信号灯和车灯的亮度极高暗部细节严重不足。同一个模型要在这些差异极大的光照条件下都保持稳定输出对数据增强和模型泛化能力提出了很高的要求。小目标占比低。一幅 1280×720 的图像里行人和摩托车可能只占几十个像素在整幅图的像素比例中不到 1%。语义分割的损失函数通常是逐像素计算的这些小类别对 loss 的贡献微乎其微模型很容易直接忽略它们把所有像素都预测成背景类。类别极端不平衡。城市街景中道路、天空、建筑这类大类别常常占整幅图像的 70% 以上而行人、骑行者、交通标志这些关键类别占比非常低。如果直接拿原始分布去训练模型会严重偏向高频类别开车时该避让的行人没分割出来后果很严重。物体边界细节。传统的分割网络在编码器下采样过程中会丢失很多空间细节尤其是细长结构车道线、电线杆和小物体边界。下采样倍数从 8 到 32逐层丢失细节如果不做特殊设计上采样回来的边界必然模糊。所以在实际项目中做自动驾驶分割不能光盯着网络结构数据分布、损失函数、评估指标、后处理都要围绕这套难点做针对性设计。这也是后续几节内容的出发点UNet保结构细节数据增强抗光照变化损失函数缓解类别不平衡评估指标衡量真实的性能水平。2. 为什么选 UNet 做分割基线从网络结构看本质2.1 编码器-解码器结构为什么适合道路分割UNet 最早是医学图像分割领域的经典结构但它用在自动驾驶场景里同样顺手。核心原因在于它的编码器-解码器对称结构和跳跃连接设计恰好对上了自动驾驶图像分割的核心矛盾既要全局语义理解又要局部细节保留。编码器部分逐层下采样特征图从高分辨率往低分辨率压缩每个 stage 的感受野越来越大网络能看到越来越大的上下文范围。这个过程学到的是“这是什么”——判断一个像素属于道路还是建筑需要看它周围的整体环境单看一个像素是永远分不出来的。解码器部分反过来从低分辨率的深层特征逐层上采样逐渐恢复空间分辨率这个过程学的是“边缘在哪”。上下采样是对称的每一层的通道数设计也保持对称关系所以叫 U 形结构。跳跃连接是 UNet 的灵魂。没有跳跃连接就是一条简单的编码-解码管道深层语义信息能传到解码器但浅层的空间细节边缘、纹理、小结构在下采样过程中丢掉了上采样补不回来。跳跃连接把编码器每一层的特征图直接拼接到解码器对应层让解码器同时拿到高层的语义信息和低层的细节信息融合之后做分类。用生活化的类比编码器像一个画家退后几步看全局理解了整幅画的构图和主题解码器像走近画布逐笔描细节跳跃连接是画家手里的草稿画细节时始终有最初的轮廓参考。没有草稿画家只能凭记忆画细节必然失真。2.2 和其他分割网络的取舍对比选 UNet 做基线之前我也对比过其他几种主流方案这里把关键差异说一下。FCN全卷积网络是最早把分类网络改成端到端分割的方案把全连接层换成卷积层再用转置卷积上采样。它的问题是结构简单上采样倍数大通常是 32 倍结果粗糙边界很糊。在自动驾驶场景下行人轮廓基本分不清只能作为早期的参考实现不适合直接做基线。SegNet的思路是编码-解码对称结构但它传递的不是特征图而是池化索引——记录最大值池化时最大值的位置上采样时按索引放回。好处是省内存坏处是丢失了特征信息本身细节恢复能力不如 UNet 的跳跃连接。实测下来边界质量差于 UNet。DeepLab 系列用空洞卷积膨胀卷积在保持分辨率的同时扩大感受野配合 ASPP 模块多尺度空洞卷积并行处理多尺度目标。分割精度通常高于标准 UNet尤其在大目标类别上表现好但参数量和计算量也大结构复杂作为基线的定位不太合适——基线要简单、可复现、易于分析问题。综合对比下来UNet 在结构简单、易于修改、训练稳定、中小规模数据集上效果好这几项上有明显优势。自动驾驶数据集虽然样本量大但单个类别的复杂度不比医学图像高UNet 足够承载这些语义信息。更关键的是后续做改进实验加注意力模块、换 backbone、做轻量化时UNet 的可扩展性极好改起来直观可控。所以最终定下“标准 UNet 做基线后续迭代在这个框架上叠加改进”的技术路线。2.3 标准 UNet 在自动驾驶场景的短板要提前知道讲完优势也得讲局限提前知道短板才不会在实验失败时一脸懵。标准 UNet 的编码器是自设计的卷积块堆叠没有用 ImageNet 预训练的分类网络作为骨干。这意味着它需要更多数据和更长的训练时间来收敛在小数据集上学到的特征表示不如预训练 backbone 丰富。另一个短板是感受野有限。UNet 的下采样倍数和卷积核尺寸决定了感受野大小对于识别较大的物体比如一辆横跨半幅画面的公交车或者需要长距离上下文关联的场景比如远处路口的交通灯标准 UNet 的高层特征往往不够“全局”。这在实验里会体现为大目标内部出现空洞或碎片化预测。还有一个现实问题是推理速度。标准 UNet 的参数量在 30M 级别以 ResNet-34 骨干为参照直接部署到车端推理芯片上可能达不到实时要求。但这不影响它作为离线训练和效果验证的基线工程上的提速手段后面单独讲。3. 数据集准备与数据增强决定分割效果的第一个分水岭3.1 数据集选择与标注体系设计跑语义分割项目第一步是选定数据集和定义类别体系。公开的自动驾驶分割数据集通常提供像素级标注的城市街景图像常见的类别覆盖道路、人行道、建筑、围墙、栅栏、杆状物、交通灯、交通标志、植被、地形、天空、行人、骑行者、汽车、卡车、公交车、火车、摩托车、自行车共十几到几十类不等。实际项目中没必要全盘照搬。类别越多标注成本越高模型任务越复杂。我建议在项目初期收敛类别体系按自动驾驶决策的实际需求分组比如道路相关类、车辆类、行人骑行类、交通设施类、背景类。具体到我们的模拟项目把原始标注合并成 8 个类别道路、人行道、车辆、行人、骑行者、交通标志与信号灯、建筑与围栏、背景天空及其他。合并类别能显著降低训练难度同时保证下游模块关注的语义信息不丢失。数据量的把控上公开数据集常用 2975 张训练图、500 张验证图、1525 张测试图的规模训练前裁剪成 512×1024 或 768×1536。这个量级训练 UNet 足够了但前提是数据增强要跟上。3.2 数据增强策略光照仿真和多尺度裁剪的组合拳数据增强是我在这个项目里投入精力最多、回报也最明显的环节。自动驾驶场景的关键问题是光照和季节变化因此增强策略要重点模拟这些变化。基础几何增强水平翻转、随机裁剪。水平翻转对驾驶场景极其有效左右车道的对称性让模型学到更泛化的特征随机裁剪采用 512×512 的滑动窗口裁剪后上下文的完整性会打折扣所以我会以 50% 概率只做小范围抖动不裁剪避免过度破坏物体的空间关系。光照与色彩增强随机调整亮度、对比度、饱和度范围和幅度要有讲究。我的配置是亮度偏移 ±0.3、对比度系数 0.8~1.2、饱和度系数 0.8~1.2数值基于常见实践。这组参数模拟的是从白天到黄昏再到阴天的变化让模型不依赖于固定的颜色分布来识别道路和天空。用 OpenCV 的亮度、对比度、饱和度调整接口按上述范围随机取值在 GPU 上预处理时用 CUDA 加速。随机遮挡模拟自动驾驶里前车遮挡、树影遮挡是非常常见的现象。用 CutOut 策略随机挖掉图像中的一块矩形区域模拟物体被遮挡的情况强迫模型更多地依赖上下文推断被遮挡的部分显著提升模型的鲁棒性。挖掉的区域大小设为图像短边的 10%~20%位置随机。执行时同步对生成的掩膜做 hole 处理避免出现真实遮挡与人工遮挡混淆的伪标签问题。多尺度训练每次迭代从预定义的尺度列表中随机选一个比如 0.75、0.8、1.0、1.25对图像和标签做相同缩放后送入网络。这相当于一种免费的尺度不变性增强让模型对远处小目标和近处大目标都有稳定的识别能力。必须避开的坑有两处。一是随机旋转不要乱用旋转 90 度会颠覆“上方是天空下方是路面”的语义先验旋转 45 度会让车道线方向变得混乱对语义分割是破坏性的。二是几何增强必须同步执行在图像和标签上如果只增强图像不同步标签等于给模型喂了错误的监督信号训练会直接崩掉。3.3 数据预处理到网络输入的标准化流程数据送入网络前的预处理流程要统一否则训练和推理效果会出现跳变。标准化流水线我固定在五步读取原图、按短边缩放到训练分辨率、随机裁剪、归一化通道均值相减除以标准差、转 Tensor 并做虚拟通道调整NHWC 转 NCHW。归一化的均值和标准差需要用训练集的统计值。半精度训练时要特别注意均值/标准差要用 float16 计算避免精度损失。训练时的 dataloader 要开多进程并行读取num_workers 根据 CPU 核数配置通常设为 8 到 16pin_memory 打开这能让 GPU 利用率从 70% 提到 95% 以上尤其是在输入分辨率大、增强逻辑复杂的场景下收益明显。4. UNet 训练的关键细节损失函数、学习率与调参经验4.1 损失函数怎么选从 CrossEntropy 到组合损失训练分割网络最常用的是逐像素交叉熵损失CrossEntropyLoss公式就是每个像素的预测概率分布与真实标签的交叉熵取平均。它在类别相对均衡时表现不错但在自动驾驶场景下问题立刻暴露——道路和背景占了绝大多数像素交叉熵会把大量梯度分配给高频类别行人、骑行者的梯度贡献被稀释。Dice Loss是缓解不平衡的常用手段。Dice 系数衡量预测掩膜与真实掩膜的空间重叠率公式是 2TP / (2TP FP FN)按类别分别计算再取平均。它对小类别的敏感度远高于交叉熵因为它是按类别整体算比例而不是按像素算平均。缺点是训练初期梯度非常不稳定容易振荡。Focal Loss是对交叉熵的改进给易分类样本加一个低的调制因子给难分类样本更高的权重同样适合不平衡场景。公式为 FL(p_t) -α(1-p_t)^γ log(p_t)γ 通常取 2α 按类别频率设置。实践中我采用主损失 辅助损失的加权组合这是实际落地最稳的方案。比如主损失用交叉熵、辅助损失用 Dice Loss总损失 0.6 × CE 0.4 × Dice权重可按效果微调。CE 保证整体分类稳定Dice 把注意力拉向小类别实测在行人、骑行者的 mIoU 上比单用 CE 提升 3~5 个百分点。4.2 学习率策略与小技巧分割网络训练收敛的平稳性很大程度取决于学习率策略。poly 学习率衰减是分割任务里最常用的lr base_lr × (1 - iter / total_iters)^powerpower 通常取 0.9。相比每 30 个 epoch 折半的 step 衰减poly 衰减在分割任务上更平滑后期在本该收敛的区间以更小的步长继续微调让模型把边界修得更精细。初始学习率设置在 0.01 到 0.05 之间采用 SGD 动量 0.9、权重衰减 0.0001 的常见配置batch size 为 8 时用 0.02 起步比较稳。如果用的是 Adam 系列优化器学习率要调低一个数量级一般 1e-4 左右不然早期振荡明显。可以用线性 warmup前 2000 步从 1e-4 线性升到目标学习率让训练更稳。4.3 预训练权重、分辨率与 Batch Size 的权衡三个关键训练配置直接决定最终效果上限。输入分辨率分割任务对分辨率极其敏感。同一套代码在 512×1024 下训练比 384×768 下的 mIoU 平均高 2~3 个点边界质量提升更明显。显存够的情况下优先保分辨率而不是保 batch size。8GB 显存跑 512×1024 输入、batch size 为 8是项目起步的稳妥配置。预训练权重编码器部分用 ImageNet 预训练权重初始化能显著加速收敛在同等 epoch 下 mIoU 提升 2~4 个点。接 backbone 时注意编码器的第一个卷积层如果输入通道不是 3比如做了 padding 变换预训练权重无法直接加载需要手动对齐。Batch Size 与 BN 的交互BatchNorm 在 batch size 过小时统计量不稳定8 是下限。显存不够时不要降到 1~2宁可降分辨率或做梯度累积accumulate gradient把若干小 batch 的梯度累加后更新一次参数。梯度累积的等效 batch 数 累积步数 × 实际 batch size在分布式训练里也可以用这种方法模拟更大 batch 的效果。4.4 训练过程的监控指标训练过程中不能只看 loss。我习惯每 500 次迭代存一次 checkpoint并实时监督三个指标总 loss 曲线、Dice Loss 分量、验证集 mIoU每 2 个 epoch 跑一轮完整验证。验证集 mIoU 比 loss 平滑能更真实反映模型泛化能力。保存策略按 mIoU 最优值保存而不是最后一步的模型因为分割网络后期可能过拟合训练集验证 mIoU 先升后降。5. 评估指标与问题排查:从 mIoU 到 bad case5.1 mIoU 的计算方法和代码实现语义分割最常用的指标是mIoUMean Intersection over Union平均交并比。对每个类别计算预测结果与该类真实标签的交集像素数除以并集像素数IoU 含义就是预测和真实重叠的区域占两者合并区域的比例。所有类别的 IoU 取平均得到 mIoU。用代码说明计算过程核心是两步先构建混淆矩阵再逐类算 IoU。收集每一对真实类别、预测类别的像素计数填进矩阵然后按类别遍历IoU 对角线元素 / (该行之和 该列之和 - 对角线元素)。mIoU 就是所有非空类别的 IoU 平均值。import numpy as np def compute_miou(pred, label, num_classes): pred: (H, W) 预测类别索引 label: (H, W) 真实类别索引 num_classes: 类别数 # 计算混淆矩阵 conf np.zeros((num_classes, num_classes), dtypenp.int64) for p, l in zip(pred.flatten(), label.flatten()): conf[l, p] 1 ious [] for c in range(num_classes): tp conf[c, c] fp conf[:, c].sum() - tp fn conf[c, :].sum() - tp union tp fp fn if union 0: ious.append(float(nan)) else: ious.append(tp / union) # 忽略未出现的类别后求平均 valid [iou for iou in ious if not np.isnan(iou)] miou np.mean(valid) return miou, ious这段代码可以在 test_loop 里逐 batch 累计混淆矩阵全部算完后一次性计算 mIoU。对小数据集可以这样直接算大数据集建议用混淆矩阵按 batch 并行累加的方式实现。5.2 典型问题:类别不平衡、边界模糊、小目标漏检跑通训练后直接把验证集结果可视化出来对照标签看通常能发现三类典型问题排查思路和数据增强、损失函数的对策密切相关。类别不平衡导致的“单边倒”。训练集里车辆类别占比不足 3%模型学到的车辆 IoU 往往只有 30% 左右而道路占比超 50%IoU 能做 90%。mIoU 看起来还行70%但严重高估了实际性能。对策用带权重的交叉熵或 Dice/Focal loss 提升小类别权重另一种更有效的手段是类别重采样按类别占比反比调整每张训练图的采样概率让各类别均匀出现在每个 batch 中。边界模糊。预测结果的边界通常比标签扩了一圈尤其在道路与马路牙子的交界处、车辆与地面的接触位置。原因是下采样丢失了高频信息跳跃连接虽然带回了一部分细节但不足以完全恢复。对策在损失函数里加边界感知项——把真实标签用 Sobel 算子提取边界像素对边界像素的交叉熵损失乘上一个增益系数能让模型更关注边界推理阶段用 CRF条件随机场做后处理平滑可以改善但端到端深度模型尽量别依赖外部后处理。小目标漏检。行人在 512×1024 分辨率下可能只有 20×50 像素经过 5 层下采样后变成 1×3 像素特征几乎全部丢失。靠 UNet 解码器上采样是补不回来的。对策训练时用小目标裁剪训练从原图中随机抽取包含行人的区域放大训练或加多尺度策略。实际项目里最直接的做法是在 2 倍分辨率下训练推理时降回原始分辨率小目标 mIoU 能提升 2~3 个点代价是训练时间和显存增加。5.3 可视化分析与 bad case 建档做分割项目最重要的习惯是把预测结果可视化保存建 bad case 档案。每跑完一个验证 epoch从验证集里抽取 20~30 张随机图片保存四联图:原图、真实标签、预测结果、差异热图预测错的地方用红色标出整理到固定目录。分析 bad case 时重点关注几类远处密集小目标、强光照区域、运动模糊、类别相似区域比如人行道和道路颜色接近时最容易混。每张 bad case 记录它属于哪类问题、当时的天气光照条件、模型预测的置信度。累积几十个 bad case 后你会非常清晰地知道下一步该做什么:是加数据增强、调损失函数权重还是改模型结构而不是拍脑袋式地盲目调参。这个习惯在团队协作里价值极大新同学接手时直接看 bad case 档案能快速建立对模型弱点分布的认知。6. 从训练到部署:时延、轻量化与踩坑记录6.1 推理时延与精度的平衡策略模型最终要跑到车端的推理芯片上比如嵌入式 GPU 或专用 NPU实时性要求通常在 30~60 FPS 以上。训练时用 512×1024 分辨率推理时降到 384×768 甚至 320×640mIoU 会降 1~2 个点但推理速度能提升近一倍。这是成本最低的性能优化方式。推理分辨率与训练分辨率不要差太多否则尺度不一致会让识别效果崩掉。建议训练时用多尺度训练覆盖推理分辨率的范围这样推理时不管选哪个分辨率模型都见过类似的尺度效果好很多。半精度/INT8 量化。模型参数从 FP32 转 FP16 基本不掉点转 INT8 会掉 1~2 个点但速度可以再提升 30% 以上。量化的关键点是对齐校准集与训练集的预处理方式尤其是归一化的均值和标准差以及 resize 插值方式一个不一致量化校准就会跑偏。6.2 模型轻量化方向剪枝与结构替换标准 UNet 参数量大、计算量高部署时通常要动刀。轻量化常用的三个方向backbone 替换、通道剪枝和结构化稀疏。backbone 替换是指把标准 UNet 的编解码器换成更轻量的结构。实践中最常见的替换对象是 MobileNet 系列或 EfficientNet-lite 作为编码器解码器变成轻量上采样块。替换后参数从 30M 降到 3~5M速度提升 3~5 倍mIoU 通常只降 2~3 个点性价比极高。但有个前提更换 backbone 后跳跃连接的语义对齐会变不同层的通道数和分辨率不同需要重新设计特征融合方式。通道剪枝的思路是训练完用稀疏化比如 BN 层的 gamma 系数剪枝法把不重要的通道剪掉然后微调。实践上推荐“训练→剪枝→微调”三段式流程先正常训练收敛然后按 BN 层的 gamma 绝对值排序剪掉最低的 20%~30% 通道微调 20~30 个 epoch 恢复精度。这种方式对 UNet 这类冗余度较高的结构效果明显剪 30% 通道精度只降 1 个点左右。6.3 部署时的数据对齐最容易踩的坑部署时的性能下跌问题很多时候不是模型不行而是预处理对不齐。训练时用 BGR 顺序读图、像素值除以 255 归一化、用数据集统计的均值做减均值操作部署时如果用 RGB 顺序读图、忘了减均值或者换了 resize 插值方式比如训练用双线性、推理用最近邻效果直接大打折扣。这些细节一旦不一致性能从 70% 掉到 40% 都有可能而且极难排查。我的习惯是写一个统一的预处理函数训练和推理共用同一份代码任何一边改了就会自动同步部署前在本地用同样的预处理流程跑几张验证集图像和训练时的输出做像素级对比确认一致再交给部署团队。另一个被忽视的坑是padding 策略。有些轻量化 backbone 的卷积层在 stride2 时用特定 padding 模式部署框架如果换了 padding 实现输出会整体像素级偏移。解决方式是可视化特征图对比分别从训练框架和部署框架导出第二层卷积的输出特征图逐像素对比数值差异。这个步骤很琐碎但极其必要。6.4 可视化与 bad case 驱动的迭代闭环项目推进到后期效果提升不再是靠调参而是靠bad case 驱动的迭代闭环。具体运转方式每周跑一轮全量验证集更新 bad case 档案;每月做一次聚类分析找出排在 Top-5 的错误模式针对这些模式提出改动方案可能是新的数据增强、新的损失项、或者某个轻量化模块替换在小规模数据上快速验证效果确认后再全量训练。这其实是一个标准的 ML 迭代工作流但核心在于真正把 bad case 档案当作项目最重要的资产来用——每个新改动上线前先看这个改动是否解决了档案里某一类问题上线后再验证是否引入了新问题。从我个人的实际操作体会来看这套以标准 UNet 为底座、以 bad case 档案为导引的迭代方式看起来朴素却是最稳的。很多花哨的网络结构改完一轮回来发现提升还不如把数据增强做好、把损失函数配比调对来得显著。分割这类任务数据质量、类别策略、损失设计的上下限往往比模型结构的上下限高得多。7. 一套可以直接上手的训练配置参考最后给一份基于上述经验整理的完整训练配置方便新项目直接照搬起步。硬件环境按单卡 8GB 显存设计软件环境基于 PyTorch。配置项推荐值输入分辨率512×1024Batch Size8梯度累积可增到等效 16优化器SGD动量 0.9权重衰减 1e-4初始学习率0.02poly 衰减power0.9训练轮数120 epoch含验证轮次预训练权重编码器用 ImageNet 预训练损失函数0.6×CrossEntropy 0.4×DiceLoss数据增强水平翻转、随机裁剪、亮度/对比度扰动、CutOut、多尺度0.75~1.25评估指标mIoU per-class IoU bad case 可视化这套配置在模拟项目 X 的城市街景数据上跑出来的结果是 mIoU 68%~72%8 类体系稳定复现的概率很高。如果希望往 75% 以上冲就按 bad case 档案里暴露的问题逐一针对性地做结构调整和数据补充而不是盲目堆参数量。分割项目没有银弹稳扎稳打的迭代比追求 fancy 结构可靠得多。