1. 街景字符识别到底在识别什么1.1 从一张街景图说起你手里有一张街景照片画面里可能同时出现路牌、店招、门牌号、车身广告、交通指示牌上的文字。这些文字有几个共同特点长度不固定、字体五花八门、拍摄角度随机、光照条件不可控、背景极其杂乱。街景字符识别要做的就是从这样一张自然场景图片中把所有可见的文字区域定位出来再逐个识别出字符内容。这和传统的文档OCR完全是两码事。文档扫描件背景干净、字体统一、文字水平排列而街景文字可能倾斜、弯曲、被遮挡、分辨率极低。所以街景字符识别本质上是一个目标检测 字符分类的复合任务而不是简单的图像分类。我第一次接触这个方向时最直观的感受是数据比模型重要得多。你花三天调网络结构可能不如花半天做数据增强带来的提升大。这个判断在后面几轮实验中被反复验证。1.2 为什么选择“检测分类”而不是端到端识别目前主流的技术路线有两条一条是检测分类的两阶段方案另一条是端到端序列识别方案。前者先用检测网络把每个字符框出来再对每个字符框做分类后者直接把整段文字当成一个序列来识别。我最终选择检测分类路线原因有三个。第一街景字符的长度变化极大从单个门牌号到十几个字的店招都有端到端序列模型在处理超长或超短文本时容易不稳定。第二检测分类的方案中间结果可解释你能看到每个字符框的位置和置信度排查问题时非常方便。第三字符类别是有限的数字字母部分汉字分类任务本身并不复杂把检测做准才是关键。注意如果你的应用场景中文字基本都是水平短文本端到端方案可能更省事。但街景场景的复杂性决定了检测分类更稳妥。1.3 适合谁来参考这篇内容这篇内容适合三类人一是刚接触计算机视觉项目、想找一个完整实战练手的开发者二是做过图像分类但没做过目标检测的算法工程师三是需要快速搭建字符识别baseline、后续再迭代优化的项目负责人。我会把训练和验证的完整流程拆开讲包括数据准备、模型选型、训练策略、验证指标和踩过的坑。2. 数据准备与标注策略2.1 数据集的基本构成街景字符识别的数据集通常包含两部分原始街景图片和字符级标注文件。标注文件一般记录每张图片中每个字符的外接矩形框坐标以及对应的字符类别。常见的标注格式有COCO格式、VOC格式和自定义的JSON格式。我用的数据集大概有3万张训练图每张图平均包含5到8个字符。字符类别覆盖了数字0-9、大写字母A-Z以及少量常见汉字总共约60个类别。这个类别数量不算多分类头的输出维度压力不大。数据集中有一个很现实的问题类别极度不均衡。数字“1”和字母“O”出现频率极高而某些字母如“Q”“Z”出现次数很少。如果不做处理模型会倾向于预测高频类别导致稀有字符的召回率很低。2.2 标注质量检查的实操方法在开始训练之前我强烈建议做一轮标注质量检查。具体做法是写一个可视化脚本把每张图的标注框画出来人工抽查一批。我抽查了大约500张图发现了以下几类问题框位置偏移标注框没有紧贴字符边缘有的偏大有的偏小漏标背景中一些模糊但可辨认的字符没有被标注类别错误数字“0”和字母“O”、数字“1”和字母“I”混淆重复标注同一个字符被标了两次这些问题如果不提前清理训练时模型会学到错误的映射关系。我的处理方式是偏移和漏标的问题通过重新标注修正类别混淆的问题统一制定标注规范比如根据字符在字符串中的上下文来判断重复标注直接去重。2.3 数据增强策略的设计逻辑街景场景的多样性决定了数据增强不是可选项而是必选项。我采用的增强策略包括随机裁剪与缩放模拟不同距离拍摄的效果颜色抖动调整亮度、对比度、饱和度模拟不同光照随机旋转小角度旋转±15度模拟拍摄角度偏差运动模糊模拟车辆行驶中的拍摄模糊随机遮挡模拟被其他物体部分遮挡的情况这里有个经验增强力度要匹配实际场景。我一开始用了很大的旋转角度±45度结果模型在正常图片上的表现反而下降了。后来把旋转角度控制在±15度以内效果明显改善。原因是实际街景中文字虽然有倾斜但极少出现大角度旋转。提示数据增强的每一步操作都要同步变换标注框坐标否则框和字符会对不上。这个坑我踩过训练loss一直不降排查了半天才发现是增强时忘了变换框。3. 模型选型与网络结构设计3.1 检测骨干网络的选择检测网络我对比了三种方案Faster R-CNN、YOLO系列和FCOS。最终选择了基于ResNet-50的Faster R-CNN作为baseline原因是它的检测精度在小目标上表现更稳定而街景字符恰恰属于小目标检测的范畴。Faster R-CNN的核心结构包括骨干网络、区域提议网络RPN和检测头。骨干网络负责提取特征图RPN负责生成候选框检测头负责对候选框进行分类和回归。对于字符检测这个任务我做了以下调整锚框尺寸调整默认的锚框尺寸偏大不适合小字符。我把锚框的scale调整为{2, 4, 8, 16}aspect ratio调整为{0.5, 1.0, 2.0}特征图分辨率使用FPN特征金字塔网络融合多层特征提升小目标检测能力NMS阈值从默认的0.5调整为0.3因为字符之间距离较近过高的NMS阈值会导致漏检3.2 分类头的设计细节检测框出来之后每个框需要送入分类头进行字符分类。分类头的设计相对简单一个全局平均池化层 两个全连接层 Softmax输出。但有几个细节需要注意输入尺寸统一检测框的大小不一需要统一resize到固定尺寸我用的是32x32Dropout比例在全连接层之间加入Dropout比例设为0.3防止过拟合类别不平衡处理在损失函数中加入类别权重稀有类别的权重设为高频类别的3-5倍分类头的训练可以和检测网络联合训练也可以分阶段训练。我采用的是分阶段训练先单独训练检测网络冻结检测部分后再训练分类头最后联合微调。这样做的好处是训练更稳定不容易出现两个任务互相干扰的情况。3.3 损失函数的选择与调参检测部分的损失函数沿用Faster R-CNN的标准配置RPN的分类损失二分类交叉熵 RPN的回归损失Smooth L1 检测头的分类损失多分类交叉熵 检测头的回归损失Smooth L1。分类部分使用带类别权重的交叉熵损失。总损失的权重分配是RPN分类损失: RPN回归损失: 检测分类损失: 检测回归损失: 字符分类损失 1: 1: 1: 1: 2。字符分类损失的权重设为2是因为字符识别的准确性直接决定了最终输出质量需要给予更高的优化优先级。学习率方面我用了余弦退火策略初始学习率设为0.001最小学习率设为0.00001训练周期设为50个epoch。前5个epoch使用warmup学习率从0.0001线性增加到0.001避免训练初期梯度爆炸。4. 训练流程与关键参数配置4.1 训练环境搭建训练环境基于PyTorch框架使用单卡GPU进行训练。以下是关键依赖的版本信息python3.8 torch1.12.0 torchvision0.13.0 opencv-python4.6.0 numpy1.23.0 pillow9.2.0数据加载使用PyTorch的DataLoaderbatch size设为8受限于显存大小num_workers设为4开启pin_memory加速数据传输。这里有个小技巧如果显存不够可以使用梯度累积把batch size设为4累积2步后再更新参数效果接近batch size为8。4.2 训练过程监控训练过程中我监控了以下几个指标指标说明正常范围总损失所有损失加权求和持续下降最终收敛到0.5以下检测mAP检测框的平均精度逐步上升最终达到0.85以上分类准确率字符分类的准确率逐步上升最终达到0.95以上学习率当前学习率按余弦退火策略变化GPU显存占用显存使用情况不超过显卡容量的90%我一般每100个iteration打印一次训练日志每5个epoch做一次验证集评估。如果连续3次验证集指标没有提升就触发早停。4.3 训练中遇到的典型问题问题一损失不下降。第一次训练时总损失在2.0附近震荡了很久。排查后发现是学习率太大梯度更新过于剧烈。把初始学习率从0.01降到0.001后损失开始正常下降。问题二验证集指标远低于训练集。这是典型的过拟合。我增加了数据增强的力度同时把Dropout比例从0.2提高到0.3并在分类头加入了L2正则化权重衰减系数设为0.0005。调整后验证集指标提升了约8个百分点。问题三某些类别识别率极低。检查混淆矩阵后发现模型把字母“O”和数字“0”大量混淆。除了在损失函数中增加类别权重外我还在数据层面做了补充对稀有类别进行过采样同时对易混淆类别增加更多区分性强的样本。注意训练过程中一定要保存最佳模型和最后一个epoch的模型。我有一次训练到第40个epoch时验证指标突然下降幸好保存了第35个epoch的最佳模型否则前功尽弃。5. 验证策略与评估指标5.1 验证集的构建原则验证集不能随便从训练集里切一部分出来。我的做法是按场景划分。训练集和验证集的图片来自不同的拍摄场景不同城市、不同时间段、不同天气条件这样验证集才能真正反映模型的泛化能力。验证集的大小约为训练集的15%确保评估结果的统计显著性。同时验证集中要保证每个字符类别都有足够的样本避免某些类别因为样本太少导致评估指标波动过大。5.2 评估指标的选择字符识别任务的评估比普通分类任务复杂因为涉及到检测和分类两个环节。我使用了以下指标检测mAP在IoU阈值为0.5的条件下计算平均精度衡量检测框的准确性字符准确率所有检测到的字符中分类正确的比例字符串准确率整张图片中所有字符全部识别正确的图片比例这是最严格的指标编辑距离预测字符串和真实字符串之间的编辑距离衡量整体识别质量其中字符串准确率是最能反映实际使用效果的指标。因为在实际应用中用户往往要求整段文字完全正确而不是单个字符的准确率。5.3 验证过程中的常见陷阱陷阱一验证集泄露。如果验证集中的图片和训练集中的图片有重叠比如同一张图的不同裁剪版本评估结果会虚高。我通过图片哈希去重来避免这个问题。陷阱二忽略检测和分类的耦合。检测框的位置偏差会影响分类结果。如果检测框偏了分类头看到的图像内容就不对分类准确率自然下降。所以在分析错误时要区分是检测错误还是分类错误。陷阱三只看总体指标不看分类别指标。总体准确率95%看起来不错但如果某些重要类别比如数字的准确率只有80%实际使用中会出大问题。我养成了看混淆矩阵和分类别指标的习惯。6. 实操心得与避坑指南6.1 数据层面的经验标注规范要统一。字符“0”和“O”、“1”和“I”的区分标准要在标注阶段就定好否则模型学到的就是矛盾的标签。我的做法是根据字符在字符串中的位置和上下文来判断比如车牌号中的“0”统一标为数字店招中的“O”统一标为字母。数据增强要适度。增强的目的是模拟真实场景的多样性而不是制造不存在的场景。我见过有人用CutMix和MixUp做字符识别结果模型完全学不到东西因为字符被混合后语义就丢失了。难例挖掘很有用。训练几轮后把验证集中识别错误的样本挑出来人工分析错误原因然后有针对性地补充类似样本到训练集中。这个迭代过程对提升模型效果非常明显。6.2 模型层面的经验不要盲目追求大模型。我试过用ResNet-101替换ResNet-50参数量翻了一倍但mAP只提升了0.5个百分点推理速度却慢了很多。对于字符识别这种相对简单的任务ResNet-50已经足够。多尺度训练效果显著。在训练时随机把图片缩放到不同尺度比如短边在600到1000之间随机选择可以显著提升模型对不同大小字符的适应能力。这个技巧几乎不增加训练成本但效果很好。后处理不能忽视。检测框出来之后需要做NMS去重、置信度过滤、框合并等后处理操作。这些操作的参数需要根据实际场景调优。比如NMS阈值设0.3还是0.5对最终结果影响很大。6.3 工程层面的经验训练日志要详细。除了损失和准确率还要记录学习率、梯度范数、显存占用等信息。这些信息在排查问题时非常有用。我习惯用TensorBoard做可视化曲线图比数字直观得多。模型保存要策略化。不要只保存最后一个epoch的模型也不要每个epoch都保存太占空间。我的策略是保存验证集指标最好的模型 每10个epoch保存一个快照。这样既能保证最佳模型不丢失又能回溯训练过程。推理优化要提前考虑。如果模型最终要部署到边缘设备上训练时就要考虑模型大小和推理速度。我试过在训练完成后用剪枝和量化来压缩模型但效果不如直接在训练时选择轻量级骨干网络如MobileNet。7. 从训练到验证的完整闭环7.1 一次完整的训练验证流程把整个流程串起来大概是这样的数据准备收集街景图片完成字符级标注划分训练集和验证集数据检查可视化标注框人工抽查修正标注错误数据增强设计增强策略在训练时动态应用模型搭建选择Faster R-CNN ResNet-50作为baseline调整锚框和NMS参数分阶段训练先训检测再训分类最后联合微调过程监控跟踪损失、mAP、准确率等指标及时调整超参数验证评估在独立验证集上计算检测mAP、字符准确率、字符串准确率错误分析查看混淆矩阵和错误样本找出薄弱环节迭代优化补充难例样本调整模型和训练策略重复上述过程这个闭环我跑了大概5轮每一轮都能带来1到3个百分点的提升。第一轮从零到baseline大概花了3天后面每轮优化大概1到2天。7.2 关键参数速查表参数取值说明初始学习率0.001配合余弦退火Batch size8单卡可用梯度累积替代训练epoch50含warmup 5个epoch锚框scale2,4,8,16适配小字符锚框ratio0.5,1.0,2.0适配不同宽高比NMS阈值0.3避免漏检相邻字符Dropout0.3分类头全连接层之间权重衰减0.0005L2正则化字符分类损失权重2相对其他损失7.3 后续可以扩展的方向这套方案跑通之后有几个方向可以继续深入。一是引入注意力机制在分类头加入通道注意力或空间注意力提升对模糊字符的识别能力。二是尝试端到端方案用CRNN或Transformer-based的模型直接输出字符串省去检测环节。三是多任务学习同时预测字符类别和字符属性如字体、颜色为后续的版面分析提供更多信息。我个人在实际操作中的体会是街景字符识别这个任务数据质量决定上限模型结构决定下限。把标注做干净、把增强做合理比换更复杂的网络结构有效得多。另外验证集的设计要尽可能贴近真实使用场景否则训练出来的模型在实际部署时会大打折扣。最后分享一个小技巧如果显存不够用可以把图片resize到更小的尺寸再训练虽然小字符的检测精度会略有下降但训练速度能提升一倍以上适合快速迭代实验。