超市小票识别很多人觉得“打印体有什么难的”真正上手做过才知道它是OCR落地里最磨人的一类场景。我自己的项目里出现过这种情况拿公开印刷体数据集评测模型准确率能到98%一换成真实用户随手拍的小票——揉皱的、褪色的、打印头老化出拖影的、晚上在收银台灯光下拍虚了的——识别准确率直接掉到70%出头。尤其在“模糊”这个维度上差距最明显。这篇东西就是把我在模糊小票识别上踩过的坑、试过的方案、最后沉淀下来的处理套路完整说一遍。不管你是想自己搭一套票据识别工具还是准备在现有OCR系统里做优化甚至是刚接触这个方向想了解水有多深应该都能从中找到可复用的东西。1. 模糊小票的真实退化过程热敏纸、打印头和折叠线在叠加1.1 热敏纸的发色机制与褪色规律超市小票绝大多数是热敏纸。它的结构很简单基层纸上面涂一层热敏涂层涂层里有隐色染料和显色剂。打印头的加热点阵让这两个成分局部熔融发生化学反应形成我们看到的黑色字迹。听起来很简单但这个发色反应的产物并不稳定。光照、高温、甚至和钱包里的塑料卡长时间接触都会让已经发色的部分慢慢褪色。这就是为什么同样一张小票刚打出来的时候黑白分明在车里放一个夏天之后底色发黄、字迹变浅再过半年可能只剩灰蒙蒙一片。部分极端情况下打印内容淡到我用肉眼都要贴近看更别说OCR模型。这个特性对识别系统意味着什么意味着你训练时的“清晰字迹”和测试时遇到的“褪色字迹”在像素分布上完全是两个分布。很多时候模型掉点不是因为它笨而是因为训练数据里根本没有这种“老票”。后面讲数据合成时这个点还会反复出现。1.2 打印质量退化深浅不均、拖影与断裂热敏打印机的打印头不是永远干净的。长期使用后发热点阵上会沾上纸屑、灰尘或者部分发热点老化失效打印出来的字就会深浅不均。同一张小票上“鲜奶”两个字清晰“面包”可能就虚成一片。更麻烦的是走纸速度、热敏纸批次不同也会影响发色密度。实际识别中打印质量问题比褪色更让人头疼。褪色一般是对比度整体下降模型只要见过类似样本还能挣扎一下但打印头老化产生的笔画缺失和断连会让字符形状发生局部突变。“5”断一横变成“6”“0”上面缺一块变成“8”这些形近字错误如果你只靠识别模型自己纠正几乎没办法根除。我后来是把这类问题拆给了后处理规则去兜底后面专门说。1.3 折叠带来的纹理解干扰和字段断裂超市小票的物理形态通常很恶劣折叠是常态。用户从钱包、口袋、购物袋里掏出来纸面上至少有一条明显的折痕严重的会揉成一团再展开。折痕处的问题有两个第一折痕会形成一条深色的物理压痕线。在图像里这条线是低亮度、高对比度的长条区域文本检测模型特别容易把它误判成文字行或者把原本正常的小票“多”检出一些没意义的文本框。第二折痕如果正好横穿过打印行会把那一行的笔画“切断”。更致命的是折痕两侧可能轻微错位一行文字被拆成两段甚至会因为纸面褶皱产生局部透视形变。这种局部形变不是整体旋转校正能解决的需要检测阶段就做好“行内重组”的容错。1.4 拍摄端的运动模糊与对焦模糊处理方式完全不同用户拍摄小票时产生的模糊又分成两种它们的物理机理不一样预处理手段也不一样。运动模糊是快门时间内手机发生了位移图像等价于原图和一条方向性卷积核做卷积模糊有明确方向。失焦模糊是对焦平面没有落在纸面上图像等价于原图和圆盘形卷积核卷积模糊在各方向近似均匀。这俩的差异在实践中很重要。运动模糊理论上可以用反卷积去恢复只要方向和长度估得准失焦模糊没有方向盲去卷积极容易在文字边缘产生振铃伪影效果不稳定。所以我做方案时对这两种情况是分开处理的先在图像上估算模糊核方向再决定要不要走去模糊分支。别看到“模糊”两个字就统一套一套增强逻辑那是会翻车的。2. 别急着换大模型先把模糊图像的预处理做扎实2.1 灰度化的通道选择不要无脑转灰度很多OCR流程第一步就是cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)。对小票这种色偏严重的图我不建议这么做。热敏纸的底色偏黄、偏褐不同颜色通道里文字和背景的对比度差异很大。蓝色通道往往噪声大、对比度低红色或绿色通道通常保留更多文字细节但也取决于具体打印墨色和纸张批次。我常用的做法是把BGR三通道分别取出来用Laplacian算子的方差边缘能量衡量每个通道的清晰程度然后选择边缘能量最高的通道作为灰度图。这个方法非常便宜却能带来稳定的收益。import cv2 import numpy as np def pick_best_channel(img_bgr): # 分别计算三通道的边缘能量 channels [ img_bgr[:, :, 0], # B img_bgr[:, :, 1], # G img_bgr[:, :, 2], # R ] energies [cv2.Laplacian(ch, cv2.CV_64F).var() for ch in channels] best int(np.argmax(energies)) return channels[best], energies img cv2.imread(receipt_blur.jpg) gray, energy_list pick_best_channel(img) print(各通道边缘能量, energy_list)为什么用Laplacian方差因为方差越大说明图像里高频细节越丰富也就是文字边缘越锐利。对同一个小票文字本身是固定的哪个通道边缘能量高哪个通道保留的细节就多用它做后续处理当然最划算。2.2 自适应对比度增强与背景分离选好通道之后紧接着要做对比度增强。小票褪色的典型表现是动态范围变窄背景不再是纯白前景也不是纯黑两者挤在中间一段灰度范围里。全局直方图均衡在这种场景下经常帮倒忙——它会同时把背景的噪声放大让纸纹、灰尘点也变成“疑似文字”。我一般用CLAHE也就是自适应限对比度直方图均衡它在局部小区域里做均衡并且限制对比度放大幅度能有效避免背景噪声被无脑放大。参数上我常用的组合是clipLimit2.0tileGridSize(8,8)。如果纸张发黄严重可以先估计背景亮度做一次背景减除归一化用大尺寸高斯核比如31×31对图像做平滑得到近似背景再用原图减背景加一个偏置把范围拉伸回0-255。这套处理对整体发黄的旧票很有用。2.3 去模糊和超分辨率技术可行但要管住预期先说结论去模糊和超分都不是模糊小票的银弹。它们能用但收益和风险要讲清楚。运动模糊的恢复在模糊核方向、长度已知或者能比较准确估计出来的前提下用简单的Wiener滤波或Lucy-Richardson迭代反卷积可以让文字边缘锐化一些识别率确实有提升。问题在于真实照片的模糊通常不是全图一致的边缘区域和中心区域模糊程度不同。一旦模糊核估计不准反卷积就产生振铃——文字旁边出现一圈一圈的明暗条纹这些条纹对OCR模型来说就是污染。超分辨率模型经典的ESPCN或者SRGAN思路的变体对低分辨率小票有补点效果分子辨别率上2倍缩放可以少一些误识别。但如果文字笔画宽度已经只有1-2个像素超分模型也变不出真实信息它只能根据上下文“猜”出一些高频成分猜对猜错看运气。所以我的经验是按严重程度分档别一刀切退化程度判定参考Laplacian方差预处理策略轻微模糊大于100通道选择 CLAHE直接进识别中等模糊30~100先估计运动模糊核尝试一次反卷积再进识别严重模糊小于30不做反卷积标记低质量走多帧融合或人工兜底这个阈值不是从哪本论文抄下来的是我自己数据上跑出来的经验值不同相机、不同分辨率要重新标定。但“先分档再选策略”这个思路是通用的。2.4 多帧拍摄融合用同一张小票的多张照片对抗模糊这是一个被很多人忽略但实战效果非常好的招数如果不是单张图片而是用户拍了一个3-5秒的小视频或连拍序列可以让每帧独立做一次文本检测然后逐行选择置信度最高的那一帧进行识别。比如一行文字第1帧运动模糊了第2帧清晰而另一行因为手抖方向不同第2帧反而虚了第3帧清晰。如果强行做整图融合会引入对齐误差和振铃。按行挑选最清晰帧相当于把“哪行用哪帧”的问题变成了一个简单的置信度比较问题工程上很好落地效果提升也很直接。如果只有单张图片怎么办我在代码里会先跑一次质量分级严重模糊的直接进“低置信队列”不再浪费时间在预处理上强修。因为靠单张严重模糊图把文字完整恢复出来基本是玄学不如老实走补拍或人工。3. 识别引擎选型通用OCR在小票上的短板与微调路径3.1 文本检测小票更适合“行级检测”而不是词级检测超市小票的版式特征非常鲜明短行、左对齐、字段松散。一个典型的商品行长这样农夫山泉 550ml 2 3.00 6.00商品名、数量、单价、金额各自是一段独立文本块。通用场景的检测模型倾向于检测出“词”级别的文本框。这样做在小票上会有一个副作用同一行的几个字段被打成多个box后面的行重组逻辑要做大量处理。我自己的做法是让检测模型输出字符/词级别的候选框之后再用一个简单的行聚合策略按y坐标聚类成行行内按x坐标排序合并。聚类阈值要能容忍行内轻微偏移和折痕造成的断裂。如果检测模型支持自定义后处理这个行聚合尽量做成“可配置的规则”而不是“硬编码假设”因为不同超市的小票行高、字间距差异不小。一旦规则太过刚性换一批新模板的小票就会崩给你看。检测完之后还要做一步倾斜校正。用户拍小票很少是完美正对常见的角度偏差在-10度到10度。文本行的走向基本决定版面走向我用所有检测框的中心点做一次直线拟合用拟合角度做整体旋转效果比用边缘检测找纸张边界更稳。3.2 识别模型CTC、Attention和Transformer OCR的取舍文本识别现在主流有三条技术路线我用一张表先做个对比路线代表结构推理速度模糊鲁棒性部署难度点评CTCCNNLSTMCTC快中上低小票首选轻量够用AttentionCNNRNNAttention中中中不规则文本优势小票不太需要TransformerTrOCR等慢高高语义纠错强适合做人肉校正的二次修正对小票这种“短行、格式固定、词表受限”的场景我强烈建议先上CRNNCNNLSTMCTC这类轻量模型。它的优势是推理快、内存占用小、端侧也能跑而且文本行的上下文信息能帮它在一定程度上抵御模糊——当一个字符看不清时LSTM能借助前后的字符概率把整行拉回合理路径。Attention模型在处理不规则文本时确实更强但小票本身是规则文本这个优势发挥不出来。Transformer OCR的语义能力很诱人——它本身带着语言模型能根据整行语义猜出模糊的字——但模型体积大、推理慢我只会把它用在高置信要求的二次校正环节不会让它承担全部识别任务。有一点要注意再好的模型也不能真正“看懂”信息量已经丢失的模糊字。当笔画断裂到一定程度人眼都认不出来的字任何模型都只能靠上下文去猜。所以识别模型解决的是“把残存信息用足”真正解决模糊问题的还是前面预处理和后处理和流程设计。3.3 合成模糊数据微调让模型见过“模糊的样子”通用OCR模型在小票上效果差本质是训练数据偏差。解决这个问题我没有死磕采集真实模糊票据而是用合成数据把小票领域的数据分布补起来。做法不复杂写一个小票版面生成器按真实小票模板随机生成商品名、单价、数量、金额、日期、店名再用不同中文字体渲染。关键是退化模拟要和真实场景对齐高斯模糊半径随机取0.5~2像素模拟轻度失焦运动模糊随机方向和长度5~15像素模拟手持抖动对比度变化把前景和背景的灰度差随机压低模拟褪色噪声高斯噪声和椒盐噪声随机混合模拟高ISO拍摄透视变换轻微四点扭曲模拟拍照角度折痕模拟随机位置画一条低亮度斜线叠加白色/灰色干扰用这套合成工具生成百万量级的图片先预训练一版再用几千张真实模糊小票做微调。这个策略比一上来就清洗标注海量真实数据要快得多而且对模糊的覆盖更全面。注意合成数据里要留一部分不加任何退化的清晰样本否则模型会从一个极端只见过清晰印刷体跳到另一个极端只见过模糊样本。3.4 一条可跑的端到端推理管线参考把前面这些环节串起来一个可落地的推理管线大概长这样# 简化版推理管线展示处理顺序实际工程按模块拆 def infer_receipt(image_path, model_det, model_rec): img cv2.imread(image_path) # 1. 质量分档 gray_raw cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) blur_score cv2.Laplacian(gray_raw, cv2.CV_64F).var() # 2. 通道选择 CLAHE增强 gray, _ pick_best_channel(img) clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8, 8)) gray_eq clahe.apply(gray) # 3. 文本检测伪代码实际传模型推理 boxes model_det(gray_eq) # 4. 行聚合与角度校正 lines merge_boxes_to_lines(boxes) deskew_img rotate_by_line_angle(gray_eq, lines) # 5. 按行识别 results [] for line in lines: crop deskew_img[line.y1:line.y2, line.x1:line.x2] text, conf model_rec(crop) results.append((line, text, conf)) return results, blur_score这套管线我强调几个容易忽略的细节检测模型最好作用在增强后的图上而不是原图上识别裁剪块时要给文本行加一点上下padding不要紧贴字符边界切否则笔画容易被截断。这些属于“做了不一定有明显感觉但不做一定会有偶发错误”的细节。4. 最后一公里的算术与纠错用规则把模型错误扳回来很多人把OCR当成一个纯模型问题拿到文本识别结果就结束了。做票据识别最关键的认知是模型输出的是“最可能的字符序列”不是“最终答案”。小票的格式约束、字段关系、商品词表都是可以用来纠错的信息。这一节讲怎么用规则把模糊导致的错误压下去。4.1 字段结构化让每行文本先分到一个“角色”识别结果是一堆“文本行坐标”。要从里面提取结构化信息第一步是给每一行打标签它是门店信息、日期、商品明细行、小计行还是合计行、支付方式行。我用的是“正则初筛位置约束”的组合。日期几乎总是匹配类似2025-01-15 14:23或01-15 14:23的格式金额匹配\d(\.\d{1,2})?且前面可能带合计行通常位于最后几行且前面有“合计”“总计”“应收”之类关键词支付方式涉及“支付宝”“微信”“现金”“银联”等固定词。这些规则本身不复杂但把它们按优先级排列、组合成判断器是一个需要反复调细节的活。比如“小计”这个词可能出现在“商品小计”或“小计含税”等变体里关键词匹配时要用包含关系而不是精确匹配。4.2 金额一致性校验数量×单价≈小计的数学约束这是一张零售小票最有价值的约束行金额等于单价乘以数量允许几分钱的舍入误差所有行金额之和等于总计金额同样允许舍入误差。在这个约束下个别字段的错误可以被系统性揪出来。举一个我项目里真实遇过的例子OCR把合计项识别成95.00但五个明细金额加起来是93.60差出1.40元。人眼一看就知道合计错了但模型自己不会发现。我在后处理里做了一个“一致性校验最小修正”模块把所有金额字段放在一起逐个尝试在“允许编辑距离1-2的候选字符替换”范围内寻找一组与约束相容的取值。优先级是更可信的字段高置信度保持不动优先修改低置信字段。这里有个工程细节务必注意金额计算一律用“分”整数来做不要直接拿浮点数相加。0.20 0.10在浮点里可能得到0.30000000000000004这个误差会毁掉“对齐校验”的严密性。4.3 商品名词典纠错形近字与拼音混合匹配商品名的OCR错误是典型的“形近字”错误。中文里“牛”和“午”、“奶”和“好”、“雪”和“灵”在模糊状态下极易混淆。单纯用编辑距离去匹配商品名库效果只能算一般因为一个字的替换也会导致编辑距离变化很大。我后来采用“编辑距离拼音编码”双通道匹配方案先把OCR输出转成拼音首字母序列再和商品库里的标准词做模糊匹配。这样做的好处是即使某个字识别成了另一个同音字首字母序列基本不变匹配还能命中。再配合一个同义词归一化表比如“农夫山泉550ml”和“农夫山泉 550ml”统一映射到同一个SKU商品名识别就能从“字符正确率还行”变成“入库可用”。要注意的是商品词库需要定期增量更新因为超市会不断上新商品。词库太大反而会引入误纠错。我一般控制在“高频出现长尾抽样”几千到几万个条目覆盖绝大多数消费频次对极低频新商品保持原样输出并标记低置信。4.4 置信度门控哪些结果自动入库哪些走人工修正我不认为“后处理纠错”应该被无限信任。规则纠错的前提是模型置信度尚可只是个别字符可疑。如果整行图像已经糊成一片模型置信度极低此时强行纠错只会“把错的改成另一个错”。工程上的成熟做法是给每个字段设置置信度门控高置信且通过规则校验直接入库中置信允许自动修正但记录修正日志低置信不进自动流程进入人工核验队列或触发补拍提示这套门控机制对业务侧的体验至关重要。用户的痛点不是“系统经常识别错”而是“系统自己也不知道自己错了还告诉我说识别成功”。设置一个诚实的置信度阈值把不确定的部分暴露出来整体体验反而更好。5. 准确率评估、分层测试与上线避坑5.1 准确率不是单一数字用对指标再谈优化“提高识别准确率”这个说法在工程上很不精确。我在项目里至少会用这四类指标指标定义适用判断字符错误率(CER)识别错误字符占比模型字符级能力对比字段级精度/召回关键字段是否抽取正确业务可用性核心指标整单全对率整张小票所有字段都对全自动流程占比人工修正率低置信走人工的比例判断流程兜底压力对小票识别我最关注的是字段级精度和人工修正率而不是字符错误率。因为很多下游业务比如小票报销、对账只关心金额和日期是否准确商品名的归一化要求并不极致。你辛苦把字符错误率从5%压到3%如果关键金额字段还是错的对业务没有任何价值。5.2 按模糊程度分层评测很多优化其实是假进步这是一个我吃过亏才养成的习惯测试集一定要按退化程度分层。如果只报一个总准确率优化很容易变成“把清晰样本的准确率从98%提到99%”而模糊样本依旧一塌糊涂——总数字看着涨了项目的核心痛点根本没有解决。我的做法是给评测集打上退化标签清晰、轻微、中等、严重四个分档每次修改模型或预处理逻辑后分别报告四档准确率。只有当“中等/严重模糊”分档的指标明显提升时我才会认为这次优化是有效的。根据我自己的经验很多看起来有效的技巧一分开看就露馅了。怎么给真实数据分档最简单的是用Laplacian方差但也建议人工抽样复核一遍。有些折叠压痕会让方差变得很高但实际关键区域文字是糊的。想要更准也可以把图像切块按区域分别计算清晰度再聚合出整图的退化等级。5.3 拍照端的规范引导成本最低的“预处理”在所有优化手段里性价比最高的往往不是改算法而是引导用户拍出更合格的照片。我做一个轻量前置判断模块在用户按下快门之前实时反馈三个方向清晰度Laplacian方差低于阈值时提示“请拿稳手机保持静止片刻”亮度整体亮度过暗时提示“请打开补光灯或移到明亮处”正角度识别到明显倾斜时提示“请将小票放平正对上方拍摄”这个模块本身不复杂但把用户上传图片的质量分布整体往上拉了一个大的档次。数据变好了后面所有模型的压力都变小了。不要觉得这种“引导”显得产品笨真实用户的拍摄能力远比你预期中要随意能兜住底线就是胜利。5.4 部署形态对方案取舍的影响云端批量处理和端侧实时识别对技术选型的影响很大。云端批量场景下GPU资源充足可以跑大模型、做多帧融合、反复尝试预处理。这时我倾向于“重预处理轻识别重后处理”的组合预处理阶段把能恢复的都试一遍识别模型选通用性和鲁棒性平衡的后处理用规则把错误修得更干净。端侧实时场景下资源有限算法要轻。我不会在端侧跑反卷积也不会调超分模型而是用“质量检测提示重拍”来兜底。端侧只做最基本的通道选择、CLAHE增强和轻量CRNN识别输入缩放到合理分辨率比如高度控制在48-64像素保证单张100毫秒内完成。如果端侧判断质量过差直接引导用户重拍比在端侧硬跑一个效果未知的增强算法要靠谱。有一点我特别想提醒不要在端侧把“看似可行”的预处理全部堆上去。每个预处理算子都有计算开销叠加起来时延翻倍但准确率未必提升。优化的正确姿势是在目标设备的真机上做逐帧耗时剖析把性价比低的算子砍掉。如果让我给刚开始做这个方向的人排一个优先级我的建议是先做拍照引导把输入质量拉上来再做图像预处理和规则后处理把脏数据里能救的救回来最后才轮到换更大更聪明的识别模型。模糊小票识别最大的瓶颈往往不是模型不够强而是没有把“模糊”当成一个有结构的退化问题去系统应对。热敏纸发色、打印头断针、折叠压痕、用户手抖四类退化各有各的处理逻辑把它们分开治理准确率的提升才会是实打实的而不是只是评测集上一个好看的虚高数字。