简介在工业面板与智能设备识别场景中字符识别和实例分割是两项基础而关键的技术。直接对整图做通用OCR往往受透视畸变、反光和复杂背景干扰识别率难以保证。更可靠的思路是先通过分割模型精准定位目标区域再对裁切后的图像做透视校正与字符转写这种“分割识别”两阶段方案已在电梯按键、仪器仪表等场景中验证了其工程价值。实例分割掩码不仅能用于目标定位还能辅助预处理与质量判断为后续OCR提供干净输入。本文围绕大规模电梯按键分割和字符识别数据集展开介绍目录结构、标注规范、YOLOv8训练流程、常见解压与校验陷阱以及OCR识别不准的排查方法并延伸到VisionMaster等传统视觉工具的调参思路为智慧电梯、无接触乘梯和工业视觉检测提供可落地的技术参考。 电梯按键字符识别听起来是个很成熟的小任务真做起来才发现“先分割、再识别”和“直接对整张图做OCR”完全是两种体验。最近我把手上这套“大规模电梯按键分割和字符识别数据集”整理打包成zip顺带把整个采集、标注和训练过程沉淀了下来。电梯按键面板拍摄图、实例分割掩码、按钮级字符转写标签这三样东西组合在一起能同时喂给目标检测、语义分割、实例分割和OCR识别模型特别适合做智慧电梯、无接触乘梯、智能维保算法的研发人员参考。这套数据最值钱的地方不是我收集了多少张图而是我踩完一轮坑之后总结出的“分割与识别如何衔接”的完整链路。这篇博文不写论文腔直接讲数据长什么样、格式怎么对齐、用YOLOv8怎么训练、解压zip会碰到哪些幺蛾子、字符识别不准怎么排查最后给一点扩展思路。无论你手里有没有这套数据集只要你在做电梯按钮或类似的工业面板字符识别相信都能用得上。1. 电梯按键识别为什么优先选“分割识别”而不是直接OCR1.1 直接对整张图做OCR效果为什么一言难尽很多第一次接触这个项目的人都会问电梯按键上不就是数字和几个功能符号吗拿现成OCR跑一下不就行了我一开始也这么干过结果被现实狠狠教育了一顿。电梯按键图像跟普通文档扫描图完全不是一回事。轿厢里的摄像头往往是广角镜头装在轿厢顶部或侧面拍出来的面板存在明显的透视畸变按钮不是规则的矩形而是带弧度的平行四边形。同时按键表面有亚克力或金属材质反光和阴影非常普遍数字“1”和“7”在有阴影的时候几乎长得一样按钮外圈的边框、面板上的公司铭牌、“安全检查合格”标签、甚至摄像头自身的红外补光点都会被场景文字检测模型误判成文本框。直接用PP-OCR这类通用OCR去识别检测头会把不该识别的东西全框出来识别头又因为字符尺寸太小而频繁出错。你花大力气去调OCR参数效果非常有限。本质原因是OCR训练数据的分布跟电梯按键的真实分布差异太大。1.2 分割掩码不只是用来“找位置”的后来我换成“分割识别”两段式方案马上稳很多。先用实例分割模型把每个按键的像素级mask提取出来再基于mask裁剪按钮区域最后做透视校正和字符识别。分割掩码带来的好处比想象中多。首先mask能精确定位按钮边缘避免bbox裁切时把隔壁按钮或背景带进来。其次按钮在图像里往往是斜的有了mask之后可以计算最小外接矩形或外接椭圆估算出按钮的偏转角做透视矫正把按钮拉成正面视角。这步对OCR影响极其明显斜着字的识别难度远高于正着的字。第三个好处是mask可以辅助图像预处理。拿到mask之后可以在mask内部做局部灰度统计针对性地做反光抑制、对比度增强甚至在mask区域外直接置黑让OCR模型只看按钮内部的有效像素。这样一个简单的mask实际上同时完成了目标检测、ROI提取、透视矫正和质量判断四件事。1.3 这套数据集到底能干什么用从我的角度看这套“电梯按键分割和字符识别数据集”覆盖了三类核心任务训练实例分割模型对电梯按键面板上的所有按钮做像素级定位也可以直接用来做语义分割训练字符识别模型对每个按钮上的楼层号、功能符号做转写形成“按键级OCR”数据做电梯物联网相关的算法原型比如无接触乘梯时的目标识别、按键异常检测、电梯楼层显示翻板识别等。数据里除了图像和分割掩码还带了按钮级别的字符标签所以它不只是给分割模型用的也可以作为OCR模型的训练数据。如果你之前只是拿它来训练yolov8分割模型那有点浪费把按钮裁出来再做字符识别才是这套数据的真正用法。2. 压缩包里的目录结构与标注规范2.1 标准目录应该长什么样这套数据是用zip压缩包发布的标题里“大规模电梯按键分割和字符识别数据集.zip”已经说明了一切。拿到手之后第一步不是直接训练而是先核对目录结构和标签格式。我整理数据时按以下规范组织后面拿到数据后可以先对照一下elevator_button_dataset/ ├── README.md ├── images/ │ ├── train/ # 原始电梯面板图像 │ ├── val/ # 验证集图像 │ └── test/ # 测试集图像 ├── masks/ │ ├── train/ # 与图像同名的按键实例mask │ ├── val/ │ └── test/ ├── labels/ │ ├── train/ # YOLOv8-seg格式的txt标注 │ ├── val/ │ └── test/ ├── annotations/ │ ├── button_ocr.json # 每个按键实例的字符转写 │ ├── class_names.txt │ └── dataset_stats.json └── crops/ └── button_crops/ # 按实例裁出的按钮小图按图像分目录不同版本的数据集可能字段略有差异有的只给images和labels有的还额外带crops。我强烈建议发布方把README写好里面至少要说明图像尺寸、掩码格式、标签坐标系、字符标签文件的字段含义。如果没有README那就要自己动手猜非常痛苦。2.2 分割掩码用什么格式最不容易踩坑分割掩码的格式要特别留意。电梯按键分割里最忌讳的是把所有按钮都画成同一个像素值的二值mask。那种mask只能告诉你“哪些像素属于按钮”无法区分“这是哪个按钮”。如果后续要做实例关联、按按钮裁剪就得知道每个按钮的独立实例ID。如果只做二分类语义分割单通道PNG0为背景255为按钮如果做实例分割建议像素值等于实例编号例如第5个按钮的像素点值就是5如果数据从标注工具导出来常见的是JSON多边形或COCO格式的RLE需要先转换。我建议数据集中同时保留两种东西一种是二值mask方便直接训练语义分割另一种是JSON或YOLO txt中的多边形点坐标方便转实例分割。光有像素级mask没有多边形坐标想转成YOLOv8-seg格式还要自己跑一遍轮廓提取徒增工作量。2.3 字符标签与mask如何关联字符标签是我整理这套数据时最花心思的部分。每个按钮需要有一个全局唯一ID然后通过ID把mask和字符转写关联起来。JSON结构大致如下{ image_id: IMG_0001, image_width: 1920, image_height: 1080, buttons: [ { instance_id: 1, transcription: 1, category: floor, floor: 1, panel_row: 0, panel_col: 0 }, { instance_id: 2, transcription: B1, category: floor, floor: -1, panel_row: 1, panel_col: 3 }, { instance_id: 3, transcription: 警铃, category: function, panel_row: 0, panel_col: 4 } ] }transcription是最终要识别的字符文本“B1”这种楼层号不能拆成“B”和“1”两个独立字符去标注否则OCR模型会迷失上下文。功能键建议用固定字符串比如“警铃”“电话”“关门”不要把它们拆成单字因为中文OCR对短词的理解本来就不如整词稳。字符集归一化也极其重要。标注时“0”和“O”、“1”和“I”、“8”和“B”经常混用如果标注团队不统一训练出来的模型也会跟着乱。我定的规则是所有字符一律按真实楼层印刷为准数字就标数字英文字母就标英文字母功能键使用固定的中文词汇表后期再靠规则做纠错而不是让模型自己猜。2.4 图像与标注的质量校验脚本大规模数据集的“大”不代表“好”。我拿到底层图之后一定会跑一个完整性校验脚本检查三件事图像和mask尺寸是否一致每个按钮是否有对应的transcription标签里是否有空目标或重复ID。代码很简单from pathlib import Path import cv2 image_dir Path(elevator_button_dataset/images/train) mask_dir Path(elevator_button_dataset/masks/train) for img_path in image_dir.glob(*.jpg): img cv2.imread(str(img_path)) mask_path mask_dir / f{img_path.stem}.png if not mask_path.exists(): print(fmissing mask: {mask_path}) continue mask cv2.imread(str(mask_path), cv2.IMREAD_UNCHANGED) if mask.shape[:2] ! img.shape[:2]: print(fsize mismatch: {img_path.name} - img {img.shape}, mask {mask.shape}) if int(mask.max()) 0: print(fempty mask: {img_path.name})把图像和mask用半透明方式叠加可视化随机抽几十张人工看一遍能发现大量肉眼看不出的标注错位问题。这套校验流程花不了半天时间但能让训练时的各种“神秘报错”减少80%。3. 用YOLOv8把分割模型跑起来的完整流程3.1 从mask到YOLOv8格式的转换YOLOv8的实例分割训练格式比较特别它不用PNG mask而是在txt文件里保存归一化后的多边形点坐标。每行格式为class_id x1 y1 x2 y2 ... xn yn其中每个坐标点都除以了图像的宽高。如果数据集中只提供了PNG mask需要先转成多边形。用OpenCV找轮廓即可import cv2 import numpy as np def mask_to_polygon(mask: np.ndarray, min_area: int 20): mask (mask 0).astype(np.uint8) contours, _ cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) polygons [] for c in contours: if cv2.contourArea(c) min_area: continue c c.reshape(-1, 2).astype(np.float32) polygons.append(c) return polygons注意要保留最大轮廓或者过滤掉面积过小的噪点否则mask边缘的毛刺会生成几十个点导致训练时数据加载变慢。转换之后把多边形归一化同时用多边形计算bbox写入txt文件。还要确认是class_id x1 y1 ...的顺序YOLO格式不接受别的顺序。3.2 data.yaml配置与训练参数选择YOLOv8对数据集的配置都在data.yaml里path: /data/elevator_button_dataset train: images/train val: images/val names: 0: button如果只需要分割按钮class数量就一个。训练命令yolo segment train \ datadata.yaml \ modelyolov8n-seg.pt \ epochs100 \ imgsz640 \ batch16 \ device0 \ patience20第一次跑通建议用nano模型先把整个链路打通确认数据没有问题。之后再根据显存换成yolov8s-seg或yolov8m-seg。电梯按钮在整图里属于中小目标imgsz如果显存允许尽量拉到960甚至1024能明显提升小目标召回率。如果报CUDA out of memory优先降batch其次降imgsz。训练过程中主要看两个指标mAP50和loss曲线。mAP50对按钮这种目标来说通常不会太低正常情况下nano模型跑到0.85左右是合理的但mAP50-95会低不少因为按钮尺寸小、边缘形状简单但互相遮挡不要因为这个数字焦虑。3.3 训练后的推理与mask后处理训练完把best.pt拿出来做推理from ultralytics import YOLO import cv2 model YOLO(runs/segment/train/weights/best.pt) results model(elevator_button_dataset/images/test/IMG_1001.jpg, conf0.25, iou0.5) for r in results: if r.masks is None: continue for mask_xy, box in zip(r.masks.xy, r.boxes.xyxy): # mask_xy是归一化后的多边形点需转成整数坐标 pass从mask生成按钮crop时一个细节是不要直接用原始mask的外接矩形切图因为mask边缘可能不完整建议把box向外扩1.2倍再切。切出来的按钮图先做透视校正再进入OCR。还有一个容易忽略的问题mask是浮点坐标组成需要先用cv2.fillPoly画成二值mask再做形态学闭运算填补内部小洞否则crop里缺像素。4. 解压、读图与校验时最容易翻车的几个细节4.1 文件解压报错不是“File is not a zip file”就是“could not find EOCD”这节本来不想写但太多人在数据集下载和解压阶段就被卡住还是得多说几句。拿到zip包后如果Linux下执行unzip xxx.zip报File is not a zip file或者报invalid zip archive: could not find EOCD大概率不是命令的问题而是文件本身不完整或者下载过程中被截断了。EOCD是zip格式的“中央目录结束标记”位于压缩包最末尾。下载工具如果只传到一半就断掉或者存储平台把文件当成文本进行过转换EOCD就丢了。检查方式file elevator_button_dataset.zip unzip -t elevator_button_dataset.zip | tail -n 5file命令能识别真实文件类型。如果扩展名是zip但真实输出是HTML或者一串二进制基本可以判断下载源有问题重新下载。如果unzip -t能跑但报错可以尝试用7-Zip或zip自带修复7z t elevator_button_dataset.zip 7z r elevator_button_dataset.zip zip -F broken.zip --out fixed.zip修复成功率不是100%最靠谱的还是重新下载完整文件并对MD5或SHA256。很多开源数据集的发布页面都会提供校验值别嫌麻烦直接对一下。4.2 中文路径、乱码与超长路径数据集如果包含中文目录名Linux下解压Windows生成的zip极其容易乱码。原因是Windows下zip文件名默认用GBK编码而Linux默认按UTF-8解压。解决方法是unzip -O GBK elevator_button_dataset.zip如果unzip不支持-O用7-Zip7z x elevator_button_dataset.zip部分新版7-Zip能自动识别编码。还有一个常见坑是Windows下解压zip时遇到“路径太长”导致解压失败。标注数据集的路径常常又深又长Windows老版本默认260字符上限双击解压到一半报错。建议直接用7-Zip解压或者开启Windows的Long Path支持最省事的方式是解压到盘符根目录下比如D:\elevator_button_dataset缩短路径深度。4.3 掩码和图像读出来对不上号训练脚本报错十次有八次是图像和mask尺寸不一致或通道数不对。读mask一定要用cv2.IMREAD_UNCHANGED否则单通道mask会被读成三通道像素值0和255不变但到后面做掩码运算时维度对不上。检查代码mask cv2.imread(mask_path, cv2.IMREAD_UNCHANGED) assert mask.ndim 2, mask should be single channel assert mask.shape[:2] img.shape[:2], mask and image size mismatch另外有的mask保存为调色板PNGmask.max()可能不是255而是类别索引还有的mask像素值是0和1训练时乘以255才能用于可视化。这些细节如果README没写清楚就自己通过直方图确认别想当然。5. 字符识别不准的排查顺序从图像质量到后处理5.1 先检查喂给OCR的图是否干净分割模型跑通了字符识别成了新瓶颈。很多人的第一反应是“换个更强的OCR模型”但我的经验是先在输入图层面找原因。电梯按键上的字符识别不准原因通常包括crop范围太大把按钮边框、阴影甚至旁边按钮都包了进来字符区域被反光或高光盖住按钮透视形变导致字符拉伸凸起字符在侧面光源下阴影方向不统一按钮表面有磨损或油污。处理顺序非常重要先用mask把按钮区域精准裁出来再做透视校正让按钮变成正面视角。接着用CLAHE做局部对比度增强把字符和背景的对比拉开。最后做灰度化不要直接三通道送进OCR很多OCR模型对灰度图更友好。5.2 OCR识别阶段的路线选择现在OCR工具很多不是每个都要训练。因为我们已经有了mask裁剪不需要OCR的检测头建议直接用识别模式。以PaddleOCR为例裁剪后的按钮图可以直接from paddleocr import PaddleOCR ocr PaddleOCR(use_angle_clsTrue, langch) result ocr.ocr(button_crop, clsTrue)如果按钮图很小建议先把图放大到合适高度比如高度32像素以上再识别。很多OCR模型对过小的文字识别能力一般。另一个路线是把按钮字符识别当成图像分类问题用投票法或其他分类网络只对按钮类别做预测。这个路线的前提是每个按钮类别有足够样本。对于楼层号这种类别空间不大但样本分布不均的情况我觉得先跑现成OCR再结合后处理更实际。5.3 用位置上下文和规则兜底电梯楼层按钮本身有很强的上下文约束。楼层号的排列通常是递增或递减的一个面板上不会凭空出现两个“12”也不会从“5”直接跳到“9”中间缺了“6”。所以识别结果出来后一定要加规则校验。比如OCR把“B1”识别成“81”如果这个按钮所在的行里其他按钮分别是B2、B3、B4那“81”显然不合理结合位置可以纠回“B1”。再比如“0”和“O”混淆用楼层表可以直接确定是数字0。功能键则用固定集合做匹配识别结果不在集合里就标为低置信度需要人工复核。我在实际项目里还会加一个替换表O - 0数字场景 I - 1 l - 1 B - 8仅在楼层编码规则里按需判断这种后处理不需要很复杂但能显著提升最终识别准确率尤其是那种“大模型识别99%最后1%的楼层错没人敢用”的场景规则兜底就能把最后这1%拉回来。5.4 商用视觉软件的“识别不准”怎么调聊聊热词里常见的“VisionMaster字符识别不准怎么办”。很多工业项目不用Python而是用VisionMaster这类视觉软件。遇到识别不准时常规思路是去调“字符分割”参数。这里的核心问题是商业软件通常把字符分割和字符分类分成两个独立步骤后一步的准确率完全依赖前一步。排查顺序先看字符区域ROI是否框准ROI不要包含按钮外围检查极性设置是白底黑字还是黑底白字调整字符宽度、高度、间距的允许范围粘连字符要放宽间距上限打开“断裂连接”选项让断裂笔画尽量连起来如果按钮字符是凹凸不平的立体字现场改善打光比调参更管用。说白了传统视觉工具也是“先定位、后识别”的思路和深度学习方案殊途同归。商业软件调参的尽头还是图像质量和区域提取不是分类器本身。6. 从电梯面板延展到更多识别场景与迭代思路6.1 电梯轿厢里还有哪些高价值识别目标有了这套按键分割和字符识别的经验可以快速扩展同类型任务。电梯轿厢里值得做的目标包括楼层翻板显示的数字、轿厢铭牌上的制造编号、检修按钮、楼层索引牌、盲文提示板。这些目标的共同点是尺寸小、透视畸变、光照变化剧烈直接OCR都不稳但配合分割定位后就能做。我实际试过楼层翻板识别。数码管数字“3”和“8”单帧很难区分但连续视频帧中楼层数字不会突变用时间序列平滑一下就能把偶发误识别压下去。这个思路就是利用场景先验比单纯堆模型更稳。6.2 数据迭代和半自动标注闭环拿到这套数据集训练出第一个模型之后后续新数据怎么迭代是个大问题。我的做法是半自动标注闭环用训练好的分割模型预测新电梯面板图把预测mask转成标注格式导入标注工具用PaddleOCR做按钮字符的伪标签人工只看低置信度的按钮修正边界和文本重新训练并更新模型。这样几万张新图也能在较短时间内完成标注。关键是每一步都要记录置信度不自信的样本不要直接当伪标签喂给模型否则错误会滚雪球。6.3 数据采集决定模型能走多远最后说一个最容易忽略的问题采集电梯按键图像时角度、光线和电梯品牌多样化比数量更重要。真实摄像头不会每次都正对着面板拍仰拍、斜拍、广角畸变非常常见。如果数据里全是正视角、无遮挡、光线均匀的图训练出来模型一到现场就崩这是我不止一次见过的现象。训练阶段可以加一些模拟增强比如随机透视变换、亮度抖动、高斯模糊、模拟反光条。但增强只是补救真正稳妥的办法是采集阶段就覆盖不同品牌电梯、不同楼层配置、不同装修风格、白天和夜晚、逆光和顺光。数据集规模“大”的意义是覆盖更多的真实情况而不是单纯堆同一类图的数量。这套电梯按键分割和字符识别数据集之所以好用就是因为采集时考虑了这些问题而不是随便抓一堆图就发布。我在整理和训练这套数据时最大的体会是分割模型和OCR模型都不是瓶颈真正决定项目成败的是数据是否干净、标注格式是否统一、mask和转写是否严格对齐。花一整天写脚本检查数据质量比花一周调模型参数更值。如果你正准备做电梯按键识别或者类似的工业面板字符识别建议先从数据校验开始把所有图像、mask、标签对齐检查一遍再开始训练。后面每一步都会顺畅很多。本文还有配套的精品资源点击获取