1. 先搞清楚要做什么甲骨文目标检测项目到底在解决什么问题1.1 为什么检测框比分类更进一步甲骨文识别这个场景我一直觉得最容易踩的坑就是把任务想得太简单。很多团队一开始都会把它当成图像分类来做先由古文字专家或者标注员人工切出一张张单字小图再训练一个分类模型让电脑判断这个字是“甲”还是“乙”。这个思路听起来很顺但真正干活的人都知道瓶颈根本不在分类而在前面那一步“人工切字”。一张商代龟甲拓片上常常有几十甚至上百个字形它们和裂纹、骨质纹理、灼烧痕迹混在一起人工逐个框选不仅耗时而且非常容易漏掉那些刻痕浅、处在残片边缘的字。目标检测的价值恰恰是把“找字”和“认字”合并成一个端到端流程模型直接对整张大图输出一串结果——某个位置有一个字它是什么字检测框落在哪里。这样的输出形式正好匹配古文字研究中“通读刻辞”的习惯研究者打开一张大拓片一眼就能看到整块甲板上哪些位置出现了哪些字哪些区域还有待考释比单独做一个分类模型实用得多。我在实际项目里体会最深的一点是目标检测的边界框并不只是一个坐标它把“字的空间位置”和“字的类别”绑在了一起。甲骨文的考释非常依赖上下文同一个残缺字形如果单独拎出来可能完全无法判断但只要看到它和相邻几个字的关系放在什么行款位置往往就能推断出八九分。检测框天然保留了这种空间关系后续做辞例检索、字形比对、同义字关联都有数据基础。而分类任务把这些信息全丢光了。1.2 甲骨文识别的难点与传统OCR思路为何走不通有人可能会说既然现代OCR都能识别古籍里的繁体字、手写体为什么不能直接套到甲骨文上这个问题我回答过不少次核心原因可以概括为三个字域太偏。现代OCR处理的是规范印刷体版面整齐、笔画清晰、字体分布均匀甲骨文则是用刀在坚硬的龟甲兽骨表面刻出来的文字。刻痕深浅不一落刀处粗、收刀处细笔画经常断开加上数千年埋藏表面还有漫漶、剥落和矿物沁色字和背景的对比度极不稳定。同一个字在不同时期、不同刻手笔下可能有完全不同的写法甚至在同一个片甲骨上会出现正书与反书并存这种强异构性决定了模板匹配式的传统OCR路线根本走不通。真正的难点还不只字形异构。甲骨刻辞里存在大量非文字刻痕比如兆序数字、兆辞、界划线它们在外形上可能极其接近文字笔画但语义上不是我们要找的单字。这类干扰在目标检测里会变成非常“阴险”的难负样本模型很容易把裂缝边缘和光影起伏误判成文字笔画。加上高频字和生僻字之间的样本数量差距极大长尾分布非常严重常规检测训练很容易陷入“常见字越学越好、生僻字越学越漏”的恶性循环。所以做甲骨文目标检测本质上是在做一个长尾、小目标、强背景干扰的开放域检测项目不能照搬任何一本通用的目标检测调参手册。1.3 第10341期数据集的定位与价值标题里出现的“第10341期”我理解为一个长期流水线式数据项目中的最新一批影像集。文物数字化领域现在越来越流行这种按批次更新的模式每隔一段时间新增一批高清影像经过清洗、标注、质检之后形成一期标准数据再并入总体训练集进行迭代。第10341期代表的是这个数据流水线里的一个时间切片它强调的并不是一次性发布而是可持续积累的过程。和那种一次性从公开渠道抓取拼凑的数据集相比这种流动式数据集对模型训练的意义完全不同类别字典可以持续演化今天还没见过的生僻字下一期可能就会补充新的样例异体字和残泐字形也可以不断刷新模型的覆盖范围。对研究团队来说每一期数据的价值不只是“多了一些图片”更重要的是它让模型有了增量进化的通道。我做过不少古籍类检测项目最深的感受是数据不是一次准备好的而是在反复检视、补标、纠错中慢慢长出来的。第10341期这类编号本质上就是给这套生长过程打的标记每一期对应一次“回头看”这比一个静态数据集更能体现真实项目里数据工程的重要性。2. 数据集构建从原始拓片到标注文件完整流程怎么搭2.1 素材来源的三种典型形态与处理要点甲骨文影像数据最常见的来源有三种处理方式差别很大。第一种是拓片黑白居多字在拓片上通常呈现为白线或黑线取决于墨拓还是朱拓背景纹理很重噪声最多但也是目前存量最大、研究价值最高的资料形态。第二种是文物照片以自然骨质颜色为主有光照不均匀、反光、底色差异等问题字迹边缘往往不如拓片清晰。第三种比较特殊是晚清民国时期的摹写本或摹刻本纸上字形已经被人为整理过比较规整但因为经过了二次加工字体风格失真迁移性弱只能作为辅助不太适合直接参与训练。拿到原始素材后的第一步不是标注而是统一预处理。拓片需要做对比度拉伸和反色处理因为很多标注工具在深色背景上画框不够直观我一般先把字调整为深色的标准灰度图。照片则需要做光照校正和去高光处理否则模型会把反光区域当成前景特征。预处理完之后要裁掉边缘题跋、尺标、色卡这些非刻辞区域只保留有甲骨刻辞的部分。对于特别高分辨率的整版拓片还要做切片我常用的瓦片大小是1024×1024切片之间保留适度的重叠这样可以避免一个字刚好被切在两张瓦片的边界上对后续目标检测的训练和推理都更友好。2.2 标注工具选型与标签体系设计标注工具这块不用太纠结关键看团队规模和协作方式。我自己做过对比单人小批量实验用LabelImg最轻量导出VOC格式或YOLO格式都很直接但如果是一个5人以上的标注团队我强烈建议用CVAT这类在线协作平台。CVAT支持多用户分配任务、标签检查、QA复核流程还可以导出COCO、YOLO、Pascal VOC等多种格式省去了人工合并标注文件的麻烦。另外CVAT有半自动标注能力可以先让已有模型推理一遍标注员只需要修正框的位置和类别效率提升非常明显。真正需要花心思的是标签体系设计这是数据集构建里最容易被低估的一环。甲骨文的类别体系不能直接用“单字”孤零零地列出来因为同一个字存在大量异体写法如果每个写法都开一个类类别数会爆炸每个类的样本量还会被严重稀释。我一般建议做两层标签第一层是“规范字类”也就是考释结论中的标准字形标注时统一归到这个类下第二层是“异构体标记”通过标注字段里的扩展属性记录这个样例对应哪种异体写法。实际标注时标注员看到的类别列表保持精简比如先从54个高频单字做起每个字对应一个数字标签同时维护一份类别映射表说明该类包含哪些异体写法、有哪些容易混淆的近形字。这样既控制了类别数量又保留了细粒度信息。2.3 标注规范的制定边界框怎么框才不翻车标注规范是整个数据集质量的地基这块出了问题后面模型再调也救不回来。我总结过一套甲骨文检测的框标注原则现在基本固定下来用检测框要贴着字形的外接最小矩形但这个“最小”是字义上的最小不是像素上的最小。甲骨文笔画经常断开同一个字会有好几段笔画碎片分布在一个区域内标注时要把这些碎片作为一个整体全部包进框里而不是只框住最大的那一截笔画。反过来也不能为了省事把一个区域的所有笔画都圈进去那会把相邻的另一个字甚至裂纹一起包进来模型学到的目标就变成了“一整片雕刻痕迹”。更难处理的是粘连字。甲骨文偶见合文两个字写在一起难以拆分或者残辞中两个字形互相穿插这时候我坚持一个原则宁可多建一个“粘连字组”类也不要硬拆成两个重叠框。硬拆出来的框一个框里实际包含了另一个字的一部分梯度信号非常混乱。我一般会在标注规范里规定如果有两个字形在语义上属于同一个词或同一组刻辞实在无法分离就整体标注为“合文/粘连字”类别并让专家在备注字段里补充说明。刚开始这样做会牺牲一部分检测类别的精细度但换来的是训练数据的干净程度这是值得的。2.4 数据清洗、图像增强与训练集划分标注完原始数据之后很多团队会急着开始训练其实中间还缺两道工序清洗和划分。清洗阶段要做的事情包括剔除没有单字的纯纹理图因为它们只提供背景噪声去掉重复拍摄的近重复图防止模型对同一块甲板的过拟合把严重漫漶、几乎无法辨认的残片单独挑出来放到验证集而不是训练集里这样能更真实地反映模型在低质量数据上的表现而不是把这种难样本混进训练集去“刷分”。数据增强方面常规的Mosaic、缩放、亮度扰动、高斯模糊都有效但有两个针对甲骨文的特殊设置值得注意。第一是翻转要克制甲骨文有正书和反书之分左右翻转虽然能增加样本数量但会把“字的方向”这一语义信息弄乱所以我一般不开上下翻转左右翻转也只给0.1到0.2的弱概率。第二是加噪声要模拟甲骨纹理单纯加高斯噪声帮助有限更好的做法是把一些随机方向和长度的细线纹叠加到图像上模拟刻痕和裂纹干扰让模型学会忽略这些背景线条。训练集划分上有一个关键原则按原始图像分片进行分组保证同一张拓片切出来的所有瓦片不会跨越训练集和验证集。很多项目mAP刷得很高一上线就露馅原因就是这里数据泄漏了。3. 模型选型与训练用YOLO系目标检测跑通甲骨文识别3.1 为什么选单阶段检测器从YOLOv8谈起模型选型这件事我基本没有太多犹豫就定了YOLOv8系。不是说两阶段检测器不好Faster R-CNN在精度上仍然有优势尤其对小目标和密集目标更友好但在真实项目里它的推理速度实在太慢。甲骨文辅助标注场景有个硬需求专家在线打开一张大图模型需要在1到2秒内给出预标注结果两阶段模型很难满足这个交互节奏。YOLOv8采用的anchor-free设计和TaskAlignedAssigner标签分配策略让它在密集小目标上的表现比早期YOLO版本提升了一大截工程生态也成熟从训练到ONNX导出、TensorRT部署一条龙都有人踩过坑。选择YOLOv8而不是更高版本的模型我主要考虑的是稳定性和社区资料丰富度。模型结构本身不是决定项目成败的关键关键是能快速迭代、能方便地做切片推理、能在不同硬件上部署。YOLOv8在这几个维度都足够省心。如果团队显存充足也可以直接换YOLOv8m或YOLOv8l甲骨文字形细节多模型容量大一点通常能带来实打实的召回率提升尤其对于笔画断裂明显的图形深层特征比浅层特征稳定。3.2 训练流程与关键参数配置训练前的数据准备比较简单把标注文件转成YOLO格式训练集和验证集路径写进一个data.yaml。预训练权重我用COCO上的yolov8s.pt虽然甲骨文和自然图像差异很大但底层特征比如边缘、角点、纹理对比度的迁移是有效的从零训练反而会慢很多效果也不稳定。训练分辨率我建议不要死守640×640甲骨文字很小用1024甚至1280输入能显著提升小目标召回率前提是显存和batch size要匹配。我整理过一份比较顺手的参数配置可以供参考参数建议值说明imgsz1024分辨率过低小字特征直接消失batch8根据显存调整梯度累积可兜底epochs150配合早停关注验证集lr00.01配合warmup避免前期震荡mosaic1.0前中期开后期关闭close_mosaic10最后10个epoch关闭mosaic稳定收敛copy_paste0.3让字形可以跨图粘贴扩充低频类fliplr0.1不完全关闭保留弱翻转scale0.5适度缩放照顾不同尺寸字形训练命令实际跑起来长这样yolo detect train \ dataoracle_10341.yaml \ modelyolov8s.pt \ epochs150 \ imgsz1024 \ batch8 \ device0 \ projectruns_oracle \ nameexp_10341_v1训练过程中我最关心的不是训练损失降了多少而是验证集上的漏检模式有没有变化。每训练30个epoch左右我会把验证集的预测结果可视化一遍直接用框叠加图看模型经常漏掉的是不是同一类字是不是集中在某个特定的字形写法上这种观察比单纯看曲线更能指导下一步行动比如发现某个异构写法反复漏检就去数据里补该写法的样本。3.3 小目标与形近字是主要拦路虎数据增强与切片推理甲骨文检测里实际遇到的第一个拦路虎不是模型结构而是小目标。一块完整的龟甲拓片分辨率能做到几千乘几千像素但单个字往往只有三四十个像素长宽。直接resize到640×640训练字就会被压缩到十几个像素特征基本糊掉。面对这个问题我用了两条腿走路。训练端加大分辨率到1024配合Mosaic增强让模型在不同尺度上学到字形特征推理端则用切片推理也就是SAHI的思路把大图切成一堆512或640大小的瓦片每张瓦片独立推理结果再合并去重。切片之间我习惯留20%到25%的重叠防止字形被瓦片边缘切断。切片推理对小目标召回率的提升是肉眼可见的。我在一个验证集上做过对比切图之前一批小字类的召回率只有0.55左右切图之后能拉到0.78以上。代价是推理时间变长但这是值得的尤其对辅助标注这种离线任务精度优先于速度。另一个需要专门对付的是形近字甲骨文里“日”和“丁”、“口”和“日”在低分辨率下看起来几乎一样。我常用的办法是训练之后专门做一轮难例挖掘把所有误分类样本拎出来人工看一遍把最典型、最常混淆的局部图裁剪出来作为“难负样本”在下一轮训练里额外加入。对置信度接近的两个类别也可以在外面接一个小分类器专门对检测框区域做细分类复核比直接调整模型省事得多。3.4 模型评估看mAP之外还要盯这3个指标常规目标检测项目看mAP50和mAP50-95就够了但甲骨文项目不行。mAP反映的是整体精度水平古文字研究者更关心的是“实用层面”的三个问题。第一是漏检率一张拓片上有哪些字模型没找出来这是最伤考释流程的漏掉一个字意味着研究者要手动在几千像素的大图里重新搜索效率直接崩掉。第二是误检率模型把裂纹、骨质纹理、灼烧痕迹认成了字虽然不致命但会刷屏式干扰专家注意力。第三是类间混淆率模型把“日”认成“口”、把“甲”认成“十”这类错误最隐蔽也最影响结论。实操中我一般都会输出一张混淆矩阵热力图按错误数排序挑出前几对最易混淆的类别针对性补充样本或调整后处理规则。同时项目里要请一位懂古文字的专家做抽检也就是从预测结果里随机抽一批检测框让专家复核记录top-1命中率和确认率。检测模型跑得再准最终判断还要过专家这一关模型的输出和专家认知的匹配度才是这个项目真正意义上的指标。4. 实操过程中的坑与排查实录4.1 一个框框住多个字合并检测问题怎么解训练过程中最常被团队吐槽的就是“模型偷懒”一个检测框把两三个字一起包进去。这个情况在密度较大的拓片区域尤其明显。我先排查标注看是不是真值本身就有不少大框把多个字包进去了如果是先回去规范标注再谈调参。标注没问题之后再看NMS和后处理配置适当的IoU阈值调整可以缓解部分重叠框被合并的问题。但实话实说密集排列场景下强行分离相邻字形本身就是非常困难的任务有时候字形之间只有一两个像素的间距人眼都很难判断边界。我的经验是不要和模型硬刚思路要转一下。对于实在无法干净切分的文字块可以直接把它们当成“合文/粘连字组”这个独立类别来做。甲骨文研究本身就有“合文”概念两个字写在一个格里表达一个固定意义这种组合是值得单独建模的语义单位。把合并检测问题转化为一个合法类别既符合古文字学规范又绕开了模型能力边界。4.2 跨域崩溃在拓片训练好模型一换照片就不行跨域崩溃是甲骨文项目里比较典型的问题。在黑白拓片上训练得很好的模型一拿到文物照片检测率断崖式下跌。原因不难理解拓片是黑底白字或白底黑字纹理单一照片是黄褐色骨质背景有立体反光、有颜色变化还有光影渐变。模型在拓片上学习到的很多“字形”特征其实悄悄混入了背景纹理的统计信息一换域就失效。我处理跨域问题有三招。第一招是混合域训练训练集里拓片和照片按比例混着放比如3比1让模型同时见两个域避免偏向单一风格。第二招是域增强对照片做灰度化、反色、对比度极端扰动模拟拓片的视觉风格对拓片做色调抖动、加入自然骨质纹理模拟照片。第三招是特征可视化排查用t-SNE把模型中间层特征投影出来看拓片样本和照片样本是不是分布在两个完全分离的簇里。如果是说明模型没有学到跨域的共特征就需要更大规模的混合域训练。我见过一些项目把颜色增强翻来覆去做效果却不好原因就是没意识到域差异不只是颜色还有纹理结构层面的差异。4.3 数据不平衡与类别合并策略甲骨文的类别分布天然是长尾的。“王”“其”“吉”这类高频字标注样本可能有几百个一些生僻字、残辞字可能总共只有十几个样例。少数类在训练里很容易被多数类压制损失函数被高频类主导低频类的梯度贡献微弱模型自然就倾向于把所有东西都预测成高频类。我处理长尾问题常用两板斧。第一板斧是类别重采样训练时对低频类别做oversampling让每个epoch里低频类的样本出现次数基本均衡第二板斧是层级化类别合并。具体做法是把低频类先合并成“存疑字/稀有字”这样的粗粒度检测类别模型只需要把它们从背景中分离出来不用细分拿到这些粗粒度检测框之后再对框内小图跑一个细粒度分类模型。这样把“目标检测”和“细分类”解耦每个任务的难度都降低了而且低频类也不会被高频类淹没。我给自己定了一条线每个检测类别至少要有15到20个有效标注框低于这个数量就不要硬塞进检测模型先放进难例库积累。4.4 预标注与工程落地怎么让模型真正进到工作流里模型训练得再准如果只是躺在笔记本里意义也不大。我在甲骨文项目里做得最顺手的一件事是把模型包装成一个“预标注服务”新进来一批拓片跑切片推理生成预标注框专家在CVAT里打开看到的是已经框好、已经标好类别的结果只需要修改错误、补充遗漏。这样一来标注员的日常操作从“从零画几百个框”变成了“改几十处错误”效率提升非常明显也极大提高了数据迭代的速度。工程落地上我一般会把模型导出成ONNX再用TensorRT转成FP16精度在推理服务器上跑。实际优化之后一张2048×2048的大图切片加合并的推理延迟控制在1秒左右能够满足在线交互的需求。质检流程也不要省每一期标注数据里抽出10%的框做双人复核两个人不一致的框直接重新标注最后计算一个标注一致性系数作为这一期数据是否合格的准入标准。这一套流程跑顺之后第10341期这样的编号就不再只是“一批图”而是整个AI辅助研究循环里一个可以长期复用的节点。我自己在做这套流程的时候最深的体会是AI识别甲骨文这件事真正难的从来不是某一个模型的精度而是怎么把模型、数据、专家复核、持续更新这些环节串成一条可信赖的流水线。目标检测模型解决的是“把单字从大图里捞出来”这个脏活累活而整个项目的价值最终是在这条流水线一次次滚动中积累出来的。每一期数据补进去一点模型就聪明一点专家需要动手的地方就少一点。这大概就是这类长期标注项目最让人上头的地方。