简介基于GAN实现复杂背景的文字图像修复是一套完整的Python源码项目面向计算机视觉和图像处理开发者用于解决复杂背景下文字图像的生成式修复问题。项目包含训练脚本trainwork.py和测试脚本testwork.py以及大量图像样本、中文字体文件和预训练模型权重可直接运行或在此基础上进行二次开发。资源共12429个文件总体约176.4MB其中12375张jpg图像构成训练与验证数据集34个ttf字体文件及otf/ttc字体为文字渲染提供支持7个py脚本实现模型定义与训练推理2个pth文件保存预训练参数。包内目录结构清晰便于按需取用。目前已有445人浏览学习适合具备一定深度学习基础、希望将GAN应用于图像修复场景的开发者通过阅读源码和运行测试脚本可以掌握生成对抗网络在文字图像修复中的完整流程包括数据预处理、模型搭建、训练调参及效果验证为研究或工程实践提供直接参考。1. 复杂背景文字图像修复为什么GAN能补出可读的笔画先给一个反直觉的结论文字修复难点从来不在“画出笔画”而在“让模型知道这里缺的是什么笔画”。边角缺损、背景干扰、光照不均叠加在一起时传统图像修复算法会拿周围像素硬填结果背景是连贯了文字却糊成一片。这份基于GAN的文字图像修复项目思路是把“修复”重构成“生成”生成器负责在复杂背景下重建完整文字图像判别器负责判断结果是否足够真实两者对抗训练到收敛后网络学到的不是像素插值而是“这段区域应该长什么样”。项目本体是一个 Python 工程核心包含trainwork.py训练脚本和testwork.py推理脚本另有一批带编号的 JPG 样例图。适合三类人跑过分类或检测模型、想第一次碰 GAN 的工程师要做文档OCR前处理、历史档案修复的算法岗还有需要评估“GAN方案在图像修复任务上到底值不值得上生产”的技术决策者。下面几章按“原理 → 数据 → 训练 → 推理 → 进阶”的顺序把这个工程完全拆开。2. 生成器与判别器从对抗思想到代码结构映射2.1 复杂背景修复为什么需要对抗训练用一个具体场景来说一张街拍照片上有被雨渍遮挡的招牌文字左边被灯箱反光盖住右边笔画又断了一截。传统方法比如 Telea 的 FMM 算法遇到这种情况会从边界向内扩散颜色结果反光区域的文字彻底消失因为算法认为“这里没有边缘信息”。而GAN的做法完全不同——生成器观察整张受损图输出一整张修复图判别器再判断这张图是“真图”还是“生成图”逼迫生成器不仅修好局部还要让整张图像在纹理、亮度和结构上都像自然拍摄的。在这个项目里生成器本质是一个图像到图像的映射网络输入是复杂背景受损文字图输出是高清完整文字图属于条件GANConditional GAN的典型用法。判别器则是一个二分类网络输入的是“真实文字图”或“生成文字图”输出真伪概率。两者交替优化判别器越强生成器的梯度信号越有价值生成器越强判别器的分类难度越大。文字修复任务里最微妙的点在于——生成器光把背景补顺不行“笔画被补齐且可读”才是真正的判别标准而“可读性”很难用像素级损失函数描述必须靠判别器学。2.2 项目文件结构与角色分配拿到computer-vision-main压缩包后先不要急着双击跑先把文件对应关系理清楚。这个工程的文件角色大致如下文件/目录角色说明trainwork.py训练入口加载数据、构建生成器与判别器、执行训练循环、保存权重testwork.py推理入口加载预训练权重、对新图片做修复并输出结果chinese_labels工程残留/辅助文件不影响训练主流程可忽略*.jpg如09708.jpg训练样本复杂背景下的文字图像训练时按目录读取注意chinese_labels在压缩包里是一个 IntelliJ 工程文件很多 CV 项目用 PyCharm 打开后会自动生成这种东西它不是标注文件不要试图解析它当 label 用。真正有用的样本是那批 JPG训练时常见做法是直接把整个图片目录喂进去让网络自己学会“输入受损图 → 输出完整图”的映射而不是依赖外部标注。2.3 训练脚本的核心骨架trainwork.py的结构几乎可以套到所有条件GAN项目上。核心逻辑分四段定义生成器、定义判别器、定义损失与优化器、执行对抗训练循环。一个可复现的骨架如下# trainwork_skel.py # 条件GAN文字修复训练主循环骨架 import torch import torch.nn as nn def build_generator(in_channels3): # 常见做法Encoder-Decoder结构中间跳过连接保留细节 # in_channels3 对应RGB输入out_channels3 输出修复图 gen nn.Sequential( nn.Conv2d(3, 64, kernel_size4, stride2, padding1), # 下采样 nn.ReLU(inplaceTrue), nn.Conv2d(64, 128, kernel_size4, stride2, padding1), nn.ReLU(inplaceTrue), nn.ConvTranspose2d(128, 64, kernel_size4, stride2, padding1), nn.ReLU(inplaceTrue), nn.ConvTranspose2d(64, 3, kernel_size4, stride2, padding1), nn.Tanh() # 输出归一化到[-1,1] ) return gen def build_discriminator(in_channels3): # 条件判别器输入修复图输出真/假概率 dis nn.Sequential( nn.Conv2d(in_channels, 64, kernel_size4, stride2, padding1), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(64, 128, kernel_size4, stride2, padding1), nn.BatchNorm2d(128), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(128, 1, kernel_size4, stride1, padding1), nn.Sigmoid() ) return dis # 初始化 device torch.device(cuda if torch.cuda.is_available() else cpu) G build_generator().to(device) D build_discriminator().to(device) # 损失与优化器 criterion nn.BCELoss() # 对抗损失 l1_loss nn.L1Loss() # 像素重建损失稳定生成器 opt_G torch.optim.Adam(G.parameters(), lr2e-4, betas(0.5, 0.999)) opt_D torch.optim.Adam(D.parameters(), lr2e-4, betas(0.5, 0.999))这段代码的核心参数有三个lr2e-4是 GAN 训练的常用起点比普通分类模型的 1e-3 更保守因为对抗训练对学习率极敏感betas(0.5, 0.999)是 Adam 在 GAN 里的标准配置0.5 的动量能减少震荡Tanh输出配合图像归一化到[-1,1]这是几乎所有图像GAN的通用约定。如果换成Sigmoid输出会导致生成图对比度偏低背景发灰。2.4 对抗训练循环里的更新节奏训练循环里最关键的不是网络结构而是“先更新谁、更新几次”。常见做法是每个 iteration 里先更新判别器再更新生成器。判别器看到的是真实图和生成图各一批loss 分成两项生成器则只用自己的输出去骗判别器。这样交替更新保持双方能力均衡一旦某一方碾压另一方训练就开始失控。# 训练循环每batch更新D一次、更新G一次 for epoch in range(epochs): for real_img, damaged_img in dataloader: real_img real_img.to(device) damaged_img damaged_img.to(device) # 1) 生成修复图 fake_img G(damaged_img) # 2) 训练判别器真图判真、假图判假 D.zero_grad() d_real D(real_img) d_fake D(fake_img.detach()) # detach切断梯度G不参与D的更新 d_loss criterion(d_real, torch.ones_like(d_real)) \ criterion(d_fake, torch.zeros_like(d_fake)) d_loss.backward() opt_D.step() # 3) 训练生成器骗过判别器 像素对齐 G.zero_grad() d_fake D(fake_img) g_adv_loss criterion(d_fake, torch.ones_like(d_fake)) g_l1_loss l1_loss(fake_img, real_img) * lambda_l1 g_loss g_adv_loss g_l1_loss g_loss.backward() opt_G.step()fake_img.detach()是这里最容易写错的一行——如果忘记 detach生成器的梯度会通过判别器的反向传播串回去导致生成器更新时混入判别器的梯度训练立刻不稳定。lambda_l1通常设为 10 到 100 之间它控制重建损失的影响力设太小修复结果失控设太大网络退化成纯 L1 回归背景模糊但笔画清晰失去了对抗补充纹理的意义。3. 数据准备与标签处理300张图怎么撑起一个GAN工程3.1 图片读取与统一尺寸这个项目的训练样本就是那批 JPG。GAN 对数据量其实比分类模型更贪婪——分类模型 300 张图勉强能 fine-tuneGAN 生成器很容易过拟合到“背下”训练集而不是学会修复能力。常见做法是先做数据读取和预处理同时确认所有图都统一尺寸。实拍图尺寸不一直接进网络会出现 BatchNorm 统计量错乱的问题。# data_loader.py # 读取文件夹内所有jpg图片统一resize为256x256并归一化到[-1,1] import os import glob from PIL import Image from torch.utils.data import Dataset import torchvision.transforms as T class TextInpaintingDataset(Dataset): def __init__(self, img_dir, size256): self.paths sorted(glob.glob(os.path.join(img_dir, *.jpg))) self.transform T.Compose([ T.Resize((size, size)), # 统一尺寸 T.ToTensor(), # 转为Tensor并归一化到[0,1] T.Normalize((0.5,) * 3, (0.5,) * 3) # 映射到[-1,1] ]) def __len__(self): return len(self.paths) def __getitem__(self, idx): img Image.open(self.paths[idx]).convert(RGB) img_t self.transform(img) # 当前项目没有显式的受损/完整配对 # 常见做法直接把原图同时作为输入和目标 # 并在训练时额外叠加模拟遮挡。 return img_t, img_t这里的关键设计是“当前项目没有显式 mask 标注”所以先用原图自监督之后再讲如何叠加模拟损坏。如果训练数据本身是“受损图-完整图”成对存在的这个 Dataset 只需要改成读两个目录但既然压缩包里只有普通 JPG就需要在训练时对输入做在线损坏模拟。Normalize((0.5,)*3, (0.5,)*3)是配合生成器输出层Tanh的标准写法像素范围从[0,1]映射到[-1,1]千万别改成mean0.5, std0.5之外的值否则训练出来生成图会整体偏色。3.2 复杂背景模拟没有配对数据时的补救方案如果数据本身是干净完整文字图但项目目标是“修复复杂背景下的文字”你需要自己制造训练对把复杂纹理、噪声、遮挡块贴到干净图上。常见做法是随机生成不规则遮挡区域再叠加高斯噪声和亮度扰动模拟真实世界中的脏污。这个步骤直接决定项目的上限因为 GAN 只能学会你喂给它的缺陷类型。# simulate_damage.py # 随机遮挡 噪声模拟复杂背景下的文字损伤 import torch def simulate_damage(clean_img, mask_ratio0.2): # clean_img: tensor [C,H,W]取值[-1,1] damaged clean_img.clone() _, H, W damaged.shape # 随机生成1~3个矩形遮挡块 num_blocks torch.randint(1, 4, (1,)).item() for _ in range(num_blocks): bh torch.randint(H // 8, H // 3, (1,)).item() bw torch.randint(W // 8, W // 3, (1,)).item() y torch.randint(0, H - bh, (1,)).item() x torch.randint(0, W - bw, (1,)).item() # 用0填充遮挡块对应归一化后的灰度值 damaged[:, y:ybh, x:xbw] 0 # 加轻度高斯噪声 noise torch.randn_like(damaged) * 0.05 damaged torch.clamp(damaged noise, -1, 1) return damaged掩码区域用 0 填充而不是用随机噪声这里有个讲究0 在归一化后对应灰灰色给生成器一个明确的“这里缺失”信号。如果填充成随机噪声生成器会把噪声当成纹理去保留修复结果容易出现“花斑”。mask_ratio0.2是起步值训练后期可以逐步提到 0.3 以上增大难度逼生成器学会更长距离的上下文推理。3.3 标签文件与文件名约定项目里的chinese_labels文件不要花时间研究这类是 IDE 工程配置不是训练标签。真正有用的信息在文件名——09708.jpg这类连续编号暗示这批数据可能是从公开数据集或历史文档扫描件里截取的只是按编号命名没有语义标签。对这种项目你需要的“标签”其实是可读文字内容但当前工程没有提供所以评价修复质量时靠视觉判断和OCR指标辅助而不是有监督分类。3.4 训练集与验证集切分GAN 训练必须做严格的训练/验证切分不要把所有图都放进训练集。原因很实际你需要一个“模型从未见过”的验证集来确认修复能力是学到的不是背下来的。300 张图建议按 8:2 切分验证集单独放一个目录推理时用验证集的图跑testwork.py。# 切分数据建两个目录随机移动20%的图片到val mkdir -p train_images val_images # 用python脚本按比例随机切分 python -c import os, random, shutil files sorted(os.listdir(images)) random.seed(42) random.shuffle(files) split int(len(files) * 0.8) for f in files[:split]: shutil.move(fimages/{f}, train_images/) for f in files[split:]: shutil.move(fimages/{f}, val_images/) 验证集同样要经过相同的预处理和损坏模拟否则验证时模型看到的是“干净数据域”和训练时的“损坏数据域”不匹配指标参考价值会大幅下降。注意随机种子固定为 42 这类值保证切分可复现。4. 训练调参与避坑复杂背景文字修复的五个翻车现场4.1 训练参数推荐表在给出避坑案例之前先放一张可照抄的参数表。这些数值不是唯一解但都是我在类似文字修复任务里调过、能稳定收敛的组合参数推荐值说明图像尺寸256×256再大显存压力大再小文字笔画会被压缩糊掉Batch Size816依赖显存GAN对batch大小敏感不要用1生成器学习率2e-4与Adam betas(0.5,0.999)配套判别器学习率1e-4比生成器低半档防止判别器碾压λ_l110~50重建损失越大笔画越规矩、纹理越平淡Epochs200~300过早停会出现文字笔画残缺但过晚会过拟合优化器Adam比SGD稳定GAN项目几乎默认Adam4.2 翻车现场一判别器 loss 秒归零生成器纹丝不动现象训练刚开始几十个 iteration判别器 loss 直接掉到 0.001 附近生成器 loss 不降反升生成图像是一坨均匀的灰色。原因判别器学得太快轻松区分真实图和生成图生成器拿到的梯度几乎为零。这本质是“判别器过强导致梯度消失”。解决调低判别器学习率到生成器的 1/2 或 1/4例如生成器 2e-4、判别器 1e-4。如果还不奏效在判别器输入上叠加幅度 0.05 的高斯噪声逼迫判别器关注整体结构而不是局部噪声指纹。还有一个办法是给判别器加 Dropout削弱它的分类自信度。4.3 翻车现场二L1 损失占了上风背景模糊、文字发虚现象生成的修复图文字结构位置都对但笔画周围灰蒙蒙一片背景像被磨皮过。对抗损失完全失去了增加锐度的作用。原因lambda_l1设太大生成器发现“把图像修到和原图像素接近”就能拿高分不再费力去骗判别器。L1 本身就是均值倾向的损失会天然把锐利边缘平滑掉。解决把lambda_l1从 100 降到 10让对抗损失重新主导纹理生成。同时观察生成图里文字边缘是否出现“重影”——如果重影严重说明 L1 权重还是高继续降。一个实用技巧是前 50 个 epoch 用高 L1 权重把结构学稳后 50 个 epoch 再降低权重让对抗损失细化纹理。4.4 翻车现场三训练久不收敛loss 曲线震荡成心电图现象loss 曲线上下剧烈跳动训练集上的生成图时而有效时而完全崩坏模型无法稳定改善。原因batch size 太小或学习率太大。GAN 训练的本质是两人博弈学习率过高会让参数在最优解附近反复横跳batch size1 时梯度噪声太大模型无法收敛到纳什均衡。解决先固定 batch size16 跑 100 个 epoch 看趋势如果还震荡检查是否忘了对判别器做谱归一化或者判别器里 BatchNorm 太多导致小 batch 下统计量漂移。我一般把 batch size 提到能承受的最大值再同步调低学习率震荡问题基本能解决。4.5 翻车现场四修复结果有清晰“棋盘格”纹理现象生成图像背景区域出现规则网格状伪影文字笔画周围尤其明显像蒙了一层纱网。原因转置卷积ConvTranspose2d堆叠导致的棋盘伪影。转置卷积在步长大于 1 时会在输出图上产生不均匀重叠这是结构性问题不是训练不充分。解决把生成器里的ConvTranspose2d替换成“上采样 普通卷积”组合即nn.Upsample(scale_factor2, modebilinear)接一层nn.Conv2d。另一个偏方是把转置卷积换成 PixelShuffle效果接近但速度更快。改完结构后从头重新训练伪影会大幅减轻。4.6 翻车现场五换了一批背景风格修复效果断崖式下跌现象训练集里是白底黑字的文档图验证时放一张黄褐色旧报纸照片修复结果完全失灵文字笔画直接被抹平。原因数据分布不匹配。GAN 能学会你训练集里出现的背景组合但没见过的背景纹理它不会自动泛化。解决在数据预处理阶段做背景风格增强——随机调亮度、对比度、色相甚至叠加随机的暗角效果。更狠的做法是周期性在训练里混入真实复杂背景图哪怕图里没有文字也能帮生成器学会“背景连续性”这个先验。5. 推理与效果验证用 testwork.py 跑通全流程并量化结果5.1 推理脚本的核心逻辑训练保存的权重在testwork.py里加载时有一个极其容易翻车的点模型定义必须与训练时完全一致包括网络层数、通道数、是否用了Upsample。常见做法是直接把trainwork.py里的build_generator函数 import 过来而不是在测试脚本里重新写一份结构。任何一处定义的差异都会导致加载权重时尺寸不匹配或者静默畸变。# testwork_infer.py # 加载训练好的生成器权重对单张受损图做修复 import torch import torchvision.transforms as T from PIL import Image from trainwork_skel import build_generator # 直接复用训练时的结构定义 device torch.device(cuda if torch.cuda.is_available() else cpu) G build_generator().to(device) G.load_state_dict(torch.load(best_generator.pth, map_locationdevice)) G.eval() # 关键切换到eval模式关闭Dropout和BatchNorm统计更新 # 预处理 transform T.Compose([ T.Resize((256, 256)), T.ToTensor(), T.Normalize((0.5,) * 3, (0.5,) * 3) ]) damaged_img Image.open(val_images/09708.jpg).convert(RGB) input_tensor transform(damaged_img).unsqueeze(0).to(device) with torch.no_grad(): # 推理模式不计算梯度 repaired G(input_tensor) # 反归一化回[0,1]并保存 repaired_img (repaired.squeeze(0).cpu().permute(1, 2, 0) * 0.5 0.5).clamp(0, 1) repaired_pil T.ToPILImage()(repaired_img.permute(2, 0, 1)) repaired_pil.save(repaired_output.png)这里的G.eval()是最大的隐性坑——很多人在推理脚本里忘了写BatchNorm 层会继续用当前 batch 的统计量而非训练集统计量导致输出颜色整体偏暗或偏亮。另一个细节是map_locationdevice在无 GPU 机器上加载 GPU 训练的权重时必须加这个参数否则报“键名不匹配”的错误。torch.no_grad()不仅省内存更重要的是防止意外把推理图变成计算图导致显存泄漏。5.2 修复效果的三层验证法单张图肉眼看个大概是不够的我通常跑完推理后做三层验证。第一层是视觉的“并排对比法”——把原图、受损图、修复图拼成一张三联图重点看三个位置文字笔画是否连贯、背景纹理是否有断裂带、修复区和原图区域之间有没有色差。第二层是数值的 PSNR 与 SSIM——PSNR 衡量像素级接近程度SSIM 衡量结构相似性后者对文字修复更关键。手动实现如下# evaluate.py # 计算修复图与原图的PSNR/SSIM from skimage.metrics import structural_similarity as ssim_metric import numpy as np def calc_psnr(img1, img2, max_val1.0): # 输入为[0,1]浮点图计算峰值信噪比 mse np.mean((img1 - img2) ** 2) if mse 0: return 100.0 return 10 * np.log10(max_val ** 2 / mse) def calc_ssim(img1, img2): # 单通道灰度SSIM多通道需逐通道计算后取均值 return ssim_metric(img1, img2, data_range1.0) # 使用示例将原图和修复图都转成灰度 orig_gray np.array(original.convert(L)) / 255.0 rep_gray np.array(repaired_pil.convert(L)) / 255.0 print(fPSNR: {calc_psnr(orig_gray, rep_gray):.2f} dB) print(fSSIM: {calc_ssim(orig_gray, rep_gray):.4f})PSNR 高于 30dB 说明像素级还原不错SSIM 高于 0.85 说明结构保持良好。但如果PSNR很高而SSIM不高说明图像偏向“糊但平均误差小”这往往是 L1 权重过高导致的需要回去调参。第三层是功能性验证——把修复图丢进一个现成的OCR引擎看识别结果是否比受损图更准确。这个验证方式最贴近实际业务场景用户不管PSNR数值只管文字能不能被读出来。5.3 批量推理与数据管线对接单张图跑通后需要把推理脚本扩展成批量处理模式。常见做法是遍历整个验证集目录把结果输出到统一目录同时生成一张对比报告表。# batch_infer.py # 批量推理核心逻辑 import os, glob from PIL import Image os.makedirs(repaired_batch, exist_okTrue) results [] for img_path in sorted(glob.glob(val_images/*.jpg)): # 对每张图重复单张推理流程 damaged_img Image.open(img_path).convert(RGB) input_tensor transform(damaged_img).unsqueeze(0).to(device) with torch.no_grad(): repaired G(input_tensor) # 反归一化并保存 # ... # 计算指标记录到results列表 results.append({ image: os.path.basename(img_path), psnr: calc_psnr(orig_gray, rep_gray), ssim: calc_ssim(orig_gray, rep_gray) }) # 按SSIM排序输出最差5张用于人工检查 results.sort(keylambda x: x[ssim]) for r in results[:5]: print(f{r[image]}: PSNR{r[psnr]:.2f}, SSIM{r[ssim]:.4f})输出“最差5张”而不是平均指标是我做GAN项目的一个固定习惯。平均指标会被优秀的样本拉高掩盖个别图的灾难性失败GAN最忌讳的就是“95%的图修好了5%的图修出了诡异内容”在生产环境里那5%会带来最严重的信任问题。6. 进阶技巧普通GAN到可用工程的三步跃迁6.1 用特征匹配损失抑制模式坍塌模式坍塌是GAN在文字修复里最隐蔽的失败模式——表面上生成图都有模有样但仔细对比会发现所有修复结果都长得差不多尤其文字笔画被统一成一种“标准手写体”失去了原始字体风格。检测方法是随机抽20张生成图计算它们两两之间的像素差和差值极小就说明模式坍塌。常见解法是给生成器加一个特征匹配损失取判别器中间层的特征让生成图的特征和真实图的特征尽量靠近而不是只看最终判别概率。这个改动代码量很少但对保持字体多样性有效。6.2 权重快照机制给翻车留后悔药GAN训练过程中的权重不是越往后越好经常出现第150个epoch收敛良好、第160个epoch突然崩盘的情况。从那以后我每次跑GAN训练都强制保存每20个epoch的权重快照而不是只留最后一份。实践里“倒数第三份”往往是效果最好的。同时把训练曲线的生成图每隔固定步数输出一张拼接预览图这样即使训练崩了也能从预览图里判断崩掉的原因是参数跑飞还是数据问题。6.3 迁移学习的边界与正确用法如果训练样本量不到几百张从头训练GAN效果不会理想常见做法是用 PhotoShop 类工具生成大量合成训练对或者加载在 ImageNet 上预训练的编码器作为生成器骨干。但迁移学习和“直接用别人训练好的修复模型”是两码事——原项目GAN学到的修复模式是针对其训练数据分布的直接套在你的业务图上几乎必然失真。正确用法是加载预训练权重作为初始化用你自己的数据继续训练30~50个epoch微调这个过程能让模型快速对齐你的背景风格和文字形态。这个项目作为GAN入门到实战的桥梁恰到好处结构简单不烧显卡但覆盖了条件GAN的完整链路。如果你手里恰好有历史文档、票据扫描件或者街景招牌这类“复杂背景文字缺损”的数据按第二章到第五章的流程把脚本跑一遍就能快速判断GAN方案在你的场景里是否值得继续投入。最后一点个人经验收个尾对待GAN项目永远不要因为“字面看起来修好了”就宣布成功把修复图放大到200%检查笔画边缘你总会发现肉眼漏掉的问题。从那以后我每次做文字修复评估都强制走一遍“单图放大检查 → 批量最差样本检查 → OCR识别验证”三个循环这套流程比调参本身更能救命。希望帮到你。本文还有配套的精品资源点击获取