1. 项目概述为什么图片去重是个“技术活”做内容管理、电商运营或者搞爬虫的朋友估计都遇到过这个头疼事硬盘里、数据库里一堆看起来差不多但又不太一样的图片。手动删吧眼花缭乱还容易误删放着不管吧又占空间又影响检索效率。我之前处理一个图片素材库几十万张图里肉眼可见的重复和高度相似的就占了快15%这存储成本和维护工作量一下子就上来了。所以“图片去重”听起来简单不就是找一样的图删掉吗但真做起来你会发现这里头门道不少。是找完全一模一样的文件字节级相同还是找视觉内容相似的图片后者就复杂了比如同一张图的不同尺寸、不同压缩质量、加了水印、调了亮度甚至只是裁剪了一下人眼觉得是“同一张”但计算机比对二进制数据那就是完全不同的文件。这时候就需要更智能的“感知哈希”或者特征编码技术。Python生态里imagededup这个库就是专门干这个的。它封装了几种主流的图像哈希和特征编码算法让你用几行代码就能搭建一个去重流水线。网上教程很多但大多停留在“跑通demo”的层面。今天我想结合我趟过的坑带你从原理到实战尤其是那些配置细节和性能调优把这个工具吃透。我们不止要“会用”更要明白“为什么这么用”以及“怎么用得更好”。2. 核心原理拆解imagededup的“三板斧”imagededup本质上提供了三种核心的图片比对策略理解它们是你正确选型和调参的基础。2.1 感知哈希速度与泛化能力的平衡感知哈希Perceptual Hash的目标是将图片内容“浓缩”成一个固定长度的、二进制的“指纹”哈希值。内容相似的图片其哈希值也相似。衡量相似度的方式是计算两个哈希值的汉明距离Hamming Distance即两个等长字符串在对应位置上不同字符的个数。imagededup主要支持以下几种哈希算法平均哈希Average Hash, aHash将图片缩放至8x8像素转换成灰度图计算所有像素的平均灰度值然后将每个像素的灰度值与平均值比较大于等于记为1小于记为0生成一个64位的二进制哈希值。优点计算极其简单快速对亮度变化有一定鲁棒性。缺点对图片的细节变化非常敏感比如稍微裁剪或旋转哈希值可能天差地别。感知哈希Perceptual Hash, pHash在aHash的基础上更进一步。它使用离散余弦变换DCT将图片从空间域转换到频率域只保留低频部分因为人眼对低频信息更敏感。通常取8x8的DCT系数矩阵左上角的8x8区域低频部分计算均值后生成哈希。这个过程更符合“感知”。优点比aHash更健壮能容忍图片的缩放、轻微的色彩调整、对比度变化以及小的修改如添加简单水印。缺点计算量比aHash大但依然是轻量级的。差异哈希Difference Hash, dHash关注相邻像素的梯度变化。将图片缩放至9x8像素宽高比注意转换成灰度图。然后逐行比较相邻像素的灰度值如果后一个像素比前一个亮记为1否则记为0得到一个64位哈希值。优点对图片的亮度整体变化不敏感因为关注的是相对差异。计算速度也很快。缺点对图片的旋转和透视变换比较脆弱。注意哈希方法生成的哈希值是二进制的0和1。imagededup在内部会将其转换为64位整数存储和计算汉明距离。汉明距离越小图片越相似。通常距离为0表示完全一致或感知上完全一致距离在10以内可以认为是高度相似但这个阈值需要根据你的数据集调整。2.2 卷积神经网络特征编码精准但“沉重”对于哈希方法搞不定的复杂情况比如同一场景的不同构图、同一物体的不同角度拍摄就需要更强大的特征提取能力。imagededup提供了基于CNN卷积神经网络的特征编码方法。它默认使用在ImageNet上预训练的模型如ResNet50、VGG16等来提取图片的特征。将图片输入网络取倒数第二层通常是全连接层之前的输出作为一个高维向量例如ResNet50是2048维。这个向量包含了图片的高级语义信息。相似度计算不再是汉明距离而是余弦相似度或欧氏距离。余弦相似度关注向量的方向值越接近1越相似欧氏距离关注向量空间中的绝对距离值越小越相似。优点精度高。对复杂的图像变换如裁剪、旋转、滤镜、视角变化有极强的鲁棒性更能理解图像的“语义内容”。缺点速度慢每张图片都需要经过神经网络的前向传播计算开销远大于哈希。资源消耗大需要加载预训练模型占用较多内存。阈值难调高维特征空间中的相似度阈值不像汉明距离那样直观0-64需要更多实验来确定。2.3 孪生网络为“相似”而生的专业户这是imagededup中的高级功能。孪生网络Siamese Network是一种特殊的神经网络架构它包含两个或多个相同的子网络共享权重分别接收不同的输入然后学习一个“距离度量”使得相似样本的距离小不相似样本的距离大。imagededup中集成的孪生网络通常是预训练好的专门用于计算图片对的相似度得分。优点在特定的、需要精细衡量相似度的任务上可能比通用的CNN特征更准确。缺点使用更复杂通常需要特定的输入格式图片对且模型可能更专用泛化性需要考察。对于大规模去重其效率可能是个问题。如何选择这里有个简单的决策流如果你的图片库主要是完全重复或仅经过简单处理缩放、压缩、轻微调色首选哈希方法pHash或dHash速度飞快。如果你的图片库内容多样存在构图变化、裁剪、复杂滤镜等情况且对去重精度要求高选择CNN编码但要做好性能预算。孪生网络通常用于特定领域的精细匹配比如人脸验证、商品图匹配在通用去重中不如前两者常用。3. 环境部署与实战准备理论懂了手要跟上。我们先来把环境和数据准备好。3.1 创建纯净的Python环境强烈建议使用虚拟环境避免包冲突。我习惯用conda用venv也一样。# 使用 conda conda create -n imagededup-demo python3.9 conda activate imagededup-demo # 或者使用 venv python -m venv imagededup-env # Windows imagededup-env\Scripts\activate # Linux/Mac source imagededup-env/bin/activate3.2 安装imagededup及其依赖安装imagededup本身很简单但要注意它的一些依赖特别是TensorFlow/PyTorch如果你用CNN方法可能需要根据你的系统单独处理。# 基础安装这会安装哈希方法的所有依赖 pip install imagededup # 如果你想使用CNN方法需要额外安装深度学习框架。 # imagededup 默认使用 TensorFlow 作为后端。推荐安装 CPU 版本以轻量化起步。 pip install tensorflow # 或者如果你有NVIDIA GPU并配置了CUDA可以安装GPU版本以加速 # pip install tensorflow-gpu # 验证安装 python -c import imagededup; print(imagededup.__version__)踩坑记录1TensorFlow版本兼容性。imagededup的某些版本可能对TensorFlow版本有要求。如果遇到导入错误可以尝试指定版本安装例如pip install tensorflow2.10.0。查看imagededup的官方文档或setup.py了解其声明的兼容范围。3.3 准备你的图片数据集在项目目录下创建一个文件夹来存放待去重的图片例如./images_to_deduplicate。你可以把各种格式jpg, png等的图片放进去。为了演示我们可以用一个小脚本生成一些“重复”图片。# generate_demo_images.py from PIL import Image, ImageFilter, ImageEnhance import os # 创建图片目录 os.makedirs(./images_to_deduplicate, exist_okTrue) # 1. 原始图片 original_img Image.new(RGB, (300, 200), colorskyblue) original_img.save(./images_to_deduplicate/original.jpg) # 2. 完全相同的副本字节级重复 original_img.save(./images_to_deduplicate/duplicate_exact.jpg) # 3. 调整亮度模拟不同设备拍摄 bright_img ImageEnhance.Brightness(original_img).enhance(1.3) bright_img.save(./images_to_deduplicate/duplicate_bright.jpg) # 4. 轻微高斯模糊模拟压缩损失 blur_img original_img.filter(ImageFilter.GaussianBlur(radius1)) blur_img.save(./images_to_deduplicate/duplicate_blur.jpg) # 5. 缩放尺寸小图 small_img original_img.resize((150, 100), Image.Resampling.LANCZOS) small_img.save(./images_to_deduplicate/duplicate_small.jpg) # 6. 添加简单文字水印模拟带标记的图 from PIL import ImageDraw, ImageFont watermarked_img original_img.copy() try: draw ImageDraw.Draw(watermarked_img) # 尝试使用默认字体或指定一个字体文件路径 font ImageFont.load_default() draw.text((10, 10), Sample, fillwhite, fontfont) except Exception as e: print(f字体加载失败使用默认: {e}) watermarked_img.save(./images_to_deduplicate/duplicate_watermark.jpg) # 7. 一张完全不同的图片 diff_img Image.new(RGB, (300, 200), colorsalmon) diff_img.save(./images_to_deduplicate/different.jpg) print(演示图片生成完毕)运行这个脚本你会在目录下得到7张图其中前6张在视觉上是相似或相关的最后1张完全不同。这构成了我们测试的完美数据集。4. 实战演练从哈希到CNN的完整去重流程现在我们进入核心操作环节。我会分别演示哈希方法和CNN方法并对比结果。4.1 方法一使用感知哈希pHash进行去重我们以最常用的pHash为例。# deduplicate_with_phash.py from imagededup.methods import PHash from imagededup.utils import plot_duplicates import os import pandas as pd import time # 初始化PHash编码器 phasher PHash() # 1. 为目录中的所有图片生成哈希编码 print(开始生成哈希编码...) start_time time.time() # encode_images 会递归地处理指定目录下的所有图片 encodings phasher.encode_images(image_dir./images_to_deduplicate) encoding_time time.time() - start_time print(f编码完成耗时 {encoding_time:.2f} 秒共处理 {len(encodings)} 张图片。) # 2. 基于编码寻找重复图片 # find_duplicates 返回一个字典key是图片文件名value是一个列表包含所有重复图片的文件名。 # max_distance_threshold 是关键参数默认是10。 print(\n开始查找重复项汉明距离阈值10...) start_time time.time() duplicates phasher.find_duplicates(encoding_mapencodings, max_distance_threshold10) finding_time time.time() - start_time print(f查找完成耗时 {finding_time:.2f} 秒。) # 3. 查看结果 print(\n发现的重复组每组显示一个代表文件及其重复项) for key, dup_list in duplicates.items(): if dup_list: # 只显示有重复项的 print(f{key} - {dup_list}) # 4. 可视化一组重复图片例如以original.jpg为基准 plot_duplicates(image_dir./images_to_deduplicate, duplicate_mapduplicates, filenameoriginal.jpg) # 5. 可选获取更结构化的结果便于后续处理 # find_duplicates_to_remove 返回一个建议删除的图片列表避免重复删除每组只保留一个 print(\n获取建议删除的文件列表...) files_to_delete phasher.find_duplicates_to_remove(encoding_mapencodings, max_distance_threshold10) print(f建议删除 {len(files_to_delete)} 个文件: {files_to_delete}) # 6. 尝试不同的阈值观察结果变化 print(\n--- 尝试不同阈值 ---) for threshold in [5, 15, 20]: print(f\n阈值 {threshold}:) dup_test phasher.find_duplicates(encoding_mapencodings, max_distance_thresholdthreshold) dup_count sum(len(v) for v in dup_test.values() if v) print(f 发现的重复关系总数: {dup_count})运行这段代码你会看到输出。在我的测试中pHash成功地将original.jpg,duplicate_exact.jpg,duplicate_bright.jpg,duplicate_blur.jpg,duplicate_small.jpg识别为一组汉明距离在10以内。duplicate_watermark.jpg因为添加了明显的文字可能距离会稍大取决于阈值。different.jpg则完全不会被关联。plot_duplicates函数会弹出一个窗口直观地展示original.jpg和它找到的重复图片。4.2 方法二使用CNN编码进行去重当哈希方法力有不逮时就该CNN上场了。# deduplicate_with_cnn.py from imagededup.methods import CNN import time # 初始化CNN编码器默认使用预训练的ResNet50 cnn_encoder CNN() # 1. 生成CNN特征编码 print(开始生成CNN特征编码这可能需要一些时间...) start_time time.time() # 注意这里没有指定模型名称使用默认的ResNet50 encodings_cnn cnn_encoder.encode_images(image_dir./images_to_deduplicate) encoding_time time.time() - start_time print(fCNN编码完成耗时 {encoding_time:.2f} 秒。) # 2. 查找重复项 # CNN方法使用余弦相似度min_similarity_threshold 是相似度下限默认0.9。 print(\n开始查找重复项最小相似度阈值0.9...) start_time time.time() duplicates_cnn cnn_encoder.find_duplicates(encoding_mapencodings_cnn, min_similarity_threshold0.9) finding_time time.time() - start_time print(f查找完成耗时 {finding_time:.2f} 秒。) # 3. 查看结果 print(\nCNN方法发现的重复组) for key, dup_list in duplicates_cnn.items(): if dup_list: # CNN返回的dup_list是元组列表 [(filename, similarity), ...] dup_names [f{fname}({sim:.2f}) for fname, sim in dup_list] print(f{key} - {dup_names}) # 4. 尝试不同阈值 print(\n--- 尝试不同相似度阈值 ---) for threshold in [0.85, 0.95, 0.98]: print(f\n阈值 {threshold}:) dup_test cnn_encoder.find_duplicates(encoding_mapencodings_cnn, min_similarity_thresholdthreshold) dup_count sum(len(v) for v in dup_test.values() if v) print(f 发现的重复关系总数: {dup_count})运行后你会发现CNN方法可能表现得更加“智能”。它很可能将带水印的图片也以很高的相似度比如0.92关联到原始图片组因为它理解水印是叠加的次要信息图片主体内容蓝色背景是相同的。而对于different.jpg相似度会非常低。实操心得1编码缓存。无论是哈希还是CNNencode_images步骤都是最耗时的尤其是CNN。imagededup的编码器支持将编码结果保存到文件下次可以直接加载避免重复计算。# 保存编码 import json with open(./image_encodings.json, w) as f: json.dump(encodings, f) # encodings 本身是字典可序列化 # 加载编码 with open(./image_encodings.json, r) as f: loaded_encodings json.load(f) # 注意CNN编码是numpy数组的列表json.dump需要额外处理如用.tolist()建议用pickle保存numpy对象。4.3 结果分析与方案选择通过对比我们可以得出一些结论速度哈希方法秒级完胜CNN方法可能数十秒甚至更长取决于图片数量和硬件。精度对于简单的衍生图缩放、调色两者都能很好处理。对于内容保持但添加了显著外部元素大水印、边框或复杂几何变换的图片CNN方法通常更鲁棒。资源哈希方法几乎无额外资源要求。CNN方法需要加载模型占用数百MB内存且依赖深度学习框架。阈值哈希的阈值汉明距离0-64相对直观。CNN的阈值余弦相似度0-1需要更多实验来把握0.9是一个常见的宽松起点0.95-0.98会更严格。给你的建议先用pHash跑一遍。如果它能解决你80%的问题比如清理完全重复和简单处理的图片那么它的性价比是最高的。将剩下的“疑难杂症”图片比如pHash没抓出来的、你认为应该算重复的单独拿出来再用CNN方法对小范围数据进行二次处理。这种“哈希粗筛 CNN精筛”的混合策略在实践中非常有效。5. 性能优化与大规模处理技巧当图片量上升到万级、十万级直接使用默认方法可能会遇到性能和内存问题。下面是一些优化策略。5.1 编码阶段的优化多进程/多线程编码encode_images函数本身是单进程的。对于大量图片我们可以手动并行。from concurrent.futures import ProcessPoolExecutor, as_completed from imagededup.methods import PHash import os def encode_single_image(encoder, image_path): # 注意PHash实例不能在进程间直接传递需要在每个进程内创建 # 这里传递的是图像路径在每个worker里重新初始化编码器并编码单张图 # 但更高效的做法是批量处理文件列表下面是一个简化示例思路 local_encoder PHash() # 实际上encode_images支持传入图像文件列表我们可以分割列表 pass # 更实用的做法分割图像文件列表使用encoder.encode_images(图像列表) phasher PHash() all_image_files [os.path.join(./images_to_deduplicate, f) for f in os.listdir(./images_to_deduplicate) if f.lower().endswith((.jpg, .png))] # 将列表分成4份 n_chunks 4 chunks [all_image_files[i::n_chunks] for i in range(n_chunks)] from multiprocessing import Pool def encode_chunk(chunk): # 每个进程有自己的编码器实例 encoder PHash() return encoder.encode_images(image_listchunk) # 注意encode_images 也支持传入文件路径列表 with Pool(processes4) as pool: results pool.map(encode_chunk, chunks) # 合并结果 final_encodings {} for encoding_dict in results: final_encodings.update(encoding_dict)注意CNN编码器由于涉及模型加载在多进程中每个进程都需要加载一次模型可能得不偿失。可以考虑使用多线程ThreadPoolExecutor但Python的GIL可能会限制CPU密集型操作。对于CNN更好的办法是使用批处理encode_images内部已优化并利用GPU。增量编码与缓存如前所述一定要将编码结果encoding_map保存下来JSON或Pickle。当新增图片时只需对新图片进行编码然后合并到已有的编码字典中再重新运行find_duplicates。imagededup本身不提供增量更新重复关系需要自己实现。5.2 查找重复阶段的优化find_duplicates函数在内部会计算每对图片之间的距离这是一个O(n²)复杂度的操作虽然有一些优化。对于海量图片例如10万张即使计算很快内存也可能撑不住。分块处理Chunking将图片分成多个批次块。首先在每个块内部查找重复项然后抽取每个块的代表性编码例如每个重复组留一个再在这些代表之间进行块与块的重复查找。这需要自定义算法imagededup没有直接提供。思路假设有10万张图分成100个块每块1000张。块内两两比对是10001000量级。块间比对如果每个块平均剩下800个代表去重后那么就是800800*100不对是100个块的代表集之间两两比对复杂度依然高。更常见的工业级方案是使用局部敏感哈希LSH或向量数据库。使用近似最近邻搜索ANN对于CNN生成的高维向量精确的两两比对成本极高。此时应引入ANN算法如FaissFacebook、AnnoySpotify或Scikit-learn的NearestNeighbors使用algorithmball_tree或kd_tree。imagededup目前没有集成ANN你需要自己提取编码后送入这些库进行高效检索。# 伪代码思路 from sklearn.neighbors import NearestNeighbors import numpy as np # encodings_cnn 是字典filename - 特征向量 filenames list(encodings_cnn.keys()) feature_vectors np.array(list(encodings_cnn.values())) # 形状 (n_samples, n_features) # 构建索引 nbrs NearestNeighbors(n_neighbors10, metriccosine, algorithmbrute).fit(feature_vectors) # 查找每个向量的最近邻 distances, indices nbrs.kneighbors(feature_vectors) # 根据阈值筛选重复项 threshold 0.1 # 余弦距离阈值注意是距离不是相似度 duplicates {} for i, (dist_list, idx_list) in enumerate(zip(distances, indices)): # 排除自己距离为0 dup_idx idx_list[dist_list 0 dist_list threshold] if len(dup_idx) 0: duplicates[filenames[i]] [filenames[j] for j in dup_idx]这种方法将复杂度从O(n²)降低到O(n log n)级别适合百万级数据。5.3 存储与I/O优化使用SSD图片编码需要大量读文件固态硬盘能极大提升速度。预处理图片如果图片尺寸非常大如超过2000x2000可以在编码前先将其缩放到一个合理的大小如512x512。对于哈希和CNN这既能提速又基本不影响精度因为算法本身就会内部缩放。from PIL import Image import os def preprocess_image(image_path, target_size(512, 512)): with Image.open(image_path) as img: img img.convert(RGB) # 确保统一通道 img.thumbnail(target_size, Image.Resampling.LANCZOS) # 保持长宽比缩放 # 保存到临时目录或覆盖原图谨慎 preprocessed_path os.path.join(./preprocessed, os.path.basename(image_path)) img.save(preprocessed_path) return preprocessed_path然后在encode_images时指定预处理后的目录。6. 常见问题与排查技巧实录在实际使用中你肯定会遇到各种报错和意外情况。这里记录了几个我踩过的坑和解决方法。6.1 编码阶段报错“UnidentifiedImageError”或“OSError”问题在encode_images时程序因某张图片崩溃。原因图片文件可能已损坏、格式怪异、或者PIL库无法解析。解决使用PIL的Image.open()进行预检和过滤。from PIL import Image import os valid_extensions (.jpg, .jpeg, .png, .bmp, .gif, .tiff) valid_images [] for img_file in os.listdir(image_dir): if img_file.lower().endswith(valid_extensions): try: with Image.open(os.path.join(image_dir, img_file)) as img: img.verify() # 验证文件完整性 valid_images.append(img_file) except (IOError, SyntaxError, OSError) as e: print(f损坏或无法识别的图片: {img_file}, 错误: {e}) # 可以选择移动或删除损坏文件 # os.remove(os.path.join(image_dir, img_file)) # 然后只对 valid_images 列表中的文件进行编码 encodings phasher.encode_images(image_list[os.path.join(image_dir, f) for f in valid_images])6.2 内存不足Memory Error问题处理大量图片尤其是使用CNN方法时内存爆了。解决分批次编码不要一次性编码整个目录。将文件列表分成小批编码一批保存一批到文件或数据库清空变量再处理下一批。使用生成器encode_images支持传入一个图像文件路径的迭代器理论上可以流式处理但要注意它内部可能还是会累积数据。最稳妥的还是手动分批次。降低CNN模型复杂度CNN类初始化时可以指定model_name尝试使用更小的模型如MobileNet代替ResNet50。from imagededup.methods import CNN cnn_small CNN(model_namemobilenet_v2_1.0_224)释放模型处理完一个批次后如果可能删除编码器实例以释放GPU/内存。6.3 重复查找结果不理想漏报或误报问题该找的没找到不该找的却凑成了一对。排查检查阈值这是首要怀疑对象。用一小批已知关系的图片如我们生成的演示集做测试画出“距离/相似度”的分布直方图观察重复图和非重复图的分布边界从而确定一个合理的阈值。import matplotlib.pyplot as plt import numpy as np # 假设我们有一个已知的重复对列表 duplicate_pairs 和非重复对列表 non_duplicate_pairs # 计算这些对的汉明距离或余弦相似度 duplicate_distances [calculate_distance(pair) for pair in duplicate_pairs] non_duplicate_distances [calculate_distance(pair) for pair in non_duplicate_pairs] plt.hist(duplicate_distances, alpha0.5, labelDuplicates, bins20) plt.hist(non_duplicate_distances, alpha0.5, labelNon-duplicates, bins20) plt.xlabel(Distance) plt.ylabel(Frequency) plt.legend() plt.show()检查图片预处理确认你的图片是否经过了奇怪的转换如过度压缩、奇怪的色彩空间。确保输入imagededup的图片是标准的RGB格式。尝试不同算法如果pHash不行试试dHash或CNN。不同算法对不同类型的图像变换敏感度不同。考虑后处理对于CNN方法如果两个图片语义相似但你不希望它们被归为重复比如同一款鞋的不同颜色算法是无能为力的。这需要更高级的、带有业务逻辑的后处理或者在特征提取时使用针对性的模型。6.4 速度太慢问题处理几万张图等得太久。解决确保使用了哈希方法如果精度可以接受CNN不是必须的。并行编码如5.1节所述对哈希方法使用多进程。使用更快的哈希在aHash, pHash, dHash中aHash最快dHash次之pHash稍慢。如果aHash能满足需求就用它。硬件升级使用SSD增加内存。对于CNN使用GPUCUDA会有质的飞跃。确保安装了tensorflow-gpu且CUDA驱动正确。抽样处理如果数据量巨大可以先随机抽样一部分比如10%进行去重根据结果评估阈值和算法再应用到全量。或者按时间、目录等维度分批处理。6.5 如何实现“软删除”或“移动”而非直接删除imagededup只给出重复文件列表。直接删除是危险的。建议流程使用find_duplicates_to_remove获取建议删除的列表。不要直接os.remove而是将它们移动到另一个“待审查”或“回收站”目录。可以创建一个日志文件记录每张被移动的图片以及它和哪张图片重复依据find_duplicates的结果。定期人工审查“回收站”目录确认无误后再永久删除。import shutil import os files_to_remove phasher.find_duplicates_to_remove(...) backup_dir ./duplicates_backup os.makedirs(backup_dir, exist_okTrue) log [] for file_to_remove in files_to_remove: src_path os.path.join(image_dir, file_to_remove) dst_path os.path.join(backup_dir, file_to_remove) # 找出它是谁的重复 original_for_this None for orig, dup_list in duplicates.items(): if file_to_remove in dup_list: original_for_this orig break log.append(fMoved: {file_to_remove} (duplicate of {original_for_this})) shutil.move(src_path, dst_path) with open(./deduplication_log.txt, w) as f: f.write(\n.join(log))7. 进阶应用与集成思路掌握了基础操作我们可以看看如何把它集成到更大的系统中或者解决更复杂的问题。7.1 构建一个简单的重复图片搜索引擎有时候我们不仅想批量去重还想有一个工具给定一张新图片能快速从图库中找出它的“疑似重复”项。# simple_image_search.py from imagededup.methods import PHash import os import json class SimpleImageDeduplicationSearch: def __init__(self, image_dir, methodphash, threshold10): self.image_dir image_dir self.method method self.threshold threshold self.encoder PHash() if method phash else CNN() # 简单示例用PHash self.encodings None self._load_or_build_index() def _load_or_build_index(self): index_file f./index_{self.method}.json if os.path.exists(index_file): print(f加载已有索引: {index_file}) with open(index_file, r) as f: self.encodings json.load(f) else: print(构建新索引...) self.encodings self.encoder.encode_images(image_dirself.image_dir) with open(index_file, w) as f: json.dump(self.encodings, f) print(f索引已保存至: {index_file}) def search_duplicates(self, query_image_path): 搜索与查询图片重复的图片 if not os.path.exists(query_image_path): return [] # 编码查询图片 query_encoding self.encoder.encode_image(query_image_path) # 在索引中查找 duplicates self.encoder.find_duplicates(encoding_mapself.encodings, max_distance_thresholdself.threshold, scoresTrue) # 返回距离分数 # 注意find_duplicates是针对索引内图片两两比较的。 # 我们需要的是查询图片与索引的对比。这里用encoder._get_nearest_neighbors更合适但它是内部方法。 # 我们手动计算查询图片与库中每张图的距离 from imagededup.utils import _get_hamming_distance results [] for lib_image, lib_encoding in self.encodings.items(): # 注意lib_encoding 可能是整数哈希或列表CNN特征 if self.method phash: dist _get_hamming_distance(query_encoding, lib_encoding) if dist self.threshold and dist 0: # 排除自己如果查询图已在库中 results.append((lib_image, dist)) # 按距离排序 results.sort(keylambda x: x[1]) return results def add_image_to_index(self, new_image_path): 向索引中添加新图片 new_encoding self.encoder.encode_image(new_image_path) filename os.path.basename(new_image_path) self.encodings[filename] new_encoding # 更新索引文件 index_file f./index_{self.method}.json with open(index_file, w) as f: json.dump(self.encodings, f) print(f已添加图片 {filename} 到索引。) # 使用示例 if __name__ __main__: searcher SimpleImageDeduplicationSearch(./images_to_deduplicate, threshold10) # 搜索一张新图片假设不在库中但内容相似 query_result searcher.search_duplicates(./my_new_image.jpg) print(f找到 {len(query_result)} 个潜在重复项:) for img, dist in query_result[:5]: # 显示前5个 print(f {img} (距离: {dist}))这个示例提供了一个基础的框架你可以扩展它比如加入CNN支持、使用数据库存储索引、提供Web接口等。7.2 与工作流集成监听文件夹自动去重你可以使用Python的watchdog库监听某个文件夹当有新图片加入时自动触发编码并与现有图库进行比对实现近实时的去重。# watchdog_deduplicator.py (简化示例) from watchdog.observers import Observer from watchdog.events import FileSystemEventHandler from imagededup.methods import PHash import time import os class DeduplicationHandler(FileSystemEventHandler): def __init__(self, watch_dir, library_encodings): self.watch_dir watch_dir self.library_encodings library_encodings self.encoder PHash() self.threshold 10 def on_created(self, event): if not event.is_directory and event.src_path.lower().endswith((.png, .jpg, .jpeg)): print(f检测到新文件: {event.src_path}) time.sleep(1) # 等待文件完全写入 self.process_new_image(event.src_path) def process_new_image(self, image_path): try: new_encoding self.encoder.encode_image(image_path) # 与图库比对 duplicates_found [] for lib_name, lib_encoding in self.library_encodings.items(): dist self.encoder._get_hamming_distance(new_encoding, lib_encoding) # 使用内部方法注意版本兼容性 if dist self.threshold: duplicates_found.append((lib_name, dist)) if duplicates_found: print(f警告: 新图片 {os.path.basename(image_path)} 可能与以下图片重复:) for lib_name, dist in duplicates_found: print(f - {lib_name} (距离: {dist})) # 自动移动到待处理文件夹 # shutil.move(image_path, ./pending_review/ os.path.basename(image_path)) else: print(f新图片 {os.path.basename(image_path)} 是唯一的已加入图库索引。) # 加入图库索引 self.library_encodings[os.path.basename(image_path)] new_encoding except Exception as e: print(f处理图片 {image_path} 时出错: {e}) if __name__ __main__: # 初始化现有图库编码 library_dir ./my_image_library encoder PHash() print(正在初始化图库索引...) library_encodings encoder.encode_images(image_dirlibrary_dir) # 设置监听 watch_directory ./incoming_images event_handler DeduplicationHandler(watch_directory, library_encodings) observer Observer() observer.schedule(event_handler, watch_directory, recursiveFalse) observer.start() print(f开始监听目录: {watch_directory}) try: while True: time.sleep(1) except KeyboardInterrupt: observer.stop() observer.join()7.3 处理特定领域的去重通用算法可能不适用于所有场景。例如人脸图片去重你可能需要先用人脸检测器如MTCNN, RetinaFace裁剪出人脸区域再用CNN或专门的FaceNet模型提取人脸特征进行比对。文档截图去重如果截图背景、窗口边框不同但文档内容相同通用特征可能失效。可以尝试OCR提取文字然后进行文本相似度比对。商品白底图去重主体相同但角度、摆放不同。可能需要使用对物体姿态变化更鲁棒的特征或者使用在商品数据集上微调过的模型。imagededup在这里的角色是提供基础的特征提取和比对框架。你可以利用其CNN类但替换为自定义的模型通过model_name参数指定自定义模型路径或者在其生成的编码之上叠加你自己的业务逻辑过滤器。