简介基于深度学习的机场安检危险品自动识别系统是一套可运行的Python项目定位为计算机视觉与人工智能方向的课设与毕设参考实现它以安检场景中的危险品检测为任务覆盖数据样本、模型编译、界面展示等环节适合信息安全、大数据、物联网等计算机相关专业的学生和教师用于课程大作业、毕业设计或初期项目演示。压缩包共有179个文件核心为37个py源码文件和53个pyc编译文件另有63张jpg图像用于样本输入以及XML配置、UI界面、Cython扩展、启动脚本等辅助内容整体大小约9.73MB从目录可识别出Faster R-CNN检测框架读者可借助其中的bbox模块、图像样本和界面文件快速理解检测流程并做二次开发。目前已有345人浏览学习代码已验证可稳定运行下载后既能直接跑通完整演示也能基于现有工程扩展模型、替换数据集适合作为课程设计成果或毕业设计原型。1. 安检包裹图像里的“小目标”为什么让通用检测器失灵安检图像和普通摄像头图像最大的区别在于目标尺度小、遮挡严重、背景复杂。刀具、打火机、充电宝这类危险品在 X 光投影下纹理被大幅压缩直接用 YOLO、SSD 这类单阶段检测器很容易在浅层特征上丢框尤其是当危险品只占画面 1% 到 3% 的时候。这套基于深度学习的机场安检危险品自动识别系统用 Python 实现了两阶段的 Faster R-CNN 流程输入一张行李扫描图输出各类违禁品的位置框、类别和置信度并配有训练脚本、批处理配置文件和已经编译的 Cython 加速模块。它适合做计算机视觉方向的课程大作业也适合直接拿去做毕业设计原型——训练和推理链路是完整的后端数据可以替换成你自己的拍摄样张重新训。2. RPN 到 ROI 再到 cython_bbox危险品检测链路的三个关键环节2.1 双阶段检测器为什么更适合安检场景检测器选型决定了后续所有实验结果。单阶段检测器把分类和回归放在同一层网格上直接完成速度快但在目标重叠密集、背景干扰强的行李图片里负样本占比极大正样本经常被淹没。Faster R-CNN 先由 RPN 区域建议网络提出可能包含目标的候选框再把每个候选框拉平做分类和坐标回归每一步都有独立的监督信号误检上限低很多。对比维度单阶段 YOLO/SSD双阶段 Faster R-CNN候选框来源网格预设框直接回归RPN 输出候选区域后再分类正负样本平衡严重失衡常配合 Focal Loss 或 OHEM经 RPN 初筛后相对均衡小目标召回依赖多尺度特征层匹配策略候选框经 ROI 池化对齐小目标不易漏速度与精度速度快精度上限相对低速度慢二到五倍精度上限更高安检图像的分辨率通常在 1000 像素以上一把折叠刀可能只占整幅图不到 3% 的面积。单阶段网络在特征图下采样四次后小目标的响应已经很弱而 RPN 在多个尺度的特征层上滑窗生成候选框对真实目标框的 IoU 控制更精确所以这套资源把主干模型放在 Faster R-CNN 上是合理的选择。2.2 锚点在 RPN 里如何生成和标注RPN 的第一步是在特征图每个位置生成多个不同形状、不同大小的锚点。以经典实现为例base_size 取 16配合三种宽高比和三种缩放尺度每个位置映射出 9 个候选框。这三组参数直接决定网络能召回什么长宽比的目标比如充电宝偏细长折叠刀偏窄默认 ratios 往往不够。def generate_anchors(base_size16, ratios[0.5, 1.0, 2.0], scales2 ** np.arange(3, 6)): # 先构造一个以 base_size 为中心的基准框 base_anchor np.array([1, 1, base_size, base_size], dtypenp.float32) - 1 ws base_anchor[2] - base_anchor[0] 1 hs base_anchor[3] - base_anchor[1] 1 anchors [] for r in ratios: # 宽 sqrt(面积/宽高比)高 sqrt(面积*宽高比) w, h np.sqrt(ws * hs / r), np.sqrt(ws * hs * r) for s in scales: anchors.append(np.array([0, 0, w * s, h * s], dtypenp.float32)) # 实际使用时会按特征图坐标逐点平移 return np.array(anchors)ratios 是宽高比序列scales 是放大倍数。修改 ratios 增加 0.35 这类极窄比例会直接增加细长目标的匹配候选。锚点生成后要和标注框计算 IoU与任一真实框大于 0.7 的锚点标为正样本低于 0.3 的为负样本处于中间的不参与回归损失。这个阈值可以在lib/model/rpn的配置文件里改阈值偏高会漏掉部分真实目标偏低会让正样本里混入大量背景。2.3 ROI Pooling 把不同尺寸候选框拉平RPN 输出的候选框大小差距很大后续全连接层需要固定长度的输入特征。ROI Pooling 的做法是先把候选框坐标映射到特征图对应区域再将该区域切成固定数量的格子每格做一次最大池化最终输出统一尺寸的特征图。这套工程里默认是 7×7之后接两个并列的全连接分支一个输出各类别置信度一个输出坐标偏移量。解码时用偏移量修正原始候选框坐标得到最终检测框。安检图像里的小目标经过 ROI 池化后信息损失明显因为最大池化只保留格内最显著的一个响应。正式工程里可以用 ROI Align 替换用双线性插值保留亚像素位置信息对刀具这类边缘特征明显的物体更友好。课程设计阶段先跑通经典 ROI Pooling后续优化时再换 Align两者的接口几乎一致改动成本不高。2.4 cython_bbox 到底加速了哪一段训练过程中 IoU 矩阵计算和 NMS 的调用频率极高。一个 batch 里有上万锚点每个锚点都要与所有标注框计算交集、并集面积纯 Python 双循环会让训练时间膨胀到不可接受。cython_bbox 的核心函数bbox_overlaps用 C 语言实现两两框的重叠计算以矩阵形式返回 IoU 结果训练流程里 RPN 的锚点标注、候选框筛选和最终 NMS 都会复用它。from lib.bbox.cython_bbox import bbox_overlaps # overlaps[i, j] 是第 i 个 anchor 和第 j 个真实框的 IoU overlaps bbox_overlaps( np.ascontiguousarray(anchors, dtypenp.float32), np.ascontiguousarray(gt_boxes, dtypenp.float32), ) max_overlaps overlaps.max(axis1) fg_idx np.where(max_overlaps 0.7)[0] bg_idx np.where((max_overlaps 0.3) (max_overlaps 0.1))[0]np.ascontiguousarray用来保证传入内存连续Cython 的 C 接口不接受非连续的切片两个输入矩阵都必须是 float32传入 int 类型会在类型检查时直接报错。fg_idx 是前景锚点索引bg_idx 是背景锚点索引RPN 训练时按这两组索引采样平衡正负样本。仓库里setup.py会指定bbox.c作为扩展源文件编译生成对应 Python 版本的 pyd 动态库create.bat 中会触发这一步。如果你把代码迁移到高版本 Python必须在当前环境下重新编译否则 import 阶段会看到 undefined symbol 一类的 ABI 错误。3. create.bat 到 Cython 编译Windows 环境下如何把资源跑起来3.1 create.bat 承担的环境初始化职责压缩包根目录的 create.bat 是批处理脚本把手工操作终端的多条命令封装成了双击执行。常见做法是先用 conda 创建独立环境指定 Python 3.5 版本因为压缩包中提供的 Cython 扩展后缀是 cp35-win_amd64即 Windows 64 位 Python 3.5 的 ABI。如果你的本机没有 conda脚本第一步会失败后面的 python 命令也会连带报找不到解释器。echo off chcp 65001 echo 创建虚拟环境 security_scan conda create -n security_scan python3.5 -y call activate security_scan echo 安装依赖 pip install numpy1.14.5 scipy1.2.1 Cython0.28.5 pip install opencv-python pillow matplotlib echo 编译 Cython 扩展 python setup.py build_ext --inplace if errorlevel 1 ( echo bbox 编译失败请先安装 VC Build Tools pause ) else ( echo 编译成功可以直接运行 tools/demo.py ) pausepython setup.py build_ext --inplace会编译扩展并直接放到源码树内不需要手动复制文件。errorlevel 是 Windows 批处理里的错误码判断编译失败时常见的两个原因是缺少 Visual C Build Tools 和 Python 版本不是预期的 3.5。推荐在工程内新建 requirements.txt 把依赖固定下来create.bat 只保留环境创建与编译逻辑这样换了机器重装时不会因为 pip 版本差异导致依赖冲突。3.2 从文件后缀判断扩展是否真的可用压缩包里的cython_bbox.cp35-win_amd64.exp是 Visual C 编译链接阶段生成的导出符号文件真正被 Python import 加载的是同名 .pyd 文件。如果目录下只有 exp 没有 pyd说明编译产物被清理或从未生成必须在当前 Python 环境重新执行扩展编译。这个细节在验收代码时很容易被忽略很多人把压缩包原样解压后直接跑训练到第一个 forward 峰值才报 ImportError。ls lib/bbox/ | grep cython_bbox # 预期看到 cython_bbox.cp35-win_amd64.pyd # 若只有 .c/.exp执行 python setup.py build_ext --inplace在 Windows 上pyd 等同于 DLL但入口函数是为 Python 解释器定制的。用普通 DLL 查看工具分析它没有意义。训练中断后优先查这个列表比翻日志里的 traceback 更快。另外 cp35 代表 Python 3.5win_amd64 代表 64 位 Windows这三个字段缺一不可换成 32 位 Python 或 Python 3.7 后哪怕文件名只差一位import 也会失败。3.3 目录结构与数据放置约定这类工程通常沿用 Faster R-CNN 系列的经典目录组织方式理解目录的作用比记住每行代码更重要。主要目录对应的职责如下目录/文件用途配置时需要留意create.bat环境与编译入口首次运行放最前面tools/demo.py单张图片推理演示需要加载训练好的模型tools/train_net.py训练入口读取 yaml 配置文件lib/bbox/cython_bbox 源码与编译产物编译失败会连锁报错data/VOCdevkit标注数据集还需放入负样本背景图output/训练产出模型目录脚本自动创建数据格式最常用的是 PASCAL VOC 风格JPEGImages 放原图Annotations 放 XML 标注。安检项目里空行李箱、空背包这类负样本要单独收集XML 里不写 bndbox训练时它们只提供背景上下文。empty1.jpg 这类命名表明工程里已经预置了负样本这类图像对降低误检率的价值很大不要删掉。3.4 训练前先改的三处配置第一次训练前建议改三处。第一处是lib/model/config.py里的__C.TRAIN.ims_per_batch值为 1 时每个 batch 只有一张图迭代慢但显存占用低显存足够可以改成 2。第二处是__C.USE_GPU_NMS默认 False 时 NMS 跑 CPU一张 1000×750 的图要多花 80 到 120 毫秒改成 True 能明显提速。第三处是__C.TRAIN.SCALES默认取 (600,)先稳定跑通再增加多尺度避免训练前期因为尺度转换把梯度弄乱。对课程设计来说不该从头训练整个网络。常见做法是下载 VGG16 或 ResNet-101 在 ImageNet 上的预训练权重放到 data/pretrain_model 里由 train_net.py 启动时加载。从头训练不仅时间翻倍还容易在小数据集上陷入不收敛。完整训练在单张 GTX 1080 上大约需要 8 到 12 小时通常跑上 2 万次迭代就已经能看到比较稳定的验证集输出。4. 推理脚本、NMS 阈值与置信度从训练权重到检测结果4.1 训练入口与 checkpoint 输出流程train_net.py 读入一个 yaml 配置内部定义数据集路径、结构网络、学习率、总迭代次数。它依赖 lib 里的 Cython 扩展所以在第 3 章编译步骤没完成之前训练会在第一个 RPN 锚点标注处报错而且报错信息不会直接指向缺少扩展容易让人误判成数据集问题。python tools/train_net.py \ --cfg experiments/cfgs/vgg16.yml \ --weight data/pretrain/vgg16.ckpt \ --imdb voc_2007_trainvalcfg 参数决定模型结构与优化超参weight 指定预训练权重路径imdb 指定 VOC 数据集名称和划分。训练过程中每隔几千次迭代保存一个 checkpoint最终使用的模型就是 output 目录下最新的 ckpt 文件。如果显存溢出优先把 rpn_batch_size 从 256 降到 128而不是缩小图片分辨率后者会影响小目标召回。4.2 推理 demo 的目标框输出逻辑demo.py 的核心瓶颈通常在图像缩放这一步。推理时先把长边压到 600 像素保持宽高比不变这样特征图尺寸可控也避免原图直接输入导致显存溢出。网络返回的 scores 和 boxes 都基于缩放后的坐标需要乘以缩放比例还原到原图。import numpy as np import cv2 import tensorflow as tf from networks.resnet import ResNet50 sess tf.Session() net ResNet50() saver tf.train.Saver() saver.restore(sess, output/vgg16/voc_2007_trainval/checkpoint.ckpt) im cv2.imread(samples/knife.jpg) im_scale 600.0 / max(im.shape[:2]) im_resized cv2.resize(im, None, fxim_scale, fyim_scale, interpolationcv2.INTER_LINEAR) scores, boxes net.detect(sess, im_resized.astype(np.float32), im_scale) keep np.where(scores[:, 1] 0.85)[0] # 类别 1 对应 knife selected boxes[keep]im_scale 是缩放比传入 detect 后网络内部用它把候选框坐标映射回原图尺度。scores[:, 1] 取第一列表示 knife 类别的置信度索引 0 是背景。这里阈值取 0.85 比 YOLO 的常见默认值高目的是减少安检图里背景纹理造成的误检如果发现真目标也频繁漏掉再逐档往下调到 0.7。4.3 检出的框粘在一起怎么调同一个危险品被多个候选框反复框住是正常现象最终由 NMS 去掉重复框。真正要调的是两处RPN 后处理的 NMS 阈值以及每张图保留的候选框数量。下面列举常用参数和调整方向参数默认值位置调整效果rpn_nms_thresh0.7RPN 后处理降到 0.6候选更少召回略降TRAIN.rpn_post_nms_top_n2000训练保留提到 4000小目标候选更充分TEST.rpn_post_nms_top_n300推理保留降到 150推理加速置信度阈值0.5可视化过滤只影响显示不影响 NMS 逻辑调参顺序应该是先保召回再压数量。先用 2000 以上的候选框确认目标能被框出来再逐步减少推理时的 top-N。如果候选框数量降低后目标仍然在说明可以安全压缩一旦漏检优先调 RPN 层面的阈值而不是去动分类器的置信度。4.4 process2.gif 是怎么生成的process2.gif 不是单独训练出来的产物而是对连续样本帧调用同一套 demo 推理逻辑把画框结果逐帧拼接后的演示动画。实现思路是读帧、缩放、检测、画框、写临时目录最后用 imageio 组装 gif。安检演示里这样做的价值在于观察模型在连续帧上的稳定性刀片翻转时边框是否抖动、置信度波动是否剧烈这些静态图看不出来动图比单张结果更有说服力。5. 验收技巧从项目跑通到能拿去答辩5.1 用 AP 而不是“看起来准”来判断很多课程设计答辩只展示几张画了框的图片这不够。能拿得出手的量化指标是 AP也就是平均精确率。在安检危险品这类类别数少的数据集上逐类别计算 AP11 点插值法是经典做法。def compute_ap(recall, precision): ap 0.0 for t in np.arange(0.0, 1.1, 0.1): p precision[recall t].max() if (recall t).any() else 0.0 ap p / 11.0 return aprecall 是召回率precision 是精确率函数对每个召回率档位取最大精确率再求平均。结果在 0 到 1 之间课程设计项目跑到 0.65 以上已经能说明检测链路完整且模型有效。对每个危险品类别分别计算后取平均就是 mAP。5.2 演示图片不要从训练集里挑训练集里挑几张图片做 demo模型见过的内容指标一定高答辩现场容易被追问穿帮。正确做法是从未参与训练的拍摄样本里抽 20 到 30 张这些样本在训练时没出现过检测框的稳定性才有参考价值。如果这批图片目标框抖动明显优先检查TRAIN.SCALES是否只保留了单尺度适当增加 (600, 800) 多尺度训练能提高泛化能力。5.3 二次开发最值得动手的两个入口第一是替换数据集按 VOC 的 XML 格式标注自己拍摄的刀具、打火机图片放进 data/VOCdevkit训练入口的 imdb 参数改成新数据集名称即可不需要动网络结构。第二是训练一个 YOLO 同数据集的对比模型把两个模型的 mAP 和单张推理耗时放到同一张表格里这种实验对比比单独展示一个模型更有说服力。改类别数量时注意检查全连接分类层的输出维度是否同步修改类别数变了但网络最后一层没变训练 loss 会直接降到 0这是最容易踩的隐蔽错误。create.bat 里的 python3.5 参数也要和实际环境对齐否则前端改完后第一次运行报的还是 ABI 不匹配而不是模型逻辑问题。本文还有配套的精品资源点击获取