简介一套基于MobileNet v2的口罩实时检测系统完整项目面向需要部署轻量级目标检测应用的开发者和学习者适用于公共场所出入口、教室等快速核验场景。系统以Flask作为Web框架同时提供实时视频流检测与图片上传检测两种使用方式涵盖从模型训练到Web集成的完整工程链路。压缩包内含48个文件大小约10.82MB主要包含Python源码、预训练模型权重.h5、网页模板、环境配置依赖、训练图表及演示动图训练脚本、视频检测器和图片测试脚本均可直接运行或二次改造。已有106人学习下载。通过该项目可以掌握MobileNet v2模型的微调训练方法、深度可分离卷积在实时任务中的应用以及Flask与深度学习模型协同工作的工程实践适合具备Python和深度学习基础的中级开发者作为实战参考也可作为后续迁移到其他检测任务的代码基底。1. 口罩检测为什么非MobileNet v2不可实时性背后的选型逻辑在出入口闸机、教室和园区大门的实际场景里口罩实时检测的难点从来不是“能不能识别”而是“在普通摄像头配套的低算力盒子上能不能每帧都跑完”。我接过好几个类似项目第一版用ResNet50当骨干离线测试准确率很好看一上RK3399这类边缘盒子就掉到5帧以内画面明显卡顿。换到MobileNet v2做骨干后同样的视觉任务在保持可接受精度的前提下推理延迟降了一个数量级系统终于能跟着人的走动实时刷新检测结果。这里的核心原因是MobileNet v2把标准卷积拆成了深度卷积和逐点卷积参数量和计算量被大幅压缩还引入了线性瓶颈和反向残差结构让小模型在某些层里反而学得更充分。对口罩检测这种类别少、目标尺度集中的任务MobileNet v2不需要ResNet那样的深度也能拟合得不错。下面我按自己从数据准备到部署上线的完整路径来拆解系统实现每一步都会给出可复现的命令和参数也会把训练和部署阶段最容易翻车的地方单独列出来。2. 从数据集到标签口罩检测的数据准备与预处理细节2.1 选择公开数据集还是自采主流口罩数据集与标注格式口罩检测在公开领域已经有几份常用数据集带包围框标注的主要是两类一类是“戴口罩的人脸”与“不戴口罩的人脸”图片集标签是整张图的类别另一类是从人脸检测数据集改造来的标注框框住人脸区域并额外标注是否佩戴口罩。如果你只需要判断画面里有没有人没戴口罩用整图分类数据集就可以但真实门禁系统里往往要定位到具体人所以框级检测更实用。常见做法是先用公开的人脸检测模型比如OpenCV的DNN人脸检测器跑一遍原始图片把所有人脸区域裁出来再人工修正框的位置最后打上“mask”或“no_mask”标签。这个流程虽然啰嗦但能保证你的训练分布接近目标场景——比如摄像头装在1.8米高度、俯视人脸而不是数据集中常见的正脸平视。我一般会混合公开数据和现场自采数据自采比例不低于三成否则一到现场就会因为视角、光线差异掉点。标注格式方面如果你打算直接用Keras的水平翻转、旋转来做增强最简单的是把框信息存成VOC格式的XML或者干脆整理成一个CSV每一行是文件名、四个坐标值(左上角x、y、宽、高)和类别名。后面训练时用一个数据生成器读取这些标签并转换成模型需要的张量。2.2 数据增强与归一化让模型见过多样的口罩口罩检测最常遇到的环境差异不是口罩样式而是光照和遮挡。数据增强不是锦上添花它直接决定模型在闸机逆光、夜间红外补光下会不会频繁把“没戴口罩”误判成“戴了”。我实际增强策略是这样的# 数据增强配置用于训练时的在线增强 from tensorflow.keras.preprocessing.image import ImageDataGenerator train_datagen ImageDataGenerator( rescale1.0 / 255, # 像素归一化到 [0,1] 区间匹配MobileNet v2的输入要求 rotation_range15, # 随机旋转正负15度模拟头部倾斜 width_shift_range0.1, # 水平平移10%应对人脸不在画面中央的情况 height_shift_range0.1, brightness_range[0.6, 1.4], # 亮度抖动模拟逆光和阴影 shear_range0.05, # 小角度错切增强几何鲁棒性 zoom_range0.1, # 随机缩放适应不同人脸距离 horizontal_flipTrue, # 水平翻转口罩检测无方向性 fill_modenearest # 变换后空白区域用最近邻填充 )这里有一个容易被忽略的细节rescale1.0/255会把输入归一化到0到1之间而预训练的ImageNet权重最初接收的是标准化后的数值均值和方差。如果你只做线性缩放而不做标准化前几层卷积的激活分布会偏移训练收敛变慢。Keras的applications.MobileNetV2内置了preprocess_input函数更稳妥的做法是在数据增强流水线里只做几何和亮度增强然后在数据输入模型前调用preprocess_input完成标准化。参数设置的经验值是brightness_range不建议超过[0.5, 1.5]太强会让模型把暗光下正常肤色的人脸学成噪声样本rotation_range15在额头被刘海遮挡时效果好但超过20度会让口罩边框严重变形反而引入错误监督。翻转只做水平翻转垂直翻转没有物理意义不要开。2.3 训练集/验证集划分与标签编码如果数据集来自多个来源不能简单随机划分一定要按“来源”分组。我遇到过把同一人的连续视频帧拆到训练集和验证集里导致验证精度虚高到99%真实现场掉到80%的情况。正确做法是用sklearn.model_selection.GroupShuffleSplit按视频片段或图像文件夹分组。标签编码上框级检测任务通常把类别映射成整数0表示no_mask1表示mask。如果你的项目还要求检测“口罩戴歪”状态就扩成3类0未戴、1正确佩戴、2佩戴不规范。类别顺序一旦固定训练脚本和推理脚本必须共用同一个映射字典我会把映射写成一个JSON文件随模型一起保存避免部署时忘了顺序。# 将CSV标注中的字符串类别转换为整数编码 class_map { no_mask: 0, mask: 1, mask_worn_incorrectly: 2 } def encode_label(label_str): return class_map[label_str]这段代码本身没有难度但它是整个数据流水线中最容易出错的地方。我见过不止一次因为label_map顺序写反模型训练时把“戴了口罩”和“没戴口罩”完全学反准确率约等于瞎猜。建议把映射固化在版本控制里训练前打印几条样本的(文件名, 编码)对来人工核对。3. 用TensorFlow/Keras搭建MobileNet v2口罩检测模型迁移学习与模型结构3.1 迁移学习为什么冻结前层微调后层移动端部署环境下从零训练一个MobileNet v2需要大量数据而且收敛极慢没必要。常见做法是加载在ImageNet上预训练好的MobileNetV2权重把最后的分类层替换掉。冻结前层的原因是前几层学到的是通用边缘、纹理特征这些特征对口罩识别同样有用而后几层学到的是狗、猫、树之类的特定物体组合对口罩没有直接用。我一般先冻结全部卷积层只训练新加的检测头跑几个epoch看验证精度能否快速上来。如果不到90%就有问题可能是数据标注或类别映射错了如果很容易到95%以上再解冻最后几十层卷积用小学习率微调让深层特征向口罩形态偏移。# 加载预训练MobileNet v2不包含顶层分类器 from tensorflow.keras.applications import MobileNetV2 from tensorflow.keras import layers, Model base_model MobileNetV2( weightsimagenet, include_topFalse, # 去掉1000类分类头 input_shape(224, 224, 3) ) base_model.trainable False # 第一阶段冻结全部卷积层 # 自定义检测头 x layers.GlobalAveragePooling2D()(base_model.output) x layers.Dense(64, activationrelu)(x) x layers.Dropout(0.3)(x) # 防止小数据过拟合 output layers.Dense(2, activationsoftmax)(x) # 2类戴口罩/未戴口罩 model Model(inputsbase_model.input, outputsoutput)这里input_shape固定为(224,224,3)是因为预训练权重要求这个输入尺寸。如果为了更高帧率改用192或128MobileNet v2也能接受非正方形输入但预训练权重会在某些层产生尺寸不匹配问题需要额外调整。建议第一版先跑224后面再做输入尺寸缩减。3.2 在MobileNet v2之上加检测头全连接层与输出设计很多人把口罩检测做成整图分类也就是把每一帧画面直接丢进模型判断整张图里有没有人没戴口罩。这种方式在单人或人群稀疏时勉强可用但人群一密集就傻了因为画面里同时有戴和不戴的人分类结果无法定位问题个体。因此一个负责任的系统实现要在MobileNet v2前面加一个人脸检测前置模块先用轻量级人脸检测器把人脸框出来再把每个人脸区域裁剪到224x224送进MobileNet v2做戴口罩分类。这就形成“人脸检测 口罩分类”的级联结构。上面的代码定义了一个二分类头戴/未戴。如果使用三分类戴上/未戴/戴歪只需把最后一层改成Dense(3, activationsoftmax)。不要用sigmoid代替softmax做多分类虽然二分类时它们理论上等价但softmax在输出层配合categorical_crossentropy训练更稳定且不容易出现输出总和大于1的问题。3.3 模型编译损失函数、优化器与学习率的选择口罩识别是典型的类别不均衡任务——采集到的“不戴口罩”样本往往远少于“戴口罩”样本因为常规场景里大家都会掩好口鼻。直接使用categorical_crossentropy会把多数类学得很好少数类几乎学不到。我一般会在损失函数里加类别权重让少数类的错误贡献更大权重。# 编译模型带类别权重 class_weight { 0: 3.0, # no_mask 样本少加大权重 1: 1.0 # mask 样本充足正常权重 } model.compile( optimizeradam, losscategorical_crossentropy, metrics[accuracy] )class_weight的具体值需要根据训练集统计计算。一个简单的经验法则是少数类权重 多数类样本数 / 少数类样本数但不要超过10倍权重否则模型会过度偏向少数类把很多“戴口罩”误判成“没戴”。我见过一个同学把权重设成15结果测试时所有人脸都被标注为未佩戴因为模型宁可错杀也不漏杀。优化器首选Adam学习率初始设1e-4或3e-4。预训练模型被冻结时学习率可以稍高一点一旦解冻微调必须降到1e-5到5e-5否则预训练权重会被粗暴地冲走精度反而下跌。训练时配合ReduceLROnPlateau回调当验证损失连续几个epoch不下降时自动降低学习率这是减少手动调参的稳妥做法。4. 实时检测系统实现从摄像头读取到画面绘制的最小可用流程4.1 打开摄像头并做帧预处理分辨率与推理速度的平衡实时系统的首要工作是把摄像头帧流转成模型输入。OpenCV的VideoCapture是最直接的接口但默认输出的1080p画面直接缩放成224x224会丢失人脸小目标直接不缩放又会让预处理时间飙升。常见做法是先把帧缩放到一个中间分辨率比如640x480再做人脸检测再做224x224的口罩分类。import cv2 import numpy as np from tensorflow.keras.models import load_model cap cv2.VideoCapture(0) cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480) mask_model load_model(mask_classifier.h5) class_names [no_mask, mask]设置摄像头分辨率时很多USB摄像头不支持任意分辨率如果640x480设置失败读取的帧仍然是默认值。建议设置后立刻读一次实际分辨率如果和预期不符就自动切换到下一个支持档位比如1280x720。4.2 模型推理与置信度阈值如何判定“戴”与“未戴”模型输出的是每个类别的概率不能直接argmax因为在复杂场景下模型对“戴”和“未戴”的置信度可能都只有60%。如果盲目取最大值系统会在边界情况下来回抖动。我通常设置一个CONFIDENCE_THRESHOLD只当最大概率超过0.7时才给出判定否则标记为“不确定”。在工厂入口这类严格场景阈值可以提高到0.8在室内通行场景0.6就够了。# 对面部区域进行口罩分类推理 def classify_face(face_crop): face_resized cv2.resize(face_crop, (224, 224)) face_rgb cv2.cvtColor(face_resized, cv2.COLOR_BGR2RGB) face_normalized face_rgb.astype(float32) / 255.0 face_input np.expand_dims(face_normalized, axis0) pred mask_model.predict(face_input, verbose0)[0] idx np.argmax(pred) confidence pred[idx] if confidence CONFIDENCE_THRESHOLD: return unknown, confidence return class_names[idx], confidence这里predict(face_input, verbose0)每次调用会重新初始化部分计算图如果每帧有多个面部区域频繁调用会严重影响性能。更好的做法是用model.predict传入批量数据或者使用model.signatures在TensorFlow 2里构建推理函数。最简单的高效化是batch_predict把一帧里的所有人脸区域都resize后堆成数组一次性预测。4.3 在画面中绘制检测框与状态提示显示层的细节拿到分类结果后需要把框和标签画在原帧上。这里有两个小坑一是OpenCV的坐标系统和模型输入裁剪后的坐标系统要一致不要忘了把裁剪框的原点偏移加回去二是中文文字“未戴口罩”直接画在画面上会乱码因为OpenCV的putText只支持ASCII字符常见解决办法是先用英文标注或者用PIL先绘制中文再转回OpenCV图像。# 在人脸框上方绘制英文状态标签 label f{class_name}: {confidence:.2f} color (0, 0, 255) if class_name no_mask else (0, 255, 0) cv2.rectangle(frame, (x, y), (x w, y h), color, 2) cv2.putText(frame, label, (x, y - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.6, color, 2)如果你要用中文提示我会先把帧从BGR转到RGB用PIL的ImageDraw.text渲染中文字体再转回BGR。这个转换本身开销不小建议只在检测到“未戴口罩”时触发不要每帧都做。5. 模型训练的5个避坑记录过拟合、误检与部署差异5.1 类别不均衡导致“未戴口罩”被吞掉现象验证集准确率97%但现场把所有未戴口罩的人都放行了。原因训练集中“戴口罩”样本是“未戴口罩”的10倍以上模型学到的最优策略是永远预测“戴口罩”。解决除了加class_weight还要统计训练时的混淆矩阵不要只看accuracy指标。我习惯在每次验证时单独打印no_mask类别的召回率这个值低于0.9就说明类别不均衡处理不到位。5.2 光照与遮挡让模型频繁抖动现象同一张脸只是在窗前站了一下检测结果就从“戴”变“未戴”又变回“戴”。原因训练数据的亮度范围太窄模型没有见过强逆光和侧光下的口罩人脸。解决在增强里加入brightness_range和gamma调整同时采集少量现场逆光样本单独做微调。注意增强幅度不能太猛我用过brightness_range[0.4, 1.6]结果模型对正常光照的深色口罩完全失灵。5.3 训练精度高但实时帧率低现象同一块Jetson Nano上训练时模型推理要80ms一帧达不到实时要求。原因输入分辨率224太高且模型没有量化。解决先把输入缩小到160x160推理延迟能降低40%再把模型转成TensorFlow Lite并做动态范围量化延迟能再降30%。这个过程中精度会掉2到3个百分点但可用性大幅提升。5.4 误把下巴当口罩区域裁剪与锚点问题现象检测到有人没戴口罩但框住的其实是下巴到脖子的区域。原因人脸检测器在侧面或低头时把下脸部区域当成了完整人脸裁剪框里本来就不包含口鼻部位模型自然给“未戴”。解决不要直接用原始人脸框而是只取人脸框的下半部分作为口罩分类输入。我在实践中取人脸框垂直方向的底部55%区域作为分类输入这样能把帽子、刘海等无关特征排除掉。具体比例需要根据摄像头特性调我这里的0.55是经验值。5.5 保存与加载模型时输入张量不一致现象训练好的模型model.save(mask_classifier.h5)部署时加载发现输入形状变成(None, None, None, 3)与预期不符。原因如果模型中某个层用了None尺寸占位或者保存的是SavedModel格式加载时输入形状不会固定。解决在导出前调用model.build((1, 224, 224, 3))并显式声明model.input.set_shape((1, 224, 224, 3))再保存为.h5或.tflite。加载后用model.input_shape打印确认。6. 从原型到可交付模型量化与性能验证的实用技巧当模型在PC上能跑到合理精度后下一步通常是部署到ARM盒子或摄像头内置芯片上。移动端部署的第一步是用TensorFlow Lite转换脚本把模型转成轻量格式。注意如果你在训练时用了tf.keras.applications.MobileNetV2转换时要把预处理方式也一并固化为输入张量的一个算子否则部署端很容易漏掉标准化步骤。# 将h5模型转换为TensorFlow Lite格式启用动态范围量化 import tensorflow as tf converter tf.lite.TFLiteConverter.from_keras_model(model) converter.optimizations [tf.lite.Optimize.DEFAULT] tflite_model converter.convert() with open(mask_model.tflite, wb) as f: f.write(tflite_model)动态范围量化是见效最快的方案模型权重从float32压到float16或int8体积缩小为四分之一推理延迟大幅下降精度通常只掉1~2个点。如果你的部署端是纯int8芯片比如RK3399Pro的NPU还需要提供代表性数据集做全整数量化并且把输入张量也量化为int8。我在RK平台踩过坑忘了量化输入结果NPU直接拒绝运行。验证性能时不要只测端到端延迟要分开测各模块耗时摄像头读帧占多少、人脸检测占多少、口罩分类占多少、绘制占多少。我习惯把每段耗时打印出来用毫秒为单位统计。一次实测中摄像头读帧28ms人脸检测60ms口罩分类12ms绘制3ms瓶颈非常明显于是我换用了更轻量的人脸检测模型整体帧率立刻翻倍。这个排查思路比盲目优化模型有效得多。最后说一个我自己的习惯每次训练完我都会拿一段从现场录的30秒视频做离线回放用和线上完全相同的预处理流程跑一遍记录每一帧的预测结果再逐帧对照检查。这个习惯帮我抓出过不少问题比如系统对特定角度的人脸会连续误报或者某种蓝色口罩在暗光下被判定为“未戴”。视频回放的成本很低但比任何测试指标都能真实反映部署后的表现。希望这个流程能帮到你避开我当年翻过的那些车。本文还有配套的精品资源点击获取