简介这是一套基于摄像头输入的智能测谎软件源代码面向对计算机视觉与情感计算感兴趣的学习者和开发者借助 MediaPipe 实现面部与手部关键点检测并结合情感识别技术完成心率监测等分析功能可用于课堂演示、课程设计或相关课题的原型验证。资源包共 13 个文件包含 3 个 Python 源码文件、3 张 png 示意图、1 个 yml 环境配置、1 个 ini 配置文件以及 README、LICENSE、ico 图标等压缩包约 1.55MB结构精简便于快速上手。项目支持视频设备、本地文件和屏幕区域三种输入源可显示面部与手部关键点、录制带时间戳的 AVI 视频、设置线索持续帧数并支持双视频设备同时输入还提供图形化启动器和日志查看工具。目前已有 130 人学习适合希望了解 MediaPipe 关键点检测与情感识别落地方式的读者参考与二次开发。1. 摄像头测谎这件事到底靠不靠谱先说结论靠单帧画面判断一个人有没有说谎基本是玄学但把摄像头当成一路多模态传感器持续采集面部关键点、微表情趋势和远程光电容积脉搏波rPPG信号再把这些时序特征喂给一个分类器确实能做出一个生理唤醒度异常检测系统。市面上叫它智能测谎软件学术上更准确的说法是 deception detection via multimodal physiological cues。它解决的不是抓骗子而是给访谈、面试、心理实验提供一个可回放的客观信号面板。这套方案适合谁做计算机视觉落地的人、想入门 rPPG 的算法工程师、需要给心理/行为研究搭采集工具的同学。核心链路是 MediaPipe 出面部关键点情感识别模型出表情概率再从额头和脸颊 ROI 里提取颜色变化反推心率最后做多模态融合。下面按能跑起来的标准拆开讲参数和坑都给到。2. 用 MediaPipe 把面部关键点稳定抠出来2.1 为什么选 Face Mesh 而不是自己训检测器面部关键点检测是整个系统的地基地基抖一下后面心率信号全是噪声。常见做法有两类一类是 Dlib 的 68 点一类是 MediaPipe Face Mesh 的 468 点。Dlib 在侧脸和遮挡下掉点严重而且推理速度在 CPU 上很难撑到 30fpsFace Mesh 用的是轻量级回归网络CPU 上单帧几毫秒还自带 3D 坐标和面部拓扑索引做 ROI 划分时直接按索引取点就行省掉一堆几何计算。我一般会锁定 Face Mesh 的三个输出multi_face_landmarks里的归一化坐标、refine_landmarksTrue打开后的虹膜点、以及每帧的时间戳。虹膜点对后续视线估计有用时间戳是 rPPG 做重采样的前提缺了它心率算出来会漂。2.2 最小可跑的关键点采集脚本import cv2 import mediapipe as mp import time mp_face_mesh mp.solutions.face_mesh # refine_landmarksTrue 会额外输出虹膜点做视线/眨眼分析时需要 face_mesh mp_face_mesh.FaceMesh( static_image_modeFalse, # 视频流必须 False否则每帧都当独立图重检测 max_num_faces1, # 测谎场景只处理主被试多人会互相干扰 refine_landmarksTrue, min_detection_confidence0.5, min_tracking_confidence0.5 ) cap cv2.VideoCapture(0) cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480) while cap.isOpened(): ok, frame cap.read() if not ok: break t time.time() # 记录采集时刻rPPG 重采样要用 rgb cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) result face_mesh.process(rgb) if result.multi_face_landmarks: lm result.multi_face_landmarks[0] h, w frame.shape[:2] # 取额头中心点索引 10 和下巴 152用于后续 ROI 定位 forehead lm.landmark[10] chin lm.landmark[152] print(ft{t:.3f} forehead({forehead.x:.3f},{forehead.y:.3f}) fchin({chin.x:.3f},{chin.y:.3f})) cv2.imshow(face, frame) if cv2.waitKey(1) 0xFF 27: break cap.release() cv2.destroyAllWindows()逻辑说明static_image_modeFalse让 MediaPipe 走视频跟踪模式帧间复用上一帧结果速度和稳定性都更好。max_num_faces1是刻意的多人脸会让 landmark 索引错位。时间戳t单独记录而不是用帧号除以帧率因为摄像头实际帧率会波动rPPG 对时间轴精度很敏感。参数说明min_detection_confidence调到 0.5 以下会引入误检调到 0.7 以上侧脸容易丢min_tracking_confidence同理。分辨率建议 640x480 起步太高会拖慢推理太低 ROI 像素不够算心率。2.3 ROI 怎么划才不把噪声算进去心率信号来自皮肤颜色随血流的微小周期变化所以 ROI 必须选血流丰富、运动少、光照均匀的区域。额头索引 10 附近一圈和左右脸颊索引 50、280 附近是常用三块。眉毛、眼睛、嘴唇要排除因为这些地方会眨眼、说话、做表情运动伪影比心跳信号强几个数量级。我的做法是用关键点算一个凸包再往里缩 15% 作为安全边界然后对 ROI 内像素做均值。均值前先转 YCrCb 或 LAB 空间取对光照不敏感的分量比直接 RGB 稳。3. 情感识别与心率监测两条信号链怎么接3.1 情感识别模型选型与输出对齐情感识别这块常见做法是拿一个在 FER 类数据集上预训练的分类头输出 7 类基本情绪的概率分布。但直接用它做测谎会翻车因为测谎关心的不是他现在是愤怒还是厌恶而是他的表情变化速率和基线比有没有异常。所以模型输出要转成时序特征每类情绪概率的滑动均值、方差、一阶差分。选型上轻量 CNN如 MobileNet 骨干够用因为输入就是对齐后的人脸小图。关键是帧率要和关键点采集对齐两条链必须共用同一个时间戳否则融合时对不上。我一般把情感推理和关键点检测放在同一个循环里共享t。3.2 rPPG 心率提取的核心步骤rPPG 的原理是心脏每次搏动皮肤血管容积变化导致吸收的光量周期性变化摄像头能捕捉到这个极微弱的颜色波动。步骤是ROI 均值 → 去趋势 → 带通滤波 → 频谱峰值定位。import numpy as np from scipy import signal def extract_hr(signal_green, fps, low0.8, high3.0): signal_green: 绿色通道 ROI 均值序列 fps: 实际采样率 low/high: 对应 48~180 bpm 的带通边界 # 1. 去趋势去掉光照缓慢漂移 detrended signal.detrend(signal_green) # 2. 带通滤波只保留心跳频段 nyq fps / 2.0 b, a signal.butter(3, [low / nyq, high / nyq], btypeband) filtered signal.filtfilt(b, a, detrended) # 3. FFT 找主频 n len(filtered) freqs np.fft.rfftfreq(n, d1.0 / fps) fft_mag np.abs(np.fft.rfft(filtered)) # 只在有效频段内找峰 mask (freqs low) (freqs high) peak_freq freqs[mask][np.argmax(fft_mag[mask])] return peak_freq * 60.0 # 转成 bpm逻辑说明signal.detrend去掉线性漂移对应光照渐变butter带通把 0.8~3.0 Hz 之外的成分滤掉这个范围对应 48~180 bpm覆盖绝大多数人的静息和应激心率。filtfilt是零相位滤波避免滤波本身引入时间延迟这对后续和表情信号对齐很重要。参数说明滤波器阶数 3 是速度和陡峭度的折中阶数太高会振铃。窗口长度建议 10~15 秒太短频率分辨率不够太长心率变化被平均掉。fps必须用实测值不能直接用cap.get(CAP_PROP_FPS)那个值经常不准。3.3 多模态融合的判定逻辑两条链出来后融合不是简单加权。我的做法是先采集 60 秒基线记录被试静息状态下的心率均值、心率变异性、表情变化速率正式阶段计算每个时间窗内这些指标相对基线的 z-score。当心率 z-score 和表情变化 z-score 同时超过阈值才标记为生理唤醒异常。单指标超阈值大概率是运动或光照干扰双指标同时命中才值得看。阈值怎么定没有万能值。我一般先用 1.5 倍标准差起步再根据误报率调。宁可漏报不要误报因为误报会让人对整个系统失去信任。4. 避坑与常见问题排查4.1 心率读数乱跳一会儿 60 一会儿 120现象同一段静息视频心率曲线像心电图一样剧烈波动。原因九成是 ROI 里混进了运动区域或者光照在闪。解决先可视化 ROI 掩码确认没框到眉毛和嘴再把采集环境换成稳定光源关掉会频闪的灯最后检查时间戳是不是用了帧号估算改成真实时间。4.2 关键点在某些角度突然丢失现象被试一转头landmark 直接消失后续信号断档。原因Face Mesh 对极端侧脸和遮挡本来就弱。解决加一个丢失检测连续 N 帧无结果就暂停采集并提示被试回正不要用插值硬补补出来的坐标会让 ROI 漂移心率信号直接废掉。4.3 情感识别输出全是中性现象不管被试什么表情中性概率都 0.9 以上。原因模型没在你这个摄像头的数据分布上校准过或者输入人脸没对齐。解决先做人脸对齐按两眼连线旋转再送模型如果还是偏用少量自己采集的样本做一次输出层微调别动骨干。4.4 融合判定频繁误报现象被试只是说话系统就报异常。原因说话本身就会引起面部运动被表情链误当成情绪波动。解决加一个语音活动检测说话时段降低表情链权重或者干脆在访谈设计上让被试在回答前后各有静默期只在静默期做判定。4.5 长时间运行内存持续上涨现象跑十几分钟内存爆掉。原因每帧的 landmark 对象和图像缓存没释放。解决循环里显式del大对象图像只保留 ROI 均值不保留原帧MediaPipe 的 result 用完即弃。这个坑很隐蔽短测发现不了。5. 把系统做成可回放的实验工具真正让这套东西有价值的不是实时那个判定灯而是可回放。我现在的习惯是每一帧除了算特征还把时间戳、关键点、ROI 均值、心率估计、表情概率全部落盘成一张宽表用 Parquet 存。事后可以按任意时间窗重算换滤波参数、换阈值、换融合策略不用重新采集。这等于给自己留了后悔药。验证方法上别指望有 ground truth 标签。可行的做法是设计已知的应激任务比如心算、突然声响看系统能不能在任务开始后几秒内捕捉到心率上升和表情变化能稳定捕捉到就说明链路通了。至于说谎本身交给受过训练的人去解读软件只负责把信号摆清楚。一个具体技巧把基线采集做成两段一段静息、一段轻度任务用两段的差异来标定个体阈值比用固定阈值靠谱得多。不同人的心率基线和反应幅度差异极大个体化标定是这套方案能不能用的分水岭。最后说个血泪教训我早期图省事用帧号除以标称帧率当时间轴结果心率怎么调都不对查了两天才发现摄像头实际帧率在 28~31 之间飘。从那以后任何和生理信号相关的采集时间戳一律用真实时钟这条习惯帮我省了无数次返工。希望帮到你。本文还有配套的精品资源点击获取