简介面向青少年心理健康场景的AI情绪管理助手完整项目包聚焦面部识别、语音识别、情绪动画生成与记录分析等功能模块适用于学校心理辅导、家庭教育及青春期情绪管理产品原型开发等场景。压缩包为zip格式共378个文件大小约239.39MB其中180个py为核心算法与交互逻辑代码json/txt/yaml等用于配置与数据说明mp4、wav、mp3等为演示录屏和语音样本docx、pptx、pdf则提供项目介绍与文档材料目录结构便于按模块查阅。已有126人学习下载。资源包含可运行源码、模型权重、情绪互动游戏与调节训练脚本还附有情绪报告生成、数据记录分析及演示视频能够帮助开发者快速理解从情绪识别到教育引导的完整链路也为参赛展示或心理健康课题研究提供可直接参考的工程实现。1. 当情绪识别从实验室走进青春期咨询室一个初二男生连续一周回家不跟父母说一句话家长用问卷量表测情绪孩子填的全是「还好」约心理咨询师孩子坐在那儿低头玩手指十分钟说了三句话。这时候如果有工具能「看见」他当下的情绪状态——不需要他配合表达只需要镜头前坐五分钟系统就能通过面部微表情和语音韵律判断他正处在烦躁、低落还是平静并且把数据积累成趋势报告——很多沟通僵局就能找到切入点。这套基于 AI 情绪识别与互动体验的青春期情绪管理助手做的就是这件事用面部识别、语音识别做双模态情绪判定生成情绪动画做低压力反馈再把情绪记录、报告、互动游戏、调节训练串成一个完整闭环。适合青少年心理辅导机构、学校心理老师、家庭教育场景也适合想搞情感计算落地的工程师拿来做二次开发。2. 双模态识别架构与情绪维度建模先别急着训模型2.1 为什么选双模态而不是纯面部识别青春期孩子是最不喜欢「被看穿」的一群人。你盯着他脸看三秒他马上把表情收起来。纯面部识别方案在咨询室场景下有两个硬伤第一用户可能全程低头、侧脸、用手挡脸面部检测直接失效第二青少年对表情的主动控制能力比小孩子强得多心情很差也能挤出一个「没事」的假笑。所以这套资源把语音通道加进来逻辑是面部表情难伪装但容易丢语音韵律相对难控制但容易被噪声干扰两个通道互相补位。双模态融合的实际作用是兜底。面部通道正常时语音做复核面部丢失时语音单独扛起判定职责。这个设计跟工业界做多模态情感分析的主流思路一致——不是让两个模型打架选一个赢家而是设计好各自的适用区间和降级策略。资源里把这条管线拆成了清晰的模块视频流处理、音频流处理、特征提取、情绪分类、置信度融合、下游反馈每个模块都留有独立调试的接口。第一次打开工程的人可能会被模块数量吓到但真正跑通之后会发现这种拆分恰恰是后面调参不失控的关键。2.2 数据集选型与标注口径大多是成年人青春期样本是稀缺品做情绪识别绕不开数据集。公开资源里常见的是 CK、FER2013、AffectNet 这三类。CK 是实验室采集的标注质量高、动作幅度标准但场景单一、类别不均衡FER2013 是网络图片集48×48 灰度图噪声大但胜在「真实世界的丑」AffectNet 规模大、质量不错商用前要仔细查授权条款。这套资源在文档里建议的组合是训练主模型用 CK 做迁移学习的起点用 FER2013 做数据增强对抗噪声再自采一小部分目标场景数据做微调。自采数据这一步建议不要省。公开数据集里 1317 岁样本占比非常低而青春期面部骨骼发育、皮肤状态都跟儿童、成人有明显差异。我见过一个团队用纯 FER2013 训练出的模型在成人测试集上准确率 72%一到初中教室里直接掉到 55%原因就是训练分布里压根没有「少年脸」。资源里给的自采建议是找 3050 名志愿者在教室、机房、走廊三种光照条件下各录两分钟自然对话人工标注主要情绪段作为独立测试集而不是训练集专门用来验证模型在真实场景下的表现。2.3 情绪维度建模离散标签和连续值不是二选一情绪建模有两种主流口径离散类别和连续维度。离散类别就是常见的六大类——生气、厌恶、恐惧、开心、悲伤、惊讶直观、好标注、适合做互动游戏触发但缺点也很明显真实情绪大多是混合的一个孩子可能是「又生气又委屈」硬塞进单标签就丢失了信息。连续维度用的是 Valence-Arousal 二维空间Valence 是愉悦度负到正Arousal 是唤醒度平静到激动能描述混合情绪和强度渐变但对非专业人士不直观。这套资源的做法是两层都保留模型内部输出概率向量和 VA 预估值应用层根据场景选择用哪套。前端互动游戏、情绪动画用离散标签因为用户需要「可理解」的反馈趋势分析、报告生成用 VA 连续值因为统计上连续值能看出「焦虑水平持续偏高」这类离散标签看不出的渐变趋势。标注时有一条硬规矩值得记住只标主情绪不标混合情绪。让标注员在六个类别里只选一个最突出的混合情绪交给 VA 值去表达这样标注一致性才能保证。2.4 轻量化部署导出 ONNX 再上设备模型训练在 PyTorch 里做没问题但真正跑到咨询室的普通电脑上PyTorch 的动态图和显存开销是累赘。这套资源的工程目录里给了导出脚本把训练好的表情分类模型转成 ONNX再用 ONNX Runtime 做推理。这是一个值得养成的习惯训练和推理分离模型交付物是一个 .onnx 文件不依赖训练框架。import torch import onnxruntime as ort # 加载训练好的模型切换到 eval 模式 model EmotionCnn(num_classes6) model.load_state_dict(torch.load(emotion_model.pt, map_locationcpu)) model.eval() # 构造一个 dummy 输入形状跟训练时的输入一致 dummy_input torch.randn(1, 3, 48, 48) # 导出 ONNXopset 版本要跟 onnxruntime 匹配 torch.onnx.export( model, dummy_input, emotion_model.onnx, input_names[input], output_names[logits], dynamic_axes{input: {0: batch}}, opset_version15 ) # 用 ONNX Runtime 验证导出结果 session ort.InferenceSession(emotion_model.onnx) outputs session.run(None, {input: dummy_input.numpy()}) print(outputs[0].shape)这段代码里有两个参数直接影响部署效果。opset_version 决定了算子兼容范围15 这个版本对 CPU 设备支持最稳老电脑不用折腾。dynamic_axes 把 batch 维设成动态这样模型既支持单帧推理也支持批量回放测试。导出后建议用同一批测试集跑一遍 ONNX 和 PyTorch 的输出差异误差应该在 1e-5 以内才算导出成功。这套资源把推理端全部基于 ONNX Runtime单机 CPU 处理一个会话的实时识别完全够用不需要 GPU。3. 面部与语音识别落地检测器、特征与阈值3.1 人脸检测与关键点MediaPipe Face Mesh 的工程用法人脸表情识别第一步是拿到人脸关键点MediaPipe Face Mesh 在这个场景下比 MTCNN 和 RetinaFace 更顺手因为它直接给出 468 个三维关键点省掉了自己写关键点对齐的环节而且 CPU 上跑得很轻松。资源里的实现思路是用 OpenCV 读视频帧Face Mesh 出关键点然后根据关键点截取眼部、眉部、嘴部区域送表情分类模型。import cv2 import mediapipe as mp mp_face_mesh mp.solutions.face_mesh face_mesh mp_face_mesh.FaceMesh( static_image_modeFalse, max_num_faces1, min_detection_confidence0.5, min_tracking_confidence0.5 ) cap cv2.VideoCapture(0) while cap.isOpened(): ret, frame cap.read() if not ret: break rgb cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) results face_mesh.process(rgb) if results.multi_face_landmarks: landmarks results.multi_face_landmarks[0] # 取左右眼、眉毛、嘴部关键点索引 eye_left landmarks.landmark[33] eye_right landmarks.landmark[263] mouth_curve landmarks.landmark[13] h, w frame.shape[:2] x, y int(mouth_curve.x * w), int(mouth_curve.y * h) cv2.circle(frame, (x, y), 3, (0, 255, 0), -1) cv2.imshow(Face Mesh, frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()min_detection_confidence 和 min_tracking_confidence 这两个参数别看默认值。检测置信度阈值建议维持在 0.5调太高会导致侧脸或快速转头时直接丢帧跟踪置信度可以适当放宽到 0.4。实际跑起来最容易翻车的不是阈值而是关键点抖动——镜子反光、眼镜框、刘海都会让个别关键点在两帧之间跳几个像素后端的表情分类就会跟着抖。常用的做法是对关键点坐标做移动平均平滑窗口取 5 帧左右。3.2 表情分类与 AU 编码标签映射是第一个坑Face Mesh 只负责定位情绪判定还要靠分类模型。资源里给了两条路线一是直接训练一个轻量 CNN 输出六个类别概率二是先识别表情动作单元AU即 Facial Action Unit再按 AU 组合映射到情绪类别。第二条路线更接近心理学研究的做法AU 4 是眉毛下压、AU 12 是嘴角上拉愤怒和开心在 AU 层面有明显差异但 AU 标注数据难搞工程上直接用分类模型更省事。分类模型的输入不是整张脸而是从 468 个关键点里切出的兴趣区域。这套资源用的是 48×48 灰度图把眼睛、眉毛、嘴部区域缩放后拼接成一张图。这里有个域名坑拼接后的图像分布跟完整人脸图差异很大所以不能拿预训练的人脸表情模型直接微调要重新跑一个训练流程。输出层用 softmax 出六个概率后先别急着 argmax性别差异和个体差异会导致同一个人在不同光线条件下面部信号不稳定直接取最大概率会让动画角色像个神经质一样跳来跳去。3.3 语音通道去噪、基频提取与变声期问题语音侧的特征提取资源里用的是 librosa主要算三类特征基频 F0对应音高、短时能量对应响度、语速估计。青春期孩子说话的特点跟成年人差别很明显情绪激动时语速变快、F0 上扬情绪低落时语速变慢、能量下降、句尾拖长。但提取 F0 之前音频必须先做去噪和 VAD 语音活动检测否则风扇声、空调声都会被当成语音信号。import librosa import numpy as np # 读取音频段sr 统一用 16000降低计算量 y, sr librosa.load(voice_segment.wav, sr16000) # 用 pyin 算法提取基频范围按青少年设置 70~400Hz f0, voiced_flag, voiced_probs librosa.pyin( y, fmin70, fmax400, srsr, frame_length512 ) # 过滤无声段计算统计量 f0_clean f0[~np.isnan(f0)] f0_mean np.mean(f0_clean) f0_std np.std(f0_clean) # 短时能量和语速粗略估计 rmse librosa.feature.rms(yy) energy_mean np.mean(rmse) print(fF0均值: {f0_mean:.1f}Hz, F0标准差: {f0_std:.1f}Hz, 能量均值: {energy_mean:.3f})pyin 的 fmin 和 fmax 是基频搜索范围这个参数对青春期用户尤其敏感。成年男性 F0 大约在 85180Hz成年女性在 165255Hz但初中男生的变声期可以横跨 100350Hz女生的波动也比成年人宽。如果按成人标准设置变声期男生的高音段会被当成异常值丢掉。资源里的做法是把这个参数做成可配置项用户第一次使用时做一个 30 秒的「音高校准」录音自动算出个人 F0 范围再写回配置。3.4 ASR 文本兜底与双模态融合时机语音通道除韵律特征外还有一个兜底玩法把音频段转成文字做文本情感分析。这就是 ASR自动语音识别模块的角色。现代 ASR 引擎对中文的支持已经很成熟多语种和方言口音的识别能力也比前几年强了不少青春期孩子的口语化表达、语气词基本都能转写出来。文本侧的情感判断重点看三类线索情绪词烦、烦死了、否定词不想、别管我、停顿和重复。这套资源的融合策略是分两个阶段走面部通道可用时语音做复核只输出「一致/不一致」信号不一致时加权降低整体置信度面部通道丢帧超过 30 秒时语音单独输出标签但置信度上限压低到 0.65。这样避免了一个通道完全主导导致系统性偏置。4. 从情绪标签到动画反馈映射表与交互触发逻辑4.1 参数化表情动画SVG 关键帧驱动情绪判定出来了怎么反馈给用户是本套资源最见功夫的地方。用一段文字弹窗说「检测到您很生气」是灾难性的青春期用户只会想砸摄像头。这套资源用了一个在儿童心理产品里很常见的手法——把情绪做进卡通角色里用参数化表情动画让角色「替用户表达」。SVG 定义脸部各个部位通过 JavaScript 控制参数变化来产生动画。const faceParams { browAngle: 0, // 眉毛倾斜角度负值内高外低 browRaise: 0, // 眉毛上抬程度 eyeOpen: 1.0, // 眼睑开度1正常0.3表示半闭 mouthCurve: 0, // 嘴角弧度正向上扬负向下压 pupilSize: 1.0 // 瞳孔大小 }; let current { ...faceParams }; let target { ...faceParams }; function setEmotion(emotion) { const map { angry: { browAngle: -25, browRaise: 0.2, eyeOpen: 0.8, mouthCurve: -10, pupilSize: 0.7 }, sad: { browAngle: 20, browRaise: 0.1, eyeOpen: 0.5, mouthCurve: -15, pupilSize: 1.0 }, happy: { browAngle: 10, browRaise: 0.4, eyeOpen: 0.9, mouthCurve: 18, pupilSize: 1.1 } }; target map[emotion] || faceParams; } function animate() { // 按每帧 0.08 的比例向目标值逼近形成缓动效果 for (const key in current) { current[key] (target[key] - current[key]) * 0.08; } updateFaceSvg(current); requestAnimationFrame(animate); } animate();动画插值用的是简单的指数缓动每帧向目标逼近 8%大概 40 帧后视觉上进入稳定状态。这个 0.08 的系数是经验值太大会让表情切换很生硬太小球磨叽像慢动作。SVG 的优点在浏览器场景很明显——体积小、样式可控、动画流畅不需要加载任何动画引擎。这套资源里角色是二维卡通风格不追求写实因为写实人脸表情会让用户产生「被监视」的不适感卡通风天然的「非人感」反而能降低防御心理。4.2 六大情绪到动画参数的映射规则资源里把六大情绪映射成了一套可配置的表不只是表情参数还包括动画节奏和配色。愤怒时瞳孔缩小、眉角下压动画节奏快背景偏红悲伤时眼睑半闭、嘴角下压动画节奏慢背景偏蓝惊讶时眼睛睁大、眉毛大幅上抬动画节奏急促但持续时间短。一整套映射做下来情绪状态就变成了用户可以感知的视觉语言。映射表里最容易被忽略的是「唤醒度对节奏的影响」。同样是开心狂喜和窃喜的 Arousal 完全不同。给前端传参时不只传离散标签还带一个 0~1 的强度值动画插值速度直接跟强度挂钩。强度 0.9 的开心眨眼频率快、角色轻微弹跳强度 0.3 的开心只是嘴角微微上扬。这个细节决定了动画是「替用户表达」还是「像个小丑在表演」。4.3 互动游戏触发逻辑先安抚、后游戏互动游戏不是拿来奖励用户的是拿来调节状态的。这套资源里的触发逻辑遵循「先安抚、后游戏」的排序高唤醒负向情绪比如愤怒、焦虑先推呼吸引导或情绪命名不做任何游戏低唤醒负向情绪比如低落推轻度认知活动比如情绪卡片配对正向情绪推创作类游戏。这个排序背后是有情绪心理学依据的高唤醒状态下直接上游戏会让用户把「愤怒」和「游戏奖励」建立关联反而强化负向情绪的行为链。资源里给了触发规则代码每条规则就是一个简单的条件判断加上时长冷却。游戏时长有硬上限每天累计超过 25 分钟自动切换到书写或绘画类表达活动避免用户把情绪调节工具当成游戏机。4.4 负向情绪的回应边界青春期用户的负向情绪有一个特别容易踩的雷劝他开心。系统识别到悲伤后如果动画角色跳出来说「别难过了我们来玩个游戏吧」用户只会觉得被冒犯。资源的做法是让角色先做「无评价陪伴」——安静的陪在屏幕里说一句非常中性的「我在这里」然后提供一个安全出口可以是情绪命名「你现在的感觉是不是愤怒」可以是绘画涂鸦也可以是「暂时不想说」的退出选项。情绪动画生成在这个环节承担的是「容纳」containment功能。心理学里讲容纳指的是当一个孩子情绪失控时旁边有一个稳定的、不评判的存在能接住他的情绪。这套系统的动画角色就承担这个角色情绪再激烈角色的回应都是稳定的、缓慢的、可预测的。资源里专门有一条设计规范任何情况下角色不允许表现出害怕、厌恶或躲避。这条规范写进了前端交互文档比任何算法参数都重要。5. 情绪记录、报告生成与调节训练数据闭环才是价值5.1 情绪事件的数据结构与本地存储识别和反馈只是前三分之一这套资源真正的价值在把情绪数据沉淀下来。系统把每一次识别判定记录为一条「情绪事件」包含时间戳、六类概率分布、VA 值、置信度、来源模态、关联的游戏或训练活动、用户最终确认标签。存储用 SQLite轻量、单文件、不需要单独部署数据库服务。import sqlite3 import json from datetime import datetime conn sqlite3.connect(emotion.db) conn.execute( CREATE TABLE IF NOT EXISTS emotion_events ( id INTEGER PRIMARY KEY AUTOINCREMENT, user_id TEXT NOT NULL, ts TEXT NOT NULL, emotion_label TEXT NOT NULL, prob_vector TEXT NOT NULL, valence REAL, arousal REAL, confidence REAL, source TEXT, activity_id TEXT, confirmed INTEGER DEFAULT 0 ); ) def save_event(user_id, label, probs, valence, arousal, confidence, source): conn.execute( INSERT INTO emotion_events (user_id, ts, emotion_label, prob_vector, valence, arousal, confidence, source) VALUES (?, ?, ?, ?, ?, ?, ?, ?), (user_id, datetime.now().isoformat(), label, json.dumps(probs), valence, arousal, confidence, source) ) conn.commit()设计这张表时有两点是故意的prob_vector 用 JSON 存六个概率方便后续重新分析时用不同的聚合口径confirmed 字段留给用户事后确认——用户可以在每天结束时浏览当天的情绪时间线手动修正哪些标签「不像我」这些修正过的样本就是最有价值的微调数据。存储层面有一条红线只存特征、标签和统计量不存原始人脸照片和音频片段。青春期情绪数据属于敏感个人信息这套资源在这块的处理是「本地优先、特征替身」——原始数据用完即删留存的数据不足以还原人脸。5.2 周报统计口径与可视化输出情绪记录积累之后就要产出报告。这个模块最大的坑是统计口径直接按天数取平均值会被高频采样扭曲。一个孩子某天下午连续测了 30 次都是愤怒这一天就会把整周数据拉爆。资源里给的口径是「有效识别时长内采样点按比例聚合」——先把一天切成 5 分钟一个窗口每个窗口取主导情绪然后按窗口占比统计。这样单次情绪波动不会被放大长时间的情绪趋势才能显形。可视化用 matplotlib 生成周趋势面积图和情绪分布饼图。面积图横轴是一周七天纵轴是各情绪占比重点看的是「愤怒面积连续三天不降」这类趋势信号饼图看整体分布。报告按周自动生成输出格式是图片加摘要文本摘要文本由 LLM 辅助生成但统计数字一律由程序计算LLM 只负责把中性数字翻译成可读的语言——这个分工很重要能避免模型瞎编数字。5.3 调节训练内容组织呼吸引导与认知重评调节训练模块是这套资源里内容密度最高的部分。呼吸引导是最基础的盒式呼吸 4-4-4-4 节奏吸气 4 秒、屏息 4 秒、呼气 4 秒、停留 4 秒动画角色用变化的气泡引导节奏。认知重评训练更进一步把用户最近记录的情绪事件拿出来给三种替代解释让用户选择哪个更合理。这套资源里预置了一个场景库场景全部来自青春期真实咨询案例脱敏改写而不是通用成人场景。训练和游戏的区别在于有没有「过程性反馈」。游戏只关注结果训练关注用户在过程中的选择。资源里有一个「情绪日记」模块每天结束时引导用户用语音说一段今天最强烈的感受ASR 转写成文字系统只做关键词标记不做内容评判。这个模块对 NLP 能力要求不高但情感价值很高——很多孩子不愿意写字但愿意对手机说话。5.4 LLM 辅助报告评语的提示词设计报告生成里 LLM 的角色要圈得很紧。提示词的设计直接决定报告会不会越界这里给一段资源里实际使用的参考模板。prompt f 你是一个青少年心理关怀产品的报告辅助助手。 以下是本周情绪统计数据请用 100 字以内写一段给家长看的综述。 要求 1. 只描述统计事实不做任何诊断或疾病推测 2. 不使用「抑郁」「焦虑症」「心理障碍」等临床词汇 3. 结尾必须加上「本报告仅基于情绪记录统计不构成任何诊断」 4. 语气平和中立不渲染、不吓唬家长。 数据 正向情绪占比{pos_ratio:.1f}% 负向情绪占比{neg_ratio:.1f}% 愤怒情绪连续天数{angry_streak}天 平均唤醒度{avg_arousal:.2f} 这段提示词里最有价值的是负面约束而不是正面要求。「不使用临床词汇」和「不构成诊断」这两条直接决定了报告的合规边界统计趋势是「这孩子上周生气比较多」不可以说成「有攻击性倾向」。这套资源里把提示词写成了配置文件换模型、换语气风格都不需要动代码。6. 避坑记录五类让情绪识别系统翻车的现场还原6.1 光线偏暗时中性脸被识别成悲伤现象傍晚房间只开台灯孩子面无表情坐在镜头前系统连续报「悲伤」动画角色开始播安慰语音孩子一脸莫名其妙。原因表情分类模型在 FER2013 这类明亮数据集上训练低照度下人脸纹理信息大量丢失全局亮度下降被模型误判为情绪负向偏移。解决加一道光照补偿预处理把平均亮度低于阈值的帧直接降权重同时配置「低置信度流程」——光线不足时不触发具体情绪动画只显示等待状态。后来我把光照检测做成了独立模块亮度值低于 80 lux 直接走旁路。6.2 变声期男生的基频被误判为激动现象一个 13 岁男孩平静说话时 F0 被提取到 280Hz系统判定为「高唤醒」反复推荐呼吸训练用户不知道为什么。原因变声期男生声带发育不稳定F0 横跨范围极大按成人性别分组的音高模型完全不适用。解决把音高校准做成首次启动必做步骤30 秒录音自动估算个人 F0 的合理区间特征提取时用相对值而不是绝对值。从那以后我每接一个青春期项目都会强制走一遍音高校准流程。6.3 眼镜框反光导致关键点抖动现象戴眼镜的用户表情稳定但动画角色呈现「抽搐式」表情切换每隔几帧跳一次。原因MediaPipe Face Mesh 在镜框反光区域的关键点在两帧之间跳动嘴部、眉部索引点的坐标不稳定后续分类模型被喂入了异常输入。解决给关键点做移动平均平滑窗口 5 帧并剔除单帧超过 3 个像素的跳变同时加一个「穿戴模式」开关用户戴眼镜时降低跟踪置信度阈值、提高平滑强度。6.4 低置信度强行出标签触发用户对抗现象用户发现系统总在「瞎猜」开始故意对着镜头做夸张表情系统给出错误反馈用户更用力地做鬼脸形成恶性循环。原因置信度 0.35 的时候也硬要输出一个具体情绪标签产品逻辑上不允许「我不知道」结果就是错误反馈摧毁了用户信任。解决设定双阈值——置信度超过 0.7 才输出具体情绪反馈0.40.7 之间输出中性反馈低于 0.4 不触发任何角色动作只静默记录。低确定性状态下宁可没有反馈也不能给错误反馈。6.5 周报措辞越过非诊断红线现象一份周报摘要里出现了「您的孩子可能有抑郁倾向」家长拿着报告要带孩子去医院。原因LLM 生成评语时没有做词汇约束统计事实被模型扩写成了推测性诊断。解决在提示词里加入禁用词清单和硬性结尾要求同时在代码层做一次输出文本的敏感词过滤命中临床词汇直接降级为纯数据模板报告。情绪统计永远不等同于临床诊断这条边界最终靠的是技术手段而不是模型自觉。从那以后我每次调完识别阈值、平滑窗口或提示词模板都会拿一套固定的回放数据自动跑一遍回归专门盯着这三类问题误判、抖动、越界措辞。这套习惯帮我挡掉了至少三次上线后翻车。这套资源里的模块化拆法和置信度策略我用着顺手希望帮到你。本文还有配套的精品资源点击获取