简介面向目标检测与人脸表情识别开发者资源提供基于YOLOv8算法的人脸表情识别训练权重与配套数据集。数据集已完成train、val、test划分并附有data.yaml配置类别涵盖anger、happy、sad、surprise四种表情txt格式标签可直接用于YOLOv5、YOLOv7、YOLOv8、YOLOv9等主流YOLO系列算法的模型训练。压缩包共2000个文件大小114.27MB其中678个jpg样本图片与602个txt标签构成训练数据主体134个py脚本和58个yaml文件用于训练配置与流程管理另含1个pt权重文件、推理代码及相关文档便于快速上手。目前已有1434人学习下载适合需要节省数据准备时间、直接进行表情识别模型训练与验证的算法工程师和研究者可帮助快速搭建实验环境并复现检测效果。1. YOLOv8人脸表情识别训练权重和数据集先想清楚这三件事YOLOv8人脸表情识别听起来是个能跑的Demo但真要拿到一套自己说了算的训练权重第一步就卡在数据集上。这个方向的主流做法是把表情识别当成目标检测来训练模型同时输出人脸框和表情类别angry、happy、neutral等7类一套权重端到端完成检测与识别比传统的“人脸检测表情分类”两段式更快部署也更省事。适合谁想做课堂注意力分析、智能硬件表情回传或者手里有一批人脸数据想练手的人。新手按这篇能把公开数据集转成YOLO格式、跑通训练并验证熟手可以直接跳到第4章的参数表和第5章的踩坑实录。下面按实操顺序推进先选技术路线再整理数据集然后训练和验证权重最后落到视频流的置信度调优。2. 技术路线选型为什么用YOLOv8做表情识别而不是两段式2.1 检测头直接带分类YOLOv8的decoupled head对细粒度分类更友好YOLOv8是anchor-free检测器预测头拆成两个分支分类分支输出每个候选框的类别概率回归分支输出框的位置。两个分支解耦之后分类任务不会被回归任务的损失拖着走这个结构对表情这类细粒度分类任务是有实际收益的。表情识别的难点在于类间差异小surprise和fear、happy和surprise在面部肌肉特征上非常接近。把表情直接当成检测类别来训练等于让模型在框住人脸的同时提取细粒度特征比“先框人、再裁剪、再分类”少了一次二次裁剪的信息损失。框的位置和分类结果来自同一个特征图训练时梯度同时回传到共享特征层整体上更稳。另外还有一个现实原因表情识别的公开数据量普遍不大而yolov8n.pt这种COCO预训练权重已经把底层特征边缘、纹理、器官位置学得很扎实了。用它做微调不需要从头训练就能在几千张表情图上收敛这是这个方向能低成本落地的前提。常见选型是yolov8n起步数据量大或对精度要求高再上yolov8s。2.2 和“人脸检测表情分类”两段式对比以及cls版本的取舍做表情识别不止一条路我列一个对比表方便你对号入座。方案模型结构优点缺点适合场景检测一体本标题路线YOLOv8检测模型一张图出人脸框表情类别一次推理、部署简单、端到端框和分类耦合框不准会拖累分类摄像头实时、嵌入式设备两段式专用人脸检测模型 ResNet/MobileNet分类器每段独立调优可以分别换模型两套权重、pipeline复杂、误差累加遮挡/大角度等对框精度要求极高的场景YOLOv8-cls分类模型输入必须是已裁剪好的人脸图训练最快、代码最少不能出框依赖外部检测器纯分类实验、已有稳定人脸框我的倾向很明确实时场景选检测一体。推理延迟是一次而不是两次线上维护只需要盯一个模型的指标。什么时候用两段式当你的人脸检测必须换成专用模型比如强遮挡、超大人脸角度时两段式更灵活分类器可以单独换更强的backbone。什么时候用cls版如果你手里的数据是FER2013这种已裁剪人脸图、而且业务上不需要出框cls版本两三行代码就能跑通适合先验证想法再决定要不要做检测一体。一个必须提前想清楚的细节检测一体方案的数据标注有两种形态。数据源是裁剪好的人脸图标签框就是整张图数据源是含背景的整图则需要真实的人脸框坐标。这个差别直接决定下一章的数据转换脚本怎么写下面展开。3. 数据集整理从公开表情数据集到YOLO格式的完整转换3.1 数据来源与类别取舍公开数据集怎么选、7类怎么对齐表情识别常用的公开数据集就那几个我按实战体验排个优先级。数据集规模图像特点标签形式适合用途FER2013约3.6万张灰度48x48单张居中人脸CSV类别像素值起步练手、跑通流程RAF-DB约3万张彩色、真实场景人脸框关键点表情类别提升精度上限AffectNet40万彩色、网络采集类别框大规模预训练但噪声大新手我建议直接用FER2013起步量大、划分现成、CSV格式解析简单。它的缺点是灰度、低分辨率、部分标签本身是错的所以跑通流程后想上线得换RAF-DB这类彩色真实场景数据。AffectNet体量大但下载麻烦、标注噪声也大不建议第一个项目就碰。类别对齐是最容易忽略的一步。FER2013的7类顺序是0到6angry、disgust、fear、happy、neutral、sad、surprise。有的数据集多一个contempt要么删掉要么合并到其他类别顺序必须写进data.yaml之后训练和推理全部依赖这个顺序。类别顺序定错训练出来的权重就是一张错位的表。划分数据时要做分层抽样保证每个类别在train和val里的比例一致。FER2013自带Training/PublicTest/PrivateTest划分直接用就行其他数据集建议用带stratify的划分函数避免少数类全落到val里。3.2 转YOLO格式目录结构、标签归一化与可视化自检YOLO的标签格式是类别id、中心点x、中心点y、宽w、高h全部归一化到0到1之间。FER2013每张图都是居中的单张人脸所以标签框就是整张图也就是“0.5 0.5 1.0 1.0”。目录结构固定为下面这样train和val各自有images和labels两个目录face_expr/ ├── data.yaml ├── images/ │ ├── train/ │ └── val/ └── labels/ ├── train/ └── val/从FER2013的CSV转成YOLO格式脚本如下import csv import cv2 import numpy as np from pathlib import Path src Path(fer2013.csv) out Path(face_expr) for split in (train, val): (out / images / split).mkdir(parentsTrue, exist_okTrue) (out / labels / split).mkdir(parentsTrue, exist_okTrue) count {train: 0, val: 0} with open(src) as f: for row in csv.DictReader(f): # FER2013自带划分Training当trainPublicTest和PrivateTest当val split train if row[Usage] Training else val emotion int(row[emotion]) # pixels是48x482304个灰度值按行优先reshape pixels np.array(row[pixels].split(), dtypenp.uint8).reshape(48, 48) idx count[split] img_path out / images / split / f{idx:05d}.jpg cv2.imwrite(str(img_path), pixels) # 单通道数组直接写灰度jpg # 人脸占满整图类别id 中心点(0.5,0.5) 宽高(1.0,1.0) (out / labels / split / f{idx:05d}.txt).write_text( f{emotion} 0.5 0.5 1.0 1.0\n ) count[split] 1逻辑说明逐行读CSV按Usage字段分流到train或valpixels是空格分隔的2304个数值reshape成48x48的灰度图后用cv2写盘。idx按split分别计数保证train和val各自从00000开始编号。标签文件与图片同名但扩展名不同.txt对应.jpgYOLO训练时按前缀自动匹配。关键点全图框成立的前提是数据集里的人脸已经居中且基本占满。FER2013满足这个条件但如果你换到含背景的整图数据集必须有人脸框坐标不能套全图框。data.yaml放在face_expr目录下path: face_expr train: images/train val: images/val nc: 7 names: 0: angry 1: disgust 2: fear 3: happy 4: neutral 5: sad 6: surprise提示names的顺序就是训练时类别的唯一依据中途不要改顺序否则旧权重和新标签会对不上。转换完别急着训练先做可视化自检随机抽20张图把框和类别名画上去import random import cv2 from pathlib import Path names [angry, disgust, fear, happy, neutral, sad, surprise] def preview(img_path: Path, label_path: Path, out_path: Path): img cv2.imread(str(img_path)) h, w img.shape[:2] for line in label_path.read_text().strip().splitlines(): cls, cx, cy, bw, bh map(float, line.split()) x1 int((cx - bw / 2) * w) y1 int((cy - bh / 2) * h) x2 int((cx bw / 2) * w) y2 int((cy bh / 2) * h) cv2.rectangle(img, (x1, y1), (x2, y2), (0, 255, 0), 2) cv2.putText(img, names[int(cls)], (x1, max(y1 - 5, 10)), cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0, 255, 255), 2) cv2.imwrite(str(out_path), img) img_dir Path(face_expr/images/train) label_dir Path(face_expr/labels/train) out_dir Path(preview) out_dir.mkdir(exist_okTrue) images sorted(img_dir.glob(*.jpg)) for p in random.sample(images, min(20, len(images))): preview(p, label_dir / (p.stem .txt), out_dir / p.name)这段脚本比训练完再看混淆矩阵便宜得多框和脸错位、类别名错位一图就能暴露。我自己的习惯是每次转完数据集都跑一遍确认没问题再进训练。4. 训练权重最小命令、关键参数与结果验证4.1 最小训练命令从COCO预训练权重微调数据集就绪后训练命令比想象中短yolo detect train \ dataface_expr/data.yaml \ modelyolov8n.pt \ epochs80 \ imgsz320 \ batch16 \ device0 \ patience20 \ cacheram逻辑说明model指向yolov8n.pt这个COCO预训练权重微调而不是从零训练收敛会快非常多。imgsz这里用320而不是640因为人脸crop图本身是48x48的小图放大到640只是增加计算量并不会带来更多信息如果数据是含背景的整图再考虑640。device0表示用第一块GPUCPU训练改成devicecpu但速度会慢一个量级。cacheram把数据集缓存进内存减少每轮重复读盘。微调时我常用的参数和改法整理成表参数常用值什么时候改lr00.005数据量小或过拟合时降到0.001batch16~32显存不够就降OOM的解法见第5章imgsz320 / 640人脸crop用320整图用640patience15~20想多跑就调大但表情任务20轮足够早停mosaic1.0默认标签是全图框时改成0.0避免拼接出乱框dropout0.0~0.1小数据集过拟合时开到0.1Python API是等价写法适合在训练前后接自定义逻辑from ultralytics import YOLO model YOLO(yolov8n.pt) model.train( dataface_expr/data.yaml, epochs80, imgsz320, batch16, lr00.005, patience20, cacheram, )4.2 训练曲线与混淆矩阵怎么判断权重能不能用训练完成后runs/detect/trainN/目录下会生成results.png和confusion_matrix.png。N是递增序号第一次训练是train第二次是train2以此类推。判断权重能不能用我看三样东西第一三个loss曲线box_loss、cls_loss、dfl_loss。cls_loss是表情分类的核心指标它如果不往下降说明模型根本没学到类别差异。第二precision、recall、mAP50三条曲线。表情7类任务上我个人的合格线是mAP50到0.85以上0.9以上算相当好如果长期卡在0.7附近优先查数据而不是调参。第三confusion_matrix.png里看哪些类别互相混最常见的是surprise和fear、happy和surprise这类视觉接近的类别对。如果想要一份独立的验证结果可以对best.pt单独跑一次valyolo detect val \ modelruns/detect/train/weights/best.pt \ dataface_expr/data.yaml它会重新在val集上输出混淆矩阵和各类别的precision/recall。best.pt是按验证集指标自动保存的最优权重部署时用best.pt不要用last.pt。上线前还有一个习惯动作把val集里预测错的图打印出来肉眼确认是标注错还是模型错这比盯着数字猜高效得多。提示第一次跑通别贪多。epochs80、yolov8n、batch16这个组合在小显存卡上也能完成先拿到一套能用的权重再谈优化。4.3 导出权重与单张推理验证训练权重要落地通常先导出ONNX方便接到其他推理框架yolo export modelruns/detect/train/weights/best.pt formatonnx imgsz320导出后建议做一次一致性检查用同一张图对比PyTorch和ONNX的输出类别一致、坐标误差在可接受范围再继续。单张推理验证用Python接口from ultralytics import YOLO model YOLO(runs/detect/train/weights/best.pt) res model.predict(test_face.jpg, conf0.4, imgsz320, verboseFalse)[0] if res.boxes is not None: for box in res.boxes: x1, y1, x2, y2 box.xyxy[0].tolist() conf float(box.conf[0]) cls int(box.cls[0]) print(model.names[cls], round(conf, 2), [round(v, 1) for v in (x1, y1, x2, y2)])参数说明conf是置信度阈值0.4到0.5是常见区间低于阈值的结果会被丢掉。predict返回的是一个结果列表[0]是当前这张图的结果res.boxes为None说明没有检测到人脸。推理时的imgsz要和训练时一致或接近否则框的误差会明显变大。这一步跑通权重才算真正“能用”。5. 训练踩坑实录5个高频问题与排查思路5.1 数据侧的两个坑标签错位与类别不平衡坑1FER2013转图后人脸颠倒或标签框对不上现象训练loss能降但val mAP一直压在0.5以下训练结束看可视化预览发现框和脸错位或者人脸是倒的。原因CSV的pixels是按行存储的2304个值reshape时顺序写错或者把灰度数组当三通道处理导致颜色错乱。解决训练前必须跑一遍第3.2节的预览脚本随机抽30张看框和类别reshape直接用pixels.reshape(48, 48)不要手动转置。这个坑不查数据是永远想不通的属于玄学表象、数据本质。坑2disgust、fear这类少数类几乎学不出来现象confusion_matrix里对应类别那一行几乎全空recall接近0。原因FER2013里happy有9000多张disgust只有几百张模型被多数类带偏少数类的梯度被淹没。解决常见做法是复制少数类样本并加轻度翻转、平移增强把少数类数量抬到多数类的三分之一以上或者按类别数量设置采样权重。也可以两阶段训练先全体训练再单独对少数类微调几个epoch。注意复制样本时要加增强否则模型会把复制件当同一张图记住照样过拟合。5.2 训练侧与推理侧的坑过拟合、显存溢出与单帧抖动坑3小数据集过拟合val mAP不升反降现象train loss一路降val mAP在40个epoch后进入平台甚至下跌best.pt停在很靠前的epoch。原因数据量小、模型容量大。yolov8s在这个任务上明显过剩几千万参数去拟合几千张表情图学到的多半是噪声。解决先用yolov8n开启轻度数据增强hsv_h、hsv_s这些默认值就够用dropout开到0.1patience设15到20让它果断早停。不要一上来就堆epochs表情任务的收益在头40个epoch基本就到头了。坑4训练第一个epoch就报CUDA out of memory现象日志里出现显存不足的报错训练直接中断。原因batch设太大、cacheram把数据集一次性扛进内存、或者imgsz和原始图像分辨率叠加放大。解决batch降到8或16cache改False或cachediskimgsz从640降到320还没解决就换yolov8n或者关掉其他占显存的进程。如果用的是笔记本小卡batch8加cacheFalse是目前最稳的组合。坑5视频里表情标签在阈值附近来回跳现象同一张脸的表情在happy和neutral之间每几帧跳一次输出看着很不稳定。原因单帧分类置信度在conf阈值附近波动人脸框轻微移动导致裁剪区域变化分类结果被推来推去。解决把conf从0.4提高到0.5宁可不输出也不要乱输出更彻底的办法是第6章的帧间投票让输出具备时间连续性。注意遇到mAP上不去的现象排查顺序永远是数据、训练配置、模型结构。我踩过最久的一次问题出在标签文件里类别顺序和data.yaml的names不一致模型全程在学一张错位的表浪费了一整轮训练。所以训练前的那次可视化自检值得做。6. 把权重用到视频流置信度调参与帧间平滑6.1 实时推理的置信度策略摄像头场景和单张测试不一样单张可以慢慢调参数视频必须同时考虑抖动和延迟。conf阈值设高了漏检设低了误报。我的习惯是0.45起步再根据现场误报情况上下浮动0.05。如果业务上允许“无结果”阈值可以大胆往0.5以上提。6.2 帧间投票5帧窗口平滑表情输出针对单帧跳变的坑最实用的技巧是帧间投票import cv2 from collections import Counter, deque from ultralytics import YOLO model YOLO(runs/detect/train/weights/best.pt) cap cv2.VideoCapture(0) history deque(maxlen5) # 最近5帧的类别历史 while True: ret, frame cap.read() if not ret: break res model(frame, conf0.45, imgsz320, verboseFalse)[0] if res.boxes is not None and len(res.boxes) 0: boxes res.boxes.xyxy.cpu().numpy() areas (boxes[:, 2] - boxes[:, 0]) * (boxes[:, 3] - boxes[:, 1]) i int(areas.argmax()) # 多人场景取最大的人脸框 cls int(res.boxes.cls[i]) history.append(cls) final Counter(history).most_common(1)[0][0] # 5帧里出现最多的类别 print(model.names[final]) else: history.clear() # 人脸消失就清空历史避免残留旧结果逻辑说明取最大人脸框避免后排小脸干扰deque(maxlen5)天然只保留最近5帧Counter投票取出现次数最多的类别作为最终输出。窗口越大越稳但延迟越高5帧在30fps下约166ms延迟体感可接受。人脸消失时清空history否则人走之后还会残留旧表情。进阶做法场景固定教室、闸机时可以对人脸框做IoU追踪同一个ID只做该ID的投票避免不同人的表情混在一起。这套流程跑通后剩下的就是现场数据的持续迭代收集误判帧、人工修正标签、增量训练。表情识别没有一劳永逸的权重只有不断贴近你场景的数据。我自己每换一个场景第一件事永远是重新看数据分布而不是先调模型结构。希望帮到你。本文还有配套的精品资源点击获取