简介基于深度残差网络与AVEC2014数据集的抑郁症诊断系统Python项目面向期末大作业、课程设计与综合实践场景适合人工智能或计算机专业学习者用于掌握深度学习在心理健康评估中的应用路径。项目通过残差网络对语音、面部表情及文本语义等多模态行为特征进行分层提取并结合跨模态融合实现抑郁程度量化分析覆盖数据预处理、模型构建、训练验证与测试评估的完整流程。压缩包共15个文件以9个Python脚本为主涵盖数据载入、网络定义、训练、测试等功能另含备份文件和说明文档整体仅11KB结构紧凑便于二次开发。代码模块化设计支持参数调优与复现实验可作为课程设计的可靠工程参考。目前已有101人学习浏览适合希望快速获取可运行深度学习诊断系统的开发者。1. 基于ResNet的AVEC2014抑郁症诊断先把访谈数据变成图像再让网络打分一段十几分钟的医患访谈录像医生听完要花十分钟给PHQ-8量表逐项打分主观且耗人力——AVEC2014抑郁识别子任务要做的就是让机器看完这段访谈直接输出一个0到24的抑郁分数。这个任务的公开数据集来自DAIC-WOZ访谈库音频、视频、文本转录都齐很多人上来就想用端到端深度学习搞定它结果发现数据量只有几十个访谈直接训一个视频模型根本训不动。ResNet在这里的真正价值是当特征提取器把访谈录音切成片段、转成语谱图或伪图像再用ImageNet预训练权重冷启动微调后输出的MAE能压到4分以内。这篇笔记就把这套Python实现按数据准备、图像编码、模型改造、训练评估、踩坑记录的顺序完整写一遍适合正在做情感计算、数字医疗方向的研究生和算法工程师照着复现。2. 先搞清楚AVEC2014数据集申请、解包、标签对齐2.1 AVEC2014抑郁子任务与DAIC-WOZ回归问题标签是PHQ-8分数AVEC2014是Audio/Visual Emotion Challenge的2014年赛事抑郁子任务用的是DAIC-WOZ数据集。DAIC-WOZ是访谈语料库由一位虚拟 interviewer 引导参与者做问答内容覆盖工作、家庭、社交等维度全程录下音频和视频并带文本转录。每个参与者做完访谈后还会填一份PHQ-8抑郁量表总分0到24分分数越高抑郁倾向越明显。官方把数据切成三份训练集、开发集、测试集。训练集和开发集都会公开PHQ-8标签测试集的标签不公开要提交预测结果给官方评测。这个任务最容易被忽略的一点是它的评价性质它不是分类任务而是回归任务评测指标是预测分数与真实PHQ-8分数之间的MAE和RMSE。所以搭建模型时最后一层输出必须是一个连续值而不是softmax概率损失函数也要按回归来选不能用交叉熵。常见做法是把开发集当验证集用跑完所有实验后在测试集上提交一次结果。2.2 申请与解包一个访谈一个文件夹音频、转录、标签各就各位DAIC-WOZ数据集的获取不是直接点下载链接需要去AVEC挑战赛官网的数据申请页面填一份学术用途声明说明单位、研究方向和数据使用范围审核通过后会收到下载地址。整个压缩包解压后按访谈ID组织目录每个参与者一个文件夹里面包含音频文件、访谈转录文件和一个标签文件。不同年份的发布版本目录命名略有出入但典型的组织方式是AVEC2014/ ├── train/ │ ├── 301/ │ │ ├── 301_audio.wav │ │ ├── 301_transcript.csv │ │ └── 301_PHQ8.txt │ ├── 302/ │ │ ├── 302_audio.wav │ │ ├── 302_transcript.csv │ │ └── 302_PHQ8.txt │ └── ... ├── dev/ │ └── ... └── test/ └── ...拿到数据第一步不是急着提特征而是把文件路径和标签扫一遍存成结构化清单。我一般会写一个扫描脚本把每个参与者的ID、音频路径、转录路径、PHQ-8分数汇总成一个列表后面所有数据加载都基于这个列表避免每次都翻文件夹import os import re from sklearn.model_selection import train_test_split def scan_avec2014(root./AVEC2014, split_nametrain): samples [] split_dir os.path.join(root, split_name) # 每个访谈一个子目录目录名就是参与者ID for pid in os.listdir(split_dir): pid_dir os.path.join(split_dir, pid) if not os.path.isdir(pid_dir): continue wav_path os.path.join(pid_dir, f{pid}_audio.wav) phq_path os.path.join(pid_dir, f{pid}_PHQ8.txt) if not os.path.exists(wav_path) or not os.path.exists(phq_path): print(f[skip] {pid}: 音频或标签缺失) continue with open(phq_path, r, encodingutf-8) as f: phq8 float(f.read().strip()) samples.append({pid: pid, split: split_name, wav: wav_path, phq8: phq8}) return samples # 训练集和开发集都扫出来后续统一切验证集 train_samples scan_avec2014(train) dev_samples scan_avec2014(dev) print(f训练集访谈数: {len(train_samples)}, 开发集访谈数: {len(dev_samples)})这段代码的逻辑是把每个访谈的路径和标签对齐成字典。PHQ-8标签文件可能带换行符所以读取后做strip再转浮点。扫描过程中如果发现音频或标签缺失就跳过并打印方便排查压缩包是否解压完整。所有样本最后按split字段区分来源但注意训练集和开发集来自不同参与者这一点非常关键——后面按访谈ID划分验证集时不要混着切。2.3 按访谈ID切分训练和验证绝不能按片段切AVEC2014一个参与者有三四十分钟的访谈切成片段后能得到几百条样本但切分时必须保证同一参与者的所有片段只出现在训练集或只出现在验证集不能两边都有。原因是同一访谈的相邻片段在音频底噪、语速、情绪状态上高度相关如果训练集和验证集都含同一人的片段验证集的MAE会虚低给人模型效果很好的假象一上测试集就现原形。# 按访谈ID切分保证同一个人的片段不跨集合 all_pids list({s[pid] for s in train_samples dev_samples}) train_pids, val_pids train_test_split( all_pids, test_size0.2, random_state42 ) train_set [s for s in train_samples dev_samples if s[pid] in train_pids] val_set [s for s in train_samples dev_samples if s[pid] in val_pids] print(f训练片段数: {len(train_set)}, 验证片段数: {len(val_set)})这里直接把训练集和开发集的访谈合并再按PID做20%的随机切分。random_state固定为42保证可复现。如果机器配置不高可以只在训练集内部切验证集开发集留作最终评测但那样训练数据会更少容易过拟合。我通常的做法是把训练集加开发集合并起来做五折交叉验证每折都按PID切取五折MAE均值作为模型效果的估计这样比单次切分更稳定。3. 把访谈转成ResNet能吃的图像样本语谱图与伪图像两条路线3.1 音频转Log-Mel语谱图librosa提取与三组关键参数ResNet的输入是图像访谈录音是波形所以要先把wav变成图像。最直接的做法是提取Log-Mel语谱图把音频按短时傅里叶变换拆成时间-频率帧映射到Mel刻度再取对数压缩动态范围最后归一化成三通道图像。为什么用Mel刻度不用线性频率因为人耳对低频更敏感Mel刻度模拟了这种感知特性抑郁状态相关的语音韵律特征语速、停顿、基频变化主要集中在中低频段Mel刻度能把这些信息保留得更集中。import librosa import numpy as np def wav_to_mel_spec(wav_path, sr16000, n_fft512, hop_length128, n_mels64, fixed_width224): y, _ librosa.load(wav_path, srsr) # 统一长度固定宽度的语音片段避免ResNet输入尺寸不一致 target_len sr * 8 # 8秒一个片段 if len(y) target_len: y np.pad(y, (0, target_len - len(y))) else: y y[:target_len] S librosa.feature.melspectrogram( yy, srsr, n_fftn_fft, hop_lengthhop_length, n_melsn_mels ) log_S librosa.power_to_db(S, refnp.max) # ref必须给否则全负值 # 归一化到0-255复制成三通道适配ImageNet预训练输入 log_S (log_S - log_S.min()) / (log_S.max() - log_S.min() 1e-8) img (log_S * 255).astype(np.uint8) img np.stack([img, img, img], axis-1) return img这段代码里有三个参数对结果影响最大n_fft决定频率分辨率512对应31.25Hz的分辨率16000采样率下太小则频率模糊太大则时间分辨率下降hop_length决定时间帧步长128是n_fft的四分之一帧间重叠75%语谱图更平滑n_mels决定Mel滤波器个数64是平衡尺寸和信息的常用选择。这些参数不是死的如果你想抓更细的韵律特征可以试n_mels128但图像尺寸会变大训练更慢。注意power_to_db的ref参数一定要给不给默认ref1得到的是全负的dB值归一化后语谱图会整体偏暗甚至全黑。3.2 把官方预提取特征组织成伪图像二维网格编码的Python实现除了自己提语谱图AVEC2014还发布了预提取好的音频特征低层描述符、语音词袋等和视频特征。这些特征原本是时序向量序列不是图像但可以重排成二维矩阵塞给ResNet。常见做法是把特征矩阵的每一行当作一个时间帧每一列当作一个特征维度通过双线性插值把矩阵缩放到固定尺寸再归一化成三通道伪图像。from scipy.ndimage import zoom def feature_to_pseudo_image(feat, target_size56): # feat: 形状为 [T, D] 的时序特征矩阵 T, D feat.shape # 插值到 2*target_size 高度再裁到 target_size # 这样做的目的是保留时间轴上更完整的上下文 resized zoom(feat, (2 * target_size / T, target_size / D), order1) resized resized[-target_size:, :target_size] # 百分位归一化抗离群点 lo, hi np.percentile(resized, [1, 99]) resized np.clip((resized - lo) / (hi - lo 1e-8), 0, 1) return np.stack([resized, resized, resized], axis-1).astype(np.float32)伪图像路线的优点是省去音频特征提取的环节直接吃官方特征结果更容易和论文基线对比缺点也同样明显ResNet的卷积核假设相邻像素有空间相关性而特征矩阵的相邻列之间未必有这种邻接关系卷积在这里更像一个非线性特征变换器效果往往不如语谱图路线。我一般把伪图像当baseline先跑通流程主力实验还是放在语谱图上。这里插值用order1的线性插值不用更高阶因为高阶插值会引入overshoot让归一化后的暗部细节被压缩。3.3 片段切分与数据增强样本量不够时怎么凑把整段40分钟访谈直接扔进ResNet是不现实的GPU显存扛不住而且一个样本只有一个标签训练样本量太少。常见做法是把访谈切成等长片段比如8秒一段每个片段继承整段访谈的PHQ-8标签。一个40分钟的访谈能切出300个片段训练集总样本量能到一万左右勉强够微调ResNet。片段切分后要做数据增强。语谱图不同于自然图像垂直翻转会把频率高低颠倒语谱图语义完全错误所以不能用torchvision里的RandomVerticalFlip。我常用的增强是SpecAugment思路在时间轴上随机遮蔽一小段在频率轴上随机遮蔽几个Mel带模拟录音中断和噪声干扰再配合随机加一点高斯噪声增强模型对录音环境的鲁棒性。import torch class SpecAugment: def __init__(self, freq_mask8, time_mask16, noise_std0.005): self.freq_mask freq_mask self.time_mask time_mask self.noise_std noise_std def __call__(self, img): # img: [C, H, W]H是Mel频带数W是时间帧数 img img.clone() if self.noise_std 0: img img torch.randn_like(img) * self.noise_std # 频率遮蔽 h img.size(1) f0 int(torch.randint(0, max(1, h - self.freq_mask), (1,))) img[:, f0:f0 self.freq_mask, :] 0 # 时间遮蔽 w img.size(2) t0 int(torch.randint(0, max(1, w - self.time_mask), (1,))) img[:, :, t0:t0 self.time_mask] 0 return img注意时间遮蔽的宽度不能太大8秒片段里遮蔽16帧每帧约8ms相当于遮掉128ms影响不大但如果遮蔽宽度超过全片段的30%会把关键的语音内容盖掉训练loss会异常抖动。数据增强写在Dataset里而不是模型里因为它只影响训练集验证时不做增强。4. 用预训练ResNet搭建抑郁评分回归模型网络改造与训练脚本4.1 ResNet18还是ResNet50按样本量和显存选型ResNet家族从18到152层数越多表达能力越强但在AVEC2014这种样本规模下选型逻辑和ImageNet完全不同。一万左右的片段样本量微调ResNet50参数量2500万很容易在训练集上过拟合ResNet18只有1100万参数且残差结构更浅微调时对学习率波动更不敏感。我的经验是第一版流程用ResNet18跑通确认数据管线没问题后再上ResNet50做对比实验单卡显存小于8GB的建议只跑ResNet18混合精度下ResNet50需要约6GB显存做batch size 32。ResNet50在这类任务上唯一的优势是当你有足够多的外部抑郁语音数据做预训练时深层网络能记住更多语音模式。如果只靠AVEC2014那一万片段ResNet50的收益会被过拟合抵消。另外torchvision自带的ImageNet预训练权重对语谱图依然有效因为浅层卷积学到的是边缘、纹理、颜色块这些基础模式在语谱图上同样存在——频谱边缘、共振峰条纹、静音区色块。这是迁移学习能work的根本原因。4.2 把分类网络改成回归头全连接层替换与输出含义torchvision里的resnet18默认输出1000类ImageNet分类概率最后接的是一个全连接层输入维度是512resnet18/34或2048resnet50/101。要做PHQ-8回归只需把最后一层换成线性输出或者带中间隐层的回归头。回归头不要设计太复杂样本量少时一个512→128→1的三层结构已经容易过拟合可以先从512→1的线性头试起。import torch import torchvision.models as models def make_regressor(archresnet18, out_dim1): if arch resnet18: net models.resnet18(weightsmodels.ResNet18_Weights.IMAGENET1K_V1) in_feat net.fc.in_features elif arch resnet50: net models.resnet50(weightsmodels.ResNet50_Weights.IMAGENET1K_V1) in_feat net.fc.in_features else: raise ValueError(funknown arch: {arch}) # 冻结浅层样本量小的时候分批解冻比全量微调稳 for name, p in net.named_parameters(): if name.startswith((layer4, fc)): p.requires_grad True else: p.requires_grad False net.fc torch.nn.Sequential( torch.nn.Linear(in_feat, 128), torch.nn.ReLU(), torch.nn.Dropout(0.3), torch.nn.Linear(128, out_dim), ) return net net make_regressor(resnet18)这段代码做了三件事加载ImageNet预训练权重、按层名冻结参数、替换全连接层。冻结策略是关键——训练初期先只让layer4和回归头更新浅层特征复用ImageNet的通用模式等loss下降平缓后再解冻layer3甚至全部层用小学习率继续微调。很多新手一上来就全量微调训练集MAE降得飞快验证集却一动不动就是浅层梯度噪声太大把预训练特征冲掉了。4.3 完整训练脚本回归损失、优化器参数与MAE/RMSE计算回归任务的损失函数首选SmoothL1Loss也叫Huber Loss。它结合了L1和L2的优点误差大时梯度恒定为1不容易被离群样本带偏误差小时梯度线性衰减收敛更精细。相比MSELossSmoothL1对PHQ-8这种0到24有限范围的标签更友好因为真实标签里偶发性的大误差样本不会主导梯度。import numpy as np import torch from torch.utils.data import DataLoader, Dataset import torch.optim as optim def train_model(net, train_loader, val_loader, epochs30, lr1e-4): criterion torch.nn.SmoothL1Loss() optimizer optim.AdamW( filter(lambda p: p.requires_grad, net.parameters()), lrlr, weight_decay1e-4 ) scheduler optim.lr_scheduler.CosineAnnealingLR(optimizer, T_maxepochs) scaler torch.cuda.amp.GradScaler() # 混合精度显存紧张时有用 net net.cuda() for epoch in range(epochs): net.train() total_loss, total_num 0.0, 0 for x, y in train_loader: x, y x.cuda(), y.cuda() optimizer.zero_grad() with torch.cuda.amp.autocast(): pred net(x).squeeze(-1) loss criterion(pred, y) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() total_loss loss.item() * len(y) total_num len(y) # 每个epoch结束在验证集上评估 metrics evaluate(net, val_loader) print(fepoch{epoch 1}, train_mae{total_loss / total_num:.4f}, fval_mae{metrics[mae]:.4f}, val_rmse{metrics[rmse]:.4f}) scheduler.step()训练循环里有几个细节值得注意filter只保留requires_grad为True的参数传给优化器冻结层不参与更新既省显存又避免梯度被不必要地计算CosineAnnealingLR把学习率从1e-4平滑降到接近0比固定学习率在回归任务上稳得多混合精度autocast要配合GradScaler使用否则fp16梯度下溢会让loss直接变成NaN。batch size我一般取32语谱图是224x224三通道ResNet18在8GB显存下能跑batch 64但收益不大32是收敛速度和显存占用的折中。验证评估要同时算MAE和RMSE还要算一个临床参考指标——PHQ-8大于等于10判定为抑郁预测值和标签同侧的比例就是二分类准确率这个指标比MAE更能说明模型在临床应用边界的价值def evaluate(net, loader): net.eval() preds, labels [], [] with torch.no_grad(): for x, y in loader: out net(x.cuda()).squeeze(-1).cpu() preds.append(out) labels.append(y) preds torch.cat(preds).numpy() labels torch.cat(labels).numpy() mae float(np.mean(np.abs(preds - labels))) rmse float(np.sqrt(np.mean((preds - labels) ** 2))) dep_acc float(np.mean((preds 10) (labels 10))) return {mae: mae, rmse: rmse, depression_acc: dep_acc}推理阶段从这段代码里抽掉backward相关逻辑即可加载训练好的权重对一段新访谈录音做同样的片段切分和语谱图提取模型输出8秒片段的PHQ-8预测分最后把所有片段的预测取均值作为整个访谈的最终得分。片段级预测方差大是正常现象取均值能压掉一部分噪声。5. 避坑与排查数据集和ResNet迁移里最常见的五个坑这章写的都是我自己复现AVEC2014任务时踩过的坑每一个都实打实烧过时间按现象-原因-解决的顺序列出来遇到相同症状可以直接对照排查。5.1 验证集MAE很低测试集却崩了——片段级划分造成数据泄漏现象五折交叉验证MAE只有3.2看起来比论文还强提交到测试集却变成5.8差距大到离谱。原因切分片段时没有按访谈ID分组同一个访谈的相邻片段被random_split散落到训练集和验证集。相邻片段共享同一段录音的底噪、说话人音色和情绪状态模型学会了记忆这些片段的私有关联验证集评估完全失真。这是AVEC2014复现里最常见的翻车点。解决切分必须发生在访谈级别先按PID划分再生成片段。代码上把train_test_split作用在去重后的PID列表上然后用集合过滤样本。最好再加一层保障训练脚本里断言训练集和验证集的PID交集为空一旦非空直接抛异常终止训练。5.2 loss一直不降——把分类任务的CrossEntropy用在了回归上现象训练了10个epochSmoothL1Loss从5.0降到4.5就卡住了换成MSELoss也是一样训练曲线像条水平线。原因检查后发现模型输出层还留着原始ImageNet分类头的结构——输出维度是1000回归头没有接上标签是0到24的浮点数和1000维输出算交叉熵每个batch的loss都在8.0附近震荡梯度方向完全错误。解决改完回归头之后用一行代码自检输出维度net(torch.randn(2, 3, 224, 224)).shape确认输出形状是[2, 1]而不是[2, 1000]。这个自检要写进训练脚本开头每次换网络都跑一遍属于便宜又保命的检查。5.3 加载预训练权重报错——FC层维度不匹配现象net models.resnet18(weights...)之后直接改net.fc没问题但如果你先保存了改好的模型再重新加载就会报size mismatch for fc.3.weight。原因torchvision的权重加载机制会把state_dict里每个key的shape和当前模型比对regression头输出维度是1和原分类头输出维度1000不对应。如果你改了fc层又没有定制加载逻辑默认的load_state_dict会直接抛错。解决不要让torchvision.models在构造时加载完整权重再改fc而是先实例化不带权重的模型替换fc层再手动加载去掉fc层的预训练权重。常见写法是net models.resnet18() net.fc torch.nn.Sequential(...) state torch.load(resnet18_imagenet.pth) state.pop(fc.weight, None) state.pop(fc.bias, None) net.load_state_dict(state, strictFalse)5.4 语谱图全黑或对比度极低——power_to_db忘传ref参数现象把生成的语谱图存下来检查发现图像几乎全黑只有零星几个亮点训练时loss完全不动。原因librosa.power_to_db默认ref1而Mel谱的能量值普遍远小于1取对数后全都变成负十几到负几十dB直接归一化会压掉大部分动态范围。这不是数据问题是可视化前处理的问题。解决把ref设为np.max(S)这样最大能量处对应0dB整个动态范围以最大值为基准展开。归一化时用(log_S - log_S.min()) / (log_S.max() - log_S.min())再加1e-8防止除零。改完这行之后语谱图的条纹结构清晰可见模型收敛速度也明显变快。5.5 训练集和验证集MAE都往同一个值收敛——样本量太小模型学到的只是均值现象训练到后期训练集MAE和验证集MAE同时停在5.5附近不再下降预测值几乎恒等于训练集PHQ-8的均值。原因PHQ-8分布本身就偏向低分段大部分样本集中在5到10之间如果片段数量不足、模型容量大网络很快就学会了输出均值来最小化损失特征分支的贡献被梯度彻底忽略。这种病态现象在回归任务里比分类任务更隐蔽因为分类准确率还能看到过拟合迹象回归只看MAE很难判断。解决训练过程中把预测值的标准差打印出来。如果预测标准差远小于标签标准差说明模型在摆烂。应对手段是降低模型容量ResNet18换ResNet34反而更糟应该砍回归头宽度、加大Dropout到0.5、增加语谱图增强强度。另一个有效手段是改用加权损失对PHQ-8高分段的样本乘上1.5倍的损失权重强迫模型关注少数但临床意义更大的样本。6. 让预测再稳一点多模态融合与区间验证技巧ResNet语谱图这条路在单一模态里能做到MAE 4.3左右再往上靠单模态很吃力。AVEC2014数据集还有文本转录和视频信号最常见也最稳妥的融合方案是决策级融合把ResNet对音频的预测、预训练语言模型对文本的预测、OpenFace提取的面部动作单元特征分别得到三个分数再用线性回归或简单加权平均合成最终PHQ-8。决策级融合比特征级融合稳得多因为三个模态的特征维度差异太大直接拼接会让高维特征主导梯度。验证技巧上我后来每次评估都会把预测结果按真实PHQ-8分数分桶看MAE0到5分一桶、5到10分一桶、10到15分一桶、15分以上一桶。整体MAE会因为低分段样本多而被稀释分桶之后高分段误差往往暴露得彻底模型对重度抑郁的识别能力才是这个系统真正的临床价值。多尺度语谱图也可以加同一段音频分别用n_fft512和n_fft1024提两张语谱图各过一遍ResNet取平均。512的分辨率抓韵律细节1024的频率分辨率抓基频和共振峰两种尺度互补MAE大概能再降0.2到0.3。这个操作会把训练时间翻倍但显存占用只多一份前向计算值得一试。做这个系统最大的教训就是医学场景的模型评估别只看整体指标患者分桶误差、预测置信度、和临床量表的结构效度都要看代码里把PID泄漏检查和预测标准差检查固化成训练脚本的前置断言能挡住一半以上的无效实验。希望帮到你。本文还有配套的精品资源点击获取