简介基于语音与文本融合的多模态情感识别系统Python源码面向情感计算与大模型微调方向的研究者和开发者。项目以IEMOCAP数据集为依托结合BERT-base-uncased与wav2vec2-xls-r-300m预训练模型实现语音和文本双模态特征融合及大模型finetune。资源包含数据预处理、模型结构定义、训练调用、环境配置清单等6个文件以Python脚本为主另有环境配置说明与项目文档整体仅9KB轻量便于快速部署与二次开发。已有221人学习浏览适合复现多模态情感识别基线并理解跨模态特征融合流程。通过源码可掌握从原始数据到pickle特征缓存、再到BERT与wav2vec2联合微调的关键代码路径并借助环境配置单规避依赖冲突。1. 语音文本双通道情感识别的出发点只靠文本判断情绪用户说“我没事”时系统永远给不出“难过”这个答案只靠语音判断情绪又会把大声朗读误读成了愤怒。语音文本相结合的情感识别是在声学特征和语义特征中间找一个互相纠正、互相补全的交叉点。这个标题里说的“多模态大模型”常见做法是借用预训练的语音编码器和文本编码器把两条输入各自抽成向量再在融合层做交互而不是真的从头训练一个几十亿参数的大模型。整套系统用 Python 就能跑通。这套方案适合两类人一类是正在做情感分析、人机交互、呼叫中心质检的工程师想把手里的文本分类升级成更抗噪的多模态版本另一类是准备做多模态方向的算法工程师需要一个能落地的参照系。文章后面给的代码都是可裁剪的直接替换数据路径就能跑起来。2. 多模态情感识别的数据对齐与特征提取2.1 语音帧与文本 token 的时间对齐多模态情感识别第一个要解决的问题是语音特征和文本特征在时间线上根本不对齐。语音是密集的帧序列16kHz 下 1 秒有 16000 个采样点文本是稀疏的 token 序列1 秒语音大概只对应 2 到 4 个字。两者要融合得先定好对齐粒度。常见做法有两种帧级对齐和句子级对齐。帧级对齐对计算量要求高训练时要把语音帧映射到每个字的时间戳上这个精度依赖强制对齐工具句子级对齐则把整段语音和整句文本分别编码成两个向量再在向量层面做融合。句子级对齐实现简单、稳定性好也是多数开源情感识别方案的首选。def align_sample(audio_path: str, text: str) - dict: 句子级对齐示例语音与文本只保证同属一个样本不做帧级对齐 audio, sr torchaudio.load(audio_path) # 读取音频 audio torchaudio.functional.resample(audio, sr, 16000) # 统一重采样到16k return { audio: audio.squeeze(0), # 形状 [1, T] - [T] text: text, # 原始文本字符串 sr: 16000, }这里的核心思路是先确保语音和文本属于同一个标注样本再做后续特征提取。对齐的粒度决定了模型复杂度——帧级对齐适合需要细粒度归因的场景句子级对齐适合大多数分类任务。从中期效果来看句子级对齐配合注意力融合已经能覆盖绝大多数需要情感倾向判断的落地场景。2.2 语音特征提取从 MFCC 到预训练表征语音侧的特征提取经历了两个阶段。传统方法是提 MFCC、F0 基频、能量等声学特征计算快但丢掉了很多语义和说话人信息大模型流行之后的方案是直接用预训练语音模型如 wav2vec2、HuBERT、Whisper 的 encoder抽特征把整段音频变成一个向量序列。用预训练模型提取语音特征有个明显好处它对噪声、口音、语速的鲁棒性远高于手工特征。实际使用中可以在预训练特征后面接一个统计池化层把变长的帧序列压成一个固定维度向量。没有 GPU 资源时退回到 40 维 MFCC 加均值方差统计也可以只是上限没有预训练表征高。import torch import torchaudio def extract_audio_embedding(audio_waveform: torch.Tensor, model) - torch.Tensor: 用预训练语音编码器提取整段音频的向量表征 with torch.no_grad(): # model 输出last_hidden_state [batch, frames, hidden] last_hidden model(audio_waveform.unsqueeze(0)).last_hidden_state # 统计池化沿时间维度取均值 pooled last_hidden.squeeze(0).mean(dim0) return pooled # 形状 [hidden_dim]预训练语音模型输出的是每一帧的表征帧数跟音频时长相关所以必须经过池化才能变成固定维度向量。均值池化是最稳的做法也可以换成注意力池化给关键帧更高权重但如果训练数据量不大均值池化反而更不容易过拟合。2.3 文本侧编码与语音转文本的补充作用文本侧的编码相对成熟直接使用 BERT 系列模型输出[CLS]向量就能得到整句话的语义表征。这里有一个容易被忽视的细节如果系统的输入只有语音没有文本又必须走多模态路线那就要在采集端接入自动语音识别ASR模块把语音先转成文本再进文本编码器。这就变成了语音识别 语音/文本双模态识别的串联链路ASR 的误识别会影响情感结果需要在下游融合时做容错。文本情感识别和语音情感识别的特点差异很大文本擅于识别“阴阳怪气”这类反讽语音擅于识别“强颜欢笑”这类语气与内容的矛盾。把两者结合的核心价值就在于此语义和声学互为补充比任何单模态都稳。3. 设计特征级与决策级融合的情感识别模型3.1 融合路线选型早期融合、晚期融合与中间融合多模态融合有三条路线早期融合在特征层面把语音向量和文本向量拼起来晚期融合把两个模态各自的预测概率拿来做加权平均中间融合则是先让两个模态的特征交互再进分类层。中间融合通常效果领先因为它允许模型学会“什么时候该更相信语音、什么时候该更相信文本”。中间融合的常见实现是 cross-attention。语音向量 query 去 attend 文本向量文本向量 query 去 attend 语音向量这样每个模态都能获得对方的上下文信息。如果不追求复杂度退一步做 Bilinear Pooling 或简单的门控加权也是可用方案。标题里既然强调“多模态大模型”可以把这里的融合模块做成可插拔的方便以后替换更强的编码器。3.2 轻量级注意力融合模块下面给一个可以直接用的融合模块代码。这个模块的优点是参数少、输入输出维度直观适合当作 baseline。它先把语音向量和文本向量拼成一组序列再用一个单层 Transformer Encoder 做交互最后把两只向量再拼起来送进分类器。import torch import torch.nn as nn class CrossModalFusion(nn.Module): 语音文本中间融合层单层 transformer cross-attention def __init__(self, audio_dim: int, text_dim: int, hidden_dim: int 256, num_heads: int 4): super().__init__() # 先把两个模态对齐到同一个维度 self.audio_proj nn.Linear(audio_dim, hidden_dim) self.text_proj nn.Linear(text_dim, hidden_dim) encoder_layer nn.TransformerEncoderLayer( d_modelhidden_dim, nheadnum_heads, dim_feedforwardhidden_dim * 4, dropout0.1, batch_firstTrue, ) self.encoder nn.TransformerEncoder(encoder_layer, num_layers1) self.fusion_cls nn.Sequential( nn.Linear(hidden_dim * 2, hidden_dim), nn.ReLU(), nn.Dropout(0.2), nn.Linear(hidden_dim, 2), # 2分类正向/负向可自行调整 ) def forward(self, audio_emb: torch.Tensor, text_emb: torch.Tensor) - torch.Tensor: # audio_emb: [batch, audio_dim] # text_emb: [batch, text_dim] a self.audio_proj(audio_emb).unsqueeze(1) # [batch, 1, hidden] t self.text_proj(text_emb).unsqueeze(1) # [batch, 1, hidden] seq torch.cat([a, t], dim1) # [batch, 2, hidden] seq self.encoder(seq) # cross attention a_out seq[:, 0, :] t_out seq[:, 1, :] fused torch.cat([a_out, t_out], dim-1) # [batch, hidden*2] return self.fusion_cls(fused)两个模态在这里不是直接拼接而是先经过 Transformer 的 self-attention 交互再取各自位置上的输出。这里的注意力矩阵可以给一个直观解释模型会自动学到“这句话语义很强文本权重更高”或者“这句话语气太明显语音权重更高”。num_heads4是一个性价比比较高的配置调大到 8 并不会带来明显提升反而容易在数据量小的情感数据集上过拟合。3.3 分类头、损失函数与训练目标融合之后接一个全连接分类头。情感分类如果是五分类愤怒、高兴、悲伤、中性、惊讶就把输出维度改成 5损失函数用交叉熵即可。需要注意训练目标要和数据分布匹配对话数据里中性往往占大头直接跑会导致模型倾向预测多数类。这套系统的训练目标除了情感分类损失还建议给融合前的两个单模态分支各加一个辅助损失防止其中一个模态退化。常见做法是让语音分支、文本分支各出一个预测 logits各自计算交叉熵后与融合分支的损失按权重相加。损失项作用权重建议融合分支交叉熵主任务损失1.0语音分支交叉熵防止语音特征退化0.3文本分支交叉熵防止文本特征退化0.3权重并不是越大越好。辅助损失权重过高会让模型过度关注单模态表现反而削弱融合能力。0.2 到 0.4 之间先做一轮网格搜索基本就能找到合适区间。4. 模型训练的参数设置与验证方法4.1 数据集划分与训练流程训练多模态情感模型数据划分要保证同一段对话不会同时出现在训练集和测试集里否则模型会通过记忆对话风格来“作弊”。按说话人划分比按样本划分更严格也是论文里更认可的做法。训练时可以先冻结两个预训练编码器只训练融合层跑 5 个 epoch 后再解冻编码器做低学习率微调。这个热身策略可以避免预训练权重在初期被随机初始化分类层的梯度冲乱。from torch.utils.data import Dataset, DataLoader class EmotionDataset(Dataset): 语音文本情感数据集的基本封装 def __init__(self, samples: list, audio_encoder, text_tokenizer, max_len: int 128): self.samples samples self.audio_encoder audio_encoder self.text_tokenizer text_tokenizer self.max_len max_len def __len__(self): return len(self.samples) def __getitem__(self, idx): item self.samples[idx] # 语音特征由原始波形直接过编码器 audio_emb extract_audio_embedding(item[audio], self.audio_encoder) # 文本特征BERT tokenizer 转为 input_ids / attention_mask text_inputs self.text_tokenizer( item[text], max_lengthself.max_len, paddingmax_length, truncationTrue, return_tensorspt, ) return { audio_emb: audio_emb, input_ids: text_inputs[input_ids].squeeze(0), attention_mask: text_inputs[attention_mask].squeeze(0), label: torch.tensor(item[label], dtypetorch.long), }数据集中语音特征提前抽好存成 npy 或直接在线抽取都可以。在线抽取每次都要跑一遍预训练模型速度慢但省内存离线抽取快 10 倍以上适合反复调模型结构时使用。训练过程中缓存抽取好的特征是个值得做的优化点。4.2 关键训练参数参考表下面这组参数来自多模态情感分类的常见设定可以直接作为起点。学习率用 2e-5 是因为预训练模型微调时学习率过大会破坏已学到的表征batch size 受限于显存多模态输入比纯文本耗显存如果 OOM 可以先把 batch size 降到 8。参数推荐值说明优化器AdamW预训练模型微调标配学习率融合层2e-4融合层从零训练可稍高学习率编码器2e-5微调预训练权重用低学习率batch size16两个编码器同时吃显存从 16 开始warmup steps500稳定训练初期梯度max epochs15配合早停使用dropout0.2防止融合层过拟合训练过程中要同时监控融合分支和两个单模态分支的 loss 曲线理想情况是三根线同方向下降。如果融合分支的 loss 在降但语音分支 loss 掉不下去说明语音侧编码器没学好要考虑语音特征提取是否出了问题。4.3 模态退化与过拟合的识别多模态模型最典型的故障是模态退化也就是模型发现只靠文本就能把训练集拟合得很好于是语音分支的梯度逐渐消失推理时语音信号成了摆设。识别方法很简单把测试集的语音分支单独跑一遍如果准确率明显低于融合模型说明语音信息在融合时没有被有效利用。缓解模态退化有一个见效快的办法就是在训练时对文本特征做随机 mask强迫模型在文本缺失的情况下也能依赖语音。具体做法是每次迭代以 20% 的概率把文本 embedding 全部置零模型必须学会单独使用语音特征这种数据增强几乎不增加训练成本但能明显提升融合后对单一模态缺失的鲁棒性。5. 推理阶段的两个实用技巧置信度加权与一致性检查先看置信度加权。交叉熵训练出来的分类器最终 softmax 概率直接作为置信度使用在样本分布极端或者两个模态矛盾时往往会过于自信。一个更可信的推理方案是单独跑一遍语音分支和文本分支各自输出 softmax 概率再用融合分支的概率和它们做插值插值系数由两个分支在验证集上的 F1 决定。这个集成方式在语音和文本各说各话的场景下能避免融合模型被主导模态带偏。def infer_with_confidence(fusion_logits, audio_logits, text_logits, alpha0.6): 融合预测与单模态预测的置信度组合 alpha 越大融合结果权重越高 fusion_prob torch.softmax(fusion_logits, dim-1) audio_prob torch.softmax(audio_logits, dim-1) text_prob torch.softmax(text_logits, dim-1) final_prob alpha * fusion_prob (1 - alpha) / 2 * (audio_prob text_prob) return final_prob.argmax(dim-1)这里的alpha不需要在训练阶段学习直接在验证集上按情感分类准确率网格搜索即可。搜索范围通常取 0.5 到 0.9步长 0.1如果验证结果里融合模型的优势不明显alpha落在 0.5 附近并不奇怪说明两个模态信息互补性还有提升空间应该回到融合层设计去找问题。第二个技巧是跨模态一致性检查。在推理时保存语音分支和文本分支各自的预测概率计算两者之间的 KL 散度超过阈值的样本通常就是两个模态强烈冲突的样本。把这些样本挑出来投入人工复审比随机抽样复审的效率高得多适合呼叫中心质检这类对错误率敏感的场景。实际操作时可以专门准备一个配置文件记录 KL 散度阈值与样本倾斜策略避免后续跑批时阈值成为隐性问题。看到这里可以直接把前文代码组合成最小可运行的实验脚本挑一批中文情感语音数据例如按“正向/负向”二分类整理 2000 条样本跑通流程再逐步换更强的编码器扩展成完整系统。本文还有配套的精品资源点击获取