简介多模态融合情感分析是一类兼顾文本、语音、图像和视频输入的综合性任务。资源提供一套基于Python的完整实现包含源码、说明文档与配套数据集适合用于毕业设计、课程作业或作为入门多模态情感分析的学习样例。代码中的注释较完整数据预处理、模型构建与运行流程都有对应py脚本pickle文件用于存储处理后的特征数据zip压缩包内置常用公开情感数据集pdf与README文档补充了详细说明和目录指引整体21个文件、约56.86MB结构清楚。附带数据预处理脚本便于在不同语料上复用或替换文档也梳理了各模块的调用关系。目前已有112人学习项目经过严格调试部署后即可运行体验。下载后能获得从原始数据到特征提取、多模态融合、情感判别的整条实现链路项目界面直观、操作简单具有较高的参考和复用价值。1. 多模态情感分析项目是什么文本、语音、图像、视频四路输入在解决什么问题多模态情感分析本质上是对同一条样本里的文本、语音、图像和视频四类输入做统一的情绪判断。相比只看文本它把语气、停顿、表情、动作这些非语言线索一起纳入所以很适合客服质检、人机交互、课堂注意力分析这类既看内容又看表现的重场景。拿基于 Python 的这套项目来说最劝退人的不是某个单模态模型精度不够而是数据怎么组织、特征怎么对齐、融合层怎么设计。这三件事没有理顺模型结构再花哨都白搭。下面按数据集搭建、四路特征提取、融合训练和踩坑点逐个讲代码可以直接抄。2. 数据集怎么搭目录结构、标注格式与预处理脚本数据集是多模态项目的底座也是最容易被低估的一步。很多团队拿到数据先堆模型结果第一周全耗在“找文件、对不上号、重跑预处理”上。我做一个模拟项目X的时候踩过一轮之后定下来一套约定目录按样本组织标注用 JSON 行式文件预处理只跑一次并留缓存。这套约定能直接省掉后面大半的 debug 时间。2.1 目录结构按样本 ID 组织而不是按模态分四堆常见做法是把 data 下面分成 text、audio、image、video 四个子目录样本之间靠文件名里的编号关联。这个结构在单模态实验时很顺手但一旦进入多模态融合你要同时把四个文件找齐就得反复拼接路径、检查命名稍有不慎就会对一个错位样本而不自知。我习惯的目录结构长这样data/ sample_0001/ text.txt audio.wav image.jpg video.mp4 label.json sample_0002/ ... sample_0100/ ...每个样本是一个独立文件夹四路输入和标注都放在一起。好处是读取逻辑非常简单拿到样本 ID文件路径就固定了不存在跨目录关联的问题。后面做缓存、做数据检查、做特征对齐都是围绕这个结构写脚本。配套的完整性检查脚本我一般会这样写它负责找出缺文件的样本from pathlib import Path REQUIRED_FILES [text.txt, audio.wav, image.jpg, video.mp4, label.json] def check_missing(data_dir): missing [] for d in Path(data_dir).iterdir(): if not d.is_dir(): continue for name in REQUIRED_FILES: if not (d / name).exists(): missing.append((d.name, name)) return missing missing check_missing(data) for sid, name in missing: print(sid, 缺, name)这个脚本的逻辑很简单遍历所有样本目录逐个检查五个必需文件是否存在。参数上要注意iterdir()会包含隐藏文件和普通文件所以先用is_dir()过滤。如果缺失文件数量超过预期先不要急着补下采样而是去看看是不是某一条样本的音频本身就没录上这类脏数据直接剔除比硬补更省事。2.2 标注文件JSON 行式标注与类别一致性检查label.json 放在样本目录里每条样本一个文件。字段不要设计得太花哨够用就行{ label: positive, intensity: 0.8, text: 这部电影的节奏太好了, audio_state: clean, video_state: clear }label 是离散情感类别intensity 是连续强度后面两个是质量标记。连续强度和离散标签可以同时保留因为不同任务可能用不同输出头。质量标记字段很有用排查脏数据时能快速筛出录音有噪音、视频画面模糊的样本而不是靠肉眼一张张看。类别一致性是多模态项目里最常见的坑。文本标注是 positive语音标注却是 neutral这种不一致会在融合层制造矛盾信号而且很难定位。我一般在数据准备阶段就做一个统计脚本import json from collections import Counter def label_stats(data_dir): c Counter() total 0 for p in Path(data_dir).glob(*/label.json): with open(p, encodingutf-8) as f: data json.load(f) c[data[label]] 1 total 1 for k, v in c.most_common(): print(k, v, round(v / total, 3)) label_stats(data)输出结果里如果某个类别占比低于 5%就要注意了。比如“neutral”只有 3%模型大概率会把所有样本都推到 positive 那边这在后面避坑章节会专门讲。这个脚本的价值不是看一眼分布而是让你在训练之前就知道问题在哪而不是等 loss 曲线异常了才回头查。2.3 文本和语音预处理清洗、重采样与固定时长预处理这块我尽量控制在两个脚本里一个处理文本一个处理音频。文本清洗的难点不是正则写不出来而是顺序写错。先清 URL再清 用户最后压缩空白这个顺序不要换否则 URL 里的特殊字符会干扰后面的规则import re def clean_text(raw: str) - str: # 先去掉 URL再清 用户名最后归一化空白 raw re.sub(rhttps?://\S, , raw) raw re.sub(r\w, , raw) raw re.sub(r\s, , raw).strip() return raw语音预处理的重点是采样率和时长统一。不同来源的录音采样率可能完全不同有的 16k有的 44.1k有的甚至标着 16k 实际是 8k。统一参数时我一般固定 16k 采样率、6 秒最大时长import librosa import numpy as np SAMPLE_RATE 16000 MAX_AUDIO_SEC 6.0 def load_audio_fixed(path): # monoTrue 强制单声道超过 6 秒截断不足补零 y, sr librosa.load(path, srSAMPLE_RATE, monoTrue) target int(SAMPLE_RATE * MAX_AUDIO_SEC) if len(y) target: y np.pad(y, (0, target - len(y))) else: y y[:target] return y这里用srSAMPLE_RATE让 librosa 自动重采样不要相信自己读出来的文件头。补零比截断简单但要注意如果音频太短补出来的大片零会干扰语音特征计算。我通常还会在补零前做一个 RMS 归一化把音量差异拉平否则不同说话人的录音音量差别会让语音特征不可比。3. 四路模态的特征提取把文本、语音、图像、视频都变成同一维度向量特征提取的思路是让每个模态都输出一个固定维度的向量后面融合层才能直接拼接。这个阶段不需要自己训练模型用预训练模型提特征就够了重点是把四路特征的提取链路跑通。3.1 文本特征用 transformers 库做句向量mean pooling 更稳文本特征我用预训练模型的编码器输出 last_hidden_state 后做 mean pooling。CLS 向量不是不能用但在情感这种对语义细节敏感的任务上mean pooling 通常更稳定不会因为某一个 token 的异常激活影响整个句子表示from transformers import AutoTokenizer, AutoModel import torch import torch.nn.functional as F MODEL_NAME bert-base-chinese tokenizer AutoTokenizer.from_pretrained(MODEL_NAME) model AutoModel.from_pretrained(MODEL_NAME) model.eval() def text_embedding(sent, max_len128): # paddingTrue 保证 batch 内长度一致truncation 截断超长部分 enc tokenizer(sent, truncationTrue, max_lengthmax_len, paddingTrue, return_tensorspt) with torch.no_grad(): hidden model(**enc).last_hidden_state # [B, L, D] mask enc[attention_mask].unsqueeze(-1) # [B, L, 1] emb (hidden * mask).sum(dim1) / mask.sum(dim1) # 只对真实 token 求平均 return F.normalize(emb, p2, dim1)[0].numpy()参数上要注意max_len128不是越大越好。情感样本的文本普遍偏短128 足够覆盖绝大多数句子再大会拖慢推理速度。paddingTrue在单条样本时看不出差别但抽特征时我习惯按 batch 处理所以保留。最后做 L2 归一化是因为后面要和视觉、语音特征拼接尺度不一致会导致融合 loss 震荡这个细节在避坑章会展开。3.2 语音特征MFCC 加轻量 CNN 的兜底方案语音特征先用 MFCC 把音频变成一张“频谱图”再用一个轻量 CNN 提取向量。不要一上来就上大规模语音预训练模型先用 MFCC 加两层卷积把链路跑通后面再替换也不迟。MFCC 提取时有两个参数比较关键n_mfcc40保留足够的频率细节hop_length160让每一帧约 10ms时间分辨率够用def compute_mfcc(wav, sr16000): mfcc librosa.feature.mfcc(ywav, srsr, n_mfcc40, n_fft512, hop_length160) # 沿特征维做标准化消除不同录音响度差异 mfcc (mfcc - mfcc.mean(axis1, keepdimsTrue)) / (mfcc.std(axis1, keepdimsTrue) 1e-6) return torch.FloatTensor(mfcc).unsqueeze(0).unsqueeze(0) # [1, 1, T, 40]CNN 部分我一般这样写import torch.nn as nn class AudioEncoder(nn.Module): def __init__(self): super().__init__() self.conv nn.Sequential( nn.Conv2d(1, 32, kernel_size3, stride2), nn.ReLU(), nn.AdaptiveAvgPool2d((1, 128)), # 把时间维压到固定 128 ) self.fc nn.Linear(32, 256) def forward(self, mfcc): # 输入 [B, 1, T, 40]输出 [B, 256] x self.conv(mfcc) x x.view(x.size(0), -1) return self.fc(x)这个模型的巧妙之处在AdaptiveAvgPool2d((1, 128))它不管输入音频有多少帧最终都会输出固定大小的特征所以 batch 内音频长度不一致也不会在 CNN 层报错。真正需要盯住的是 MFCC 提取时的长度处理那一步没统一后续才会出问题。3.3 图像特征用预训练视觉模型直接出特征图像特征我直接用 ImageNet 预训练的 ResNet50去掉最后的分类头。多模态情感分析里图像只负责提供场景和表情信息不需要自己从零训练视觉部分。代码上注意两点一是输入要做 ImageNet 的标准化二是模型要切到 eval 模式import torchvision.models as models import torchvision.transforms as T from PIL import Image import numpy as np backbone models.resnet50(pretrainedTrue) backbone.fc nn.Identity() # 去掉 1000 类分类头 backbone.eval() image_transform T.Compose([ T.Resize((224, 224)), T.ToTensor(), T.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) def image_embedding(img_pil): # img_pil 是 PIL Image统一转 RGB 再走 transform t image_transform(img_pil.convert(RGB)).unsqueeze(0) with torch.no_grad(): return backbone(t)[0].numpy()这里一定要先 Resize 再 ToTensor顺序反了会报维度错误。输出维度是 2048因为 ResNet50 的最后一个卷积层输出就是 2048 通道。如果之后还要接视频特征这个维度要保持不变不要随意加全连接层改维给融合层留更多可调空间。3.4 视频特征拆帧后平均和简单注意力的取舍视频模态我的做法是抽帧、逐帧过图像模型、再对帧特征做时间聚合。每秒抽 2 帧、最多 12 帧这个配置对大部分短视频样本足够描述情绪变化计算量也不至于失控import cv2 def extract_frames(video_path, sample_fps2, max_frames12): cap cv2.VideoCapture(video_path) fps cap.get(cv2.CAP_PROP_FPS) interval max(1, int(fps // sample_fps)) frames, idx [], 0 while cap.isOpened(): ret, frame cap.read() if not ret: break if idx % interval 0: # 每张帧转成 PIL供 image_embedding 使用 frames.append(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)) if len(frames) max_frames: break idx 1 cap.release() return [Image.fromarray(f) for f in frames] def video_embedding(frames): # 帧数不固定但取平均后维度固定为 2048 embs np.stack([image_embedding(f) for f in frames]) return embs.mean(axis0)简单平均在多数场景够用因为它对单帧的误差不敏感。如果你想做得更细致可以改成按时间位置加权开头和结尾的帧权重更高因为情绪表达往往集中在进入镜头和离开镜头的瞬间。但第一次跑通项目时别加这个复杂度先看平均的效果再决定要不要加注意力。3.5 特征缓存先抽一次存 npy训练时别再算四个模态的特征提取加起来一条样本要跑一次 BERT、一次 ResNet、一次 CNN。每次训练都重新抽浪费时间不说还容易在反复运行中引入随机性。我一般把特征缓存到磁盘文件按样本 ID 命名训练时直接 loaddef cache_all(data_dir, cache_dir, extract_fn, name): Path(cache_dir).mkdir(parentsTrue, exist_okTrue) for d in Path(data_dir).iterdir(): if not d.is_dir(): continue sid d.name out_path Path(cache_dir) / f{sid}_{name}.npy if out_path.exists(): continue # 已缓存则跳过支持断点续跑 arr extract_fn(sid, data_dir) np.save(out_path, arr)这个脚本用到out_path.exists()跳过已有文件所以中途跑挂了重新启动不会从头来。注意这里的 extract_fn 是接收样本 ID 和 data_dir 的闭包或函数不同模态各写一个逻辑清晰。缓存生成之后训练代码就只管读 npy再也不用关心原始音频、视频文件放在哪。4. 多模态融合与训练门控拼接、类别权重与三个必调参数四路特征都准备好之后重点就转到融合层。融合不是把向量硬拼在一起那么简单不同模态的信息密度和可靠程度不一样需要让模型自己学会分配注意力。4.1 融合策略选型拼接、门控、注意力到底差在哪先给一个直观对比方便不同阶段的选型策略核心思想优点缺点适用阶段直接拼接四路特征首尾相连实现简单无额外参数无法体现模态间的可靠性差异基线模型门控拼接每路学一个权重再乘到特征上能抑制噪声模态权重全局共享粒度较粗大多数项目交叉注意力模态两两交互捕捉互补信息表达能力强能建模跨模态关联计算量大需要更多数据数据充足、追求上限直接拼接适合第一天跑通流程门控拼接适合大多数业务场景稳定且可解释交叉注意力是进阶方向但训练不稳定需要更多调参时间。我一般先跑直接拼接拿一个基线再切到门控拼接看涨点是否明显。4.2 融合层代码从模态特征到情感 logits门控拼接的做法是先把三个模态的特征拼起来让一个门控网络输出三个权重每个权重控制一个模态的贡献。这个结构实现简单但效果往往比直接拼接高几个点import torch import torch.nn as nn class MultimodalClassifier(nn.Module): def __init__(self, text_dim768, audio_dim256, video_dim2048, num_classes3): super().__init__() total_dim text_dim audio_dim video_dim self.gate nn.Sequential( nn.Linear(total_dim, 64), nn.ReLU(), nn.Linear(64, 3), # 三个模态各一个权重 ) self.norm nn.LayerNorm(total_dim) self.clf nn.Linear(total_dim, num_classes) def forward(self, text_emb, audio_emb, video_emb): cat torch.cat([text_emb, audio_emb, video_emb], dim1) # [B, D] score torch.softmax(self.gate(cat), dim1) # [B, 3] # 各自乘上权重再拼回去 t cat[:, :text_dim] * score[:, 0:1] a cat[:, text_dim:text_dim audio_dim] * score[:, 1:2] v cat[:, text_dim audio_dim:] * score[:, 2:3] x torch.cat([t, a, v], dim1) x self.norm(x) return self.clf(x)代码里softmax保证权重和为 1但它的含义不是“谁更重要”而是“谁在这一条样本上更可靠”。比如视频里人背对镜头模型就会把视频的权重压低这个行为是门控机制自己学出来的。LayerNorm在拼接之后做一次归一化可以抵消四个特征尺度不同带来的分布偏移这个细节不能省。4.3 训练细节分组学习率、梯度裁剪与类别权重训练这块我踩过不少坑现在固定一套配置。首先预训练模型和融合头的学习率要分开BERT 和 ResNet 这种预训练权重用 2e-5融合层和分类头用 1e-4。其次要开梯度裁剪max_norm1.0因为多模态特征拼接后梯度范数容易被某个模态带偏剪刀一剪训练立刻稳下来optimizer torch.optim.AdamW([ {params: text_encoder.parameters(), lr: 2e-5}, {params: fusion_model.parameters(), lr: 1e-4}, ], weight_decay0.01) torch.nn.utils.clip_grad_norm_(fusion_model.parameters(), max_norm1.0)类别权重一定要在训练前算好尤其当 negative 或 neutral 占比很低时。计算方式是用逆频率归一化counts np.bincount(labels, minlengthnum_classes) weights 1.0 / (counts 1e-6) weights weights / weights.mean()这样做的好处是少数类样本的 loss 贡献被放大模型不会一窝蜂输出多数类。如果类别严重失衡我会再加 Focal lossgamma 设 1.0让难样本主导梯度。这两个手段配合比单纯调学习率有效得多。5. 多模态情感分析的避坑清单五个反复出现的翻车点位多模态项目翻车的位置非常集中。我集齐过好几次一样的报错现在整理成一份清单每一条都按“现象、原因、解决”来讲。5.1 特征尺度不一致拼接后 loss 飘验证集像抽签现象拼接融合后 loss 从 2.0 附近缓慢下降跌到 1.4 就再也不动验证集准确率在 60% 上下随机跳动。单独看每个模态的准确率都不低一融合就倒退。原因文本特征做了 L2 归一化模长为 1ResNet 图像特征没归一化数值范围可能在 10 以上。拼接后视觉特征在数值上碾压文本特征融合层的大部分梯度都被视觉模态主导文本信息等于白抽。解决每个模态的特征在进入融合层前都做一次 L2 归一化。我这里直接改F.normalize(emb, p2, dim1)图像、语音同理。归一化之后融合层才能真正去学“权重分配”而不是被大数吞掉。5.2 视频拆帧数不一致dataloader 报错和 padding mask 的解法现象训练时突然报错stack expects each tensor to be equal size或者 CUDA 报一个莫名其妙的 shape 不匹配。检查后发现是不同视频拆出的帧数不一样特征矩阵第一维对不齐。原因我在 3.4 节里用平均池化处理了这个问题但如果你想保留帧级注意力就会遇到 batch 内帧数不一致。解决用 padding mask 把帧数对齐到 batch 内最大值写一个自定义 collate_fndef collate_video(batch): feats, labels zip(*batch) max_t max(f.shape[0] for f in feats) padded, mask [], [] for f in feats: t f.shape[0] padded.append(np.pad(f, ((0, max_t - t), (0, 0)))) mask.append([1] * t [0] * (max_t - t)) feats_t torch.FloatTensor(np.stack(padded)) mask_t torch.BoolTensor(np.stack(mask)) return feats_t, torch.LongTensor(labels), mask_t之后的注意力计算里要乘上这个 mask把 padding 位置的注意力权重置为零。不要偷懒直接截到固定帧数那样会把长视频的结尾表情剪掉等于硬删信息。5.3 中性样本占比过低模型全输出积极召回率几乎为零现象训练 loss 掉得很漂亮验证集准确率也不错但一看混淆矩阵negative 和 neutral 的召回率几乎为零模型把所有样本都判成 positive。原因情感数据天然不平衡positive 占一半以上neutral 可能只有 3%。CrossEntropyLoss 默认对所有类别一视同仁模型只要全输出 positive就能把整体准确率刷到很高。解决先算类别权重用逆频率比例加权 loss。再加一个低频类别的 Focal loss 变体。我这边改完之后neutral 的 F1 从 0.1 涨到 0.45整体准确率虽然没涨多少但至少每个类别都在输出而不是摆烂。5.4 语音采样率不一致重采样不是 load 传参就完事现象同一个 batch 里有的音频特征维度是 [300, 40]有的是 [500, 40]AudioEncoder 的 AdaptiveAvgPool 接过之后不报错但训练出来的模型在某一批样本上效果明显差。原因librosa.load(path, sr16000)确实做了重采样但不同来源的音频时长差异太大短的 2 秒长的 15 秒。MFCC 帧数不同均值池化时被长音频稀释短音频的动态细节丢失。解决在 load 完成之后统一按固定长度裁剪或补零时长设 6 秒。注意如果是 44.1kHz 的源文件重采样到 16kHz用res_typekaiser_best虽然慢但高频细节保留得最好。批量跑大量音频时我才会换成速度更快的重采样算法。5.5 缓存路径玄学目录对不上、多进程写坏 npy现象预处理脚本在本地跑得好好的放到服务器上就报缓存文件找不到偶尔还会出现 npy 文件读出来是空数组或者训练中途报错说文件被占用。原因十有八九是相对路径。脚本从不同工作目录启动时相对路径指向的位置不同缓存目录和训练目录对不上。多进程 DataLoader 同时读同一缓存没有锁极端情况下多个 worker 同时写同一个 npy文件就写坏了。解决统一用绝对路径定位缓存目录并约定缓存只由单进程预处理脚本生成训练进程只读不写BASE_DIR Path(__file__).resolve().parent CACHE_DIR BASE_DIR / cache这个习惯花两分钟改完能省掉后面所有“路径玄学”的排查时间。我的原则很简单凡是和文件打交道的地方一律用绝对路径不用相对路径不用手拼字符串。6. 进阶用法用对齐检验矩阵和降维投影把坏样本抓出来模型跑通之后下一步是验证数据质量。很多“融合没效果”的结论其实是模态之间错位了而不是模型不行。我用两个小工具来定位问题。6.1 跨模态对齐检验相似度矩阵对角线必须显著高于非对角线先取一批验证集样本的文本特征和语音特征各拼成一个矩阵然后算余弦相似度矩阵。理想情况下第 i 条样本的文本特征应该和第 i 条样本的语音特征最相似所以矩阵对角线应该明显亮于非对角线from sklearn.metrics.pairwise import cosine_similarity sim cosine_similarity(text_feats, audio_feats) diag_mean np.diag(sim).mean() off_diag_mean (sim.sum() - np.trace(sim)) / (sim.size - len(sim)) print(对角线均值:, round(diag_mean, 3)) print(非对角线均值:, round(off_diag_mean, 3))如果两者差距很小说明对齐关系乱了。我之前排查过一个案例某批样本在录制时把第 5 条和第 6 条的音频文件名弄反了人工检查很难发现相似度矩阵一眼就看出来。这个检查脚本花十分钟写能救命。6.2 错误样本归因降维投影找到聚集区再回去查标注模型有错误不可避免但我习惯把错误样本的特征降维投影到底层坐标里看它们是否聚成一团。用 TSNE 降到 2 维然后按预测是否正确染色from sklearn.manifold import TSNE import matplotlib.pyplot as plt tsne TSNE(n_components2, perplexity30, random_state42) proj tsne.fit_transform(concat_feats) plt.scatter(proj[correct, 0], proj[correct, 1], cgreen, s10, labelcorrect) plt.scatter(proj[wrong, 0], proj[wrong, 1], cred, s10, labelwrong) plt.legend() plt.show()如果错误样本在图上聚成一个小簇说明它们共享某种特征比如同一个说话人、同一种背景噪音、同一类标注倾向。这时候不要急着调模型回去把那批原始样本翻出来看经常能发现标注员对某一类情绪的判定标准和模型不一致改标注比改模型参数有效得多。我做模拟项目X时靠这个方法抓出一整批“惊讶”被标成“positive”的低质量标注改完之后模型分数明显提升。多模态情感分析到最后拼的往往不是模型复杂度而是对数据质量的敏感度希望这些思路能帮到正在搭管线的你。本文还有配套的精品资源点击获取