简介本资源面向人工智能与深度学习方向的本科或研究生毕业设计场景提供一套基于融合对抗训练与注意力机制的Bi-LSTM网络用于景区评论情感分析的完整Python实现。项目围绕情感分类全流程展开涵盖数据标注与语句结构规范、word2vec词向量训练、标注语句模型训练、未标注语句情感预测以及结合预测值生成评价分数等环节适合具备一定深度学习基础、希望系统实践文本情感分析的中高级学习者。压缩包共18个文件约191KB包含4个ipynb交互式笔记本、4个py源码文件以及word2vec词向量、语料、停用词、日志、模型保存与结果文件等config.py负责配置dataSet.py完成数据预处理tools.py提供序列长度与评价指标函数model.py给出baseline模型main_load与main_save分别支持加载预训练模型和读取训练数据进行预测。目前已有248人学习可帮助读者快速理解对抗训练与注意力机制在Bi-LSTM中的融合方式并掌握从词向量到评价分数的完整工程链路。1. 景区评论情感分析为什么值得用融合对抗与注意力 Bi-LSTM 重做一遍做景区评论情感分析的人大多经历过一个尴尬时刻模型在公开影评数据集上准确率刷到 92%一换到自家爬下来的景区评论就掉到 70% 出头。原因不玄学——景区评论短、口语化、反讽多、标签噪声大还夹着大量「排队两小时风景五分钟」这种前后情感冲突的长句。普通 Bi-LSTM 能记住上下文却分不清哪几个词才是决定情感极性的关键注意力机制能挑重点但遇到标注样本少、分布偏斜时又容易过拟合到高频词上。这个标题里的「融合对抗」和「注意力机制」正是冲着这两个痛点来的对抗训练负责在嵌入层或隐状态上加扰动逼模型学出更鲁棒的决策边界缓解小样本和噪声标签注意力机制负责在 Bi-LSTM 的双向输出上做加权池化把「风景」「服务」「排队」这些真正影响打分的词拎出来。两者叠在一起构成一套在景区评论这种脏数据上更稳的情感分析方案。这套东西适合谁适合正在做毕设、需要一份能跑通、能讲清原理、还能在答辩时扛住追问的学生也适合手上有一批中文短文本、想快速验证情感分析落地效果的工程师。下面从数据准备一路讲到对抗扰动怎么加、注意力怎么接、坑在哪代码全部给到可复现的程度。2. 数据准备与标签体系景区评论和影评到底差在哪2.1 景区评论的四个数据特征决定了预处理方式先别急着搭模型景区评论的数据形态和标准情感分析数据集差别很大处理方式选错后面调参全是白费。第一是长度分布。影评动辄几百字景区评论大量集中在 10 到 40 字比如「景色不错就是门票贵」「缆车排队一小时值了」。短文本意味着 Bi-LSTM 的序列长度可以压到 64 甚至 32训练快但也意味着单个词的信息权重被放大一个否定词就能翻转整句极性。第二是情感冲突句占比高。景区评论天然带「总分结构」先夸再贬或先贬再夸。这类句子如果只做句子级分类标签本身就模糊。常见做法是标注时以整体倾向为准同时在预处理阶段保留分句信息方便后续做注意力可视化时定位冲突片段。第三是领域词密集。「索道」「摆渡车」「讲解员」「旺季」「淡季」这些词在通用词表里权重很低但在景区场景里直接关联体验。所以分词后要维护一份领域词典把这类词加入 jieba 的自定义词典避免被切碎。第四是标签噪声。爬来的评论常带默认好评、复制粘贴的模板句甚至和评分不一致。对抗训练在这里的价值就体现出来了——它不追求拟合每一个噪声标签而是学一个对扰动不敏感的表示。2.2 从原始评论到模型输入的完整预处理链路下面这段代码覆盖了清洗、分词、去停用词、标签映射和序列截断是后面所有模型的地基。import re import jieba import pandas as pd from sklearn.model_selection import train_test_split # 领域词典景区场景高频词避免被 jieba 切碎 DOMAIN_WORDS [索道, 摆渡车, 讲解员, 旺季, 淡季, 门票, 观景台, 缆车, 栈道] for w in DOMAIN_WORDS: jieba.add_word(w) # 停用词表按需加载这里给最小集合 STOPWORDS set([的, 了, 是, 在, 我, 有, 和, 就, 都, 也, 很]) def clean_text(text): text re.sub(r[^], , str(text)) # 去 HTML 标签 text re.sub(r[^\u4e00-\u9fa5a-zA-Z0-9。], , text) # 保留中文和基本标点 return text.strip() def tokenize(text): words jieba.lcut(clean_text(text)) return [w for w in words if w not in STOPWORDS and len(w) 0] def build_dataset(csv_path, max_len64): df pd.read_csv(csv_path) # 假设原始列comment, label(0负面/1中性/2正面) df[tokens] df[comment].apply(tokenize) df df[df[tokens].map(len) 0] # 构建词表 vocab {PAD: 0, UNK: 1} for tokens in df[tokens]: for w in tokens: if w not in vocab: vocab[w] len(vocab) # 转 id 并截断/补齐 def to_ids(tokens): ids [vocab.get(w, 1) for w in tokens][:max_len] return ids [0] * (max_len - len(ids)) df[input_ids] df[tokens].apply(to_ids) return df, vocab df, vocab build_dataset(scenic_comments.csv) train_df, test_df train_test_split(df, test_size0.2, stratifydf[label], random_state42) print(词表大小:, len(vocab), 训练集:, len(train_df), 测试集:, len(test_df))逻辑说明clean_text先去掉 HTML 和特殊符号景区评论里常混着表情符号和网址不清掉会污染词表。jieba.add_word把领域词注册进去否则「摆渡车」会被切成「摆渡」和「车」语义就散了。build_dataset里词表从训练数据构建PAD固定为 0、UNK固定为 1这样补齐和未知词处理不会冲突。参数说明max_len64是景区短评论的经验值覆盖 95% 以上的样本长度如果你的数据里有大量长游记调到 128。test_size0.2配合stratify保证三个类别在训练测试集里比例一致避免某类样本太少导致评估失真。random_state固定住方便复现和对比不同模型。提示词表一定要在划分训练集之后再从训练集构建或者至少保证测试集里的词不会「偷看」进词表。很多毕设代码在这里翻车评估指标虚高就是这么来的。2.3 标签体系与类别不平衡的处理选择景区评论的情感标签常见三分类负面/中性/正面也有做五分类对应评分星级的。三分类更适合短文本因为中性评论本身边界模糊五分类会把噪声放大。如果原始数据只有评分常见做法是 1-2 星映射负面、3 星映射中性、4-5 星映射正面。类别不平衡是常态——正面评论往往占 60% 以上。处理方式有三种一是损失函数加类别权重CrossEntropyLoss(weight...)按类别频率倒数设置二是过采样少数类但短文本过采样容易过拟合三是在划分时保证每类最少样本数。我一般先用类别权重简单且不改变数据分布。权重计算方式是总样本数 / (类别数 * 该类样本数)直接传给损失函数即可。3. 融合对抗训练与注意力 Bi-LSTM 的模型搭建3.1 Bi-LSTM 打底为什么双向比单向更适合中文评论中文评论的情感判断经常依赖后文语境。「虽然排队久但是风景真的绝了」——如果只看前半句模型会判负面双向 LSTM 的后向层能把「风景真的绝了」的信息带回前面的隐状态最终表示才准确。Bi-LSTM 的结构是前向 LSTM 和后向 LSTM 各跑一遍然后把两个方向的隐状态拼接。设前向隐状态为 $\overrightarrow{h_t}$后向为 $\overleftarrow{h_t}$拼接得到 $h_t [\overrightarrow{h_t}; \overleftarrow{h_t}]$。这样每个时间步的输出都同时包含左右上下文。隐藏维度怎么选景区评论词表通常在一万到三万之间隐藏维度 128 或 256 都够用。层数上单层 Bi-LSTM 在短文本上已经能打两层容易过拟合除非你的数据量过万。dropout 加在 LSTM 输出上0.3 到 0.5 之间调。3.2 注意力机制怎么接在 Bi-LSTM 输出上注意力机制的作用是给每个时间步的隐状态分配权重然后加权求和得到句子表示。公式很直接$$\alpha_t \frac{\exp(u_t^T u_w)}{\sum_{i1}^{T} \exp(u_i^T u_w)}$$其中 $u_t \tanh(W_w h_t b_w)$ 是隐状态经过一层变换得到的注意力打分输入$u_w$ 是可学习的上下文向量。最终句子表示 $s \sum_t \alpha_t h_t$。这里有个容易忽略的点padding 位置必须 mask 掉。景区评论补齐到 64 后大量位置是PAD如果不 mask注意力会把权重分到这些无意义位置上模型学出来的东西就是错的。mask 的做法是在计算 softmax 前把 padding 位置的打分设成极小值如 -1e9。多头注意力是不是更好在 Bi-LSTM 之上单头注意力已经能带来明显提升多头注意力比如 4 头在数据量足够时能捕捉不同子空间的情感线索但参数量增加小数据集上反而容易过拟合。毕设场景建议先用单头跑通再对比多头。3.3 融合对抗在嵌入层加扰动的实现细节对抗训练的核心思想是在输入或隐状态上叠加一个「最坏方向」的小扰动让模型在这个扰动下仍然预测正确从而学出更平滑的决策边界。最常用的是 FGMFast Gradient Method实现简单效果好。FGM 的步骤是正常前向传播算出损失反向传播得到嵌入层的梯度然后沿梯度方向对嵌入加扰动 $\delta \epsilon \cdot g / |g|$再用扰动后的嵌入重新前向传播算一次损失两部分损失相加后更新参数。$\epsilon$ 是扰动幅度通常取 0.5 到 1.0。import torch import torch.nn as nn import torch.nn.functional as F class FGM: def __init__(self, model, epsilon0.5): self.model model self.epsilon epsilon self.backup {} def attack(self): # 只对 embedding 层加扰动 for name, param in self.model.named_parameters(): if param.requires_grad and embedding in name: self.backup[name] param.data.clone() norm torch.norm(param.grad) if norm ! 0 and not torch.isnan(norm): r_at self.epsilon * param.grad / norm param.data.add_(r_at) def restore(self): for name, param in self.model.named_parameters(): if name in self.backup: param.data self.backup[name] self.backup {}逻辑说明attack在第一次反向传播后调用此时param.grad已经算好直接用它构造扰动。restore在第二次前向传播后调用把嵌入权重还原避免扰动累积到下一轮。注意只对 embedding 层操作对 LSTM 和全连接层加扰动收益不明显还容易训练不稳定。参数说明epsilon0.5是中文短文本的常用起点太大超过 1.0会让训练损失震荡太小低于 0.1几乎没效果。训练循环里第一次前向传播用原始嵌入attack后第二次前向传播用扰动嵌入两次损失相加再backward。3.4 完整模型代码嵌入 Bi-LSTM 注意力 分类头class AttentionBiLSTM(nn.Module): def __init__(self, vocab_size, embed_dim128, hidden_dim128, num_classes3, dropout0.4): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.lstm nn.LSTM(embed_dim, hidden_dim, batch_firstTrue, bidirectionalTrue) self.attn_w nn.Linear(hidden_dim * 2, hidden_dim * 2) self.attn_u nn.Linear(hidden_dim * 2, 1, biasFalse) self.dropout nn.Dropout(dropout) self.fc nn.Linear(hidden_dim * 2, num_classes) def forward(self, x): mask (x ! 0) # padding mask emb self.dropout(self.embedding(x)) out, _ self.lstm(emb) # [B, T, 2H] u torch.tanh(self.attn_w(out)) # [B, T, 2H] scores self.attn_u(u).squeeze(-1) # [B, T] scores scores.masked_fill(~mask, -1e9) # mask 掉 padding alpha F.softmax(scores, dim1) # [B, T] context torch.bmm(alpha.unsqueeze(1), out).squeeze(1) # [B, 2H] return self.fc(self.dropout(context))逻辑说明mask从输入 id 是否为 0 得到masked_fill把 padding 位置的注意力打分压到极小softmax 后这些位置权重接近 0。torch.bmm做批量矩阵乘法把注意力权重和隐状态加权求和。分类头接在句子表示上dropout 放在 LSTM 输出和分类头前各一次。参数说明embed_dim128和hidden_dim128是平衡表达力和训练速度的常用组合显存紧张可以降到 64。dropout0.4在短文本上比 0.5 更稳因为本身序列短过度 dropout 会丢信息。padding_idx0让 embedding 层对补齐位不更新梯度。3.5 训练循环把对抗训练嵌进去def train_one_epoch(model, loader, optimizer, criterion, fgm, device): model.train() total_loss 0 for x, y in loader: x, y x.to(device), y.to(device) optimizer.zero_grad() logits model(x) loss criterion(logits, y) loss.backward() # 第一次反向得到梯度 fgm.attack() # 加扰动 logits_adv model(x) loss_adv criterion(logits_adv, y) loss_adv.backward() # 第二次反向累加梯度 fgm.restore() # 还原嵌入 optimizer.step() total_loss loss.item() loss_adv.item() return total_loss / len(loader)逻辑说明两次backward的梯度会累加所以optimizer.step()放在最后。fgm.restore()必须在step之前调用否则扰动会写进权重。criterion用带类别权重的CrossEntropyLoss。参数说明学习率用 1e-3 配 Adam训练 10 到 20 轮早停看验证集 F1。batch size 64 或 128短文本显存占用低可以开大一点加速。4. 训练调参与评估指标怎么读、参数怎么调4.1 景区评论场景下该看哪些指标准确率在类别不平衡时具有欺骗性。正面评论占 70% 的数据集全预测正面也有 70% 准确率。景区评论情感分析必须看宏平均 F1macro-F1它把每个类别的 F1 等权平均少数类的表现不会被多数类淹没。另外建议单独看负面类的召回率。景区运营方最关心的是负面评论有没有被漏掉漏掉一条负面评论的代价远大于误判一条正面。如果负面召回低于 0.7说明模型对负面特征学得不够要么加负面样本要么调类别权重。混淆矩阵也要看。三分类里负面和中性最容易混因为「还行」「一般」这类词本身就模糊。如果负面大量被预测成中性考虑把中性类合并或者重新定义标注规则。4.2 关键超参数的影响与调法参数常用范围影响调整建议embed_dim64-256表达力与过拟合数据少于 5000 条用 64-128hidden_dim64-256上下文建模能力与 embed_dim 同量级即可dropout0.3-0.5正则化强度验证集 loss 上升就调大epsilon (FGM)0.3-1.0对抗扰动幅度从 0.5 起调损失震荡就降lr1e-4-3e-3收敛速度Adam 配 1e-3不收敛降到 5e-4max_len32-128序列覆盖度覆盖 95% 样本长度即可调参顺序建议先固定对抗关闭把基础 Bi-LSTM 注意力调到验证集 F1 稳定再打开 FGM 调 epsilon。这样能分清涨点是对抗带来的还是注意力带来的答辩时也讲得清楚。4.3 注意力权重可视化验证模型有没有学对注意力权重是这套模型的可解释性来源。把测试样本的 alpha 权重和原词对齐打印出来能直观看到模型关注了哪些词。def show_attention(model, text, vocab, device, max_len64): model.eval() tokens tokenize(text)[:max_len] ids [vocab.get(w, 1) for w in tokens] [0] * (max_len - len(tokens)) x torch.tensor([ids]).to(device) mask (x ! 0) emb model.embedding(x) out, _ model.lstm(emb) u torch.tanh(model.attn_w(out)) scores model.attn_u(u).squeeze(-1).masked_fill(~mask, -1e9) alpha F.softmax(scores, dim1).squeeze(0).cpu().detach().numpy() for w, a in zip(tokens, alpha[:len(tokens)]): print(f{w}\t{a:.4f}) show_attention(model, 风景很美但是排队太久了, vocab, device)逻辑说明这段代码复用了模型前向传播的中间结果把注意力权重单独取出来。打印后如果「排队」「太久」权重明显高于「风景」说明模型抓住了负面线索如果权重均匀分布说明注意力没学到东西要检查 mask 是否正确或者注意力层初始化。参数说明max_len要和训练时一致否则位置对不上。可视化只用于验证和答辩展示不参与训练。5. 避坑与排查这套方案最容易翻车的五个地方5.1 注意力权重全均匀模型像没加注意力现象训练 loss 正常下降但可视化出来每个词的注意力权重几乎一样接近 1/T。原因最常见的是 mask 没做对padding 位置参与了 softmax把权重摊平了。其次是注意力层的初始化让打分输入方差太小softmax 输出接近均匀。解决检查masked_fill是否在 softmax 之前确认padding_idx0和 mask 条件一致。如果 mask 没问题把attn_w的初始化改成 Xavier 或者给打分乘一个温度系数让分布更尖锐。5.2 加了对抗训练后验证集指标反而下降现象不开 FGM 时验证集 F1 是 0.82开了之后掉到 0.78训练 loss 还震荡。原因epsilon 太大扰动把嵌入推到了语义无关的区域模型在学「怎么对抗噪声」而不是「怎么分类」。另一个可能是对抗损失和原始损失直接相加权重没调对抗项主导了梯度。解决把 epsilon 从 0.5 降到 0.2 试或者给对抗损失乘一个 0.5 的系数。观察训练 loss 曲线如果前几轮就剧烈震荡基本是 epsilon 过大。对抗训练是锦上添花不是万能药基础模型没调好之前不要开。5.3 负面评论召回率极低模型偏向预测正面现象准确率看着不错但负面类 F1 只有 0.5大量负面被预测成正面或中性。原因类别不平衡 损失函数没加权。模型学到「预测多数类就能降低平均损失」的捷径。解决CrossEntropyLoss加weight参数按类别频率倒数设置。同时检查标注质量有些「负面」评论其实标注错了。如果加权后负面召回上来了但正面掉太多说明两类特征确实重叠考虑做数据增强或者引入外部情感词典特征。5.4 训练集 loss 降到很低测试集一塌糊涂现象训练 loss 到 0.1训练集准确率 98%测试集 F1 只有 0.65。原因过拟合。景区评论数据量通常不大模型参数量相对过剩。也可能是词表从全量数据构建测试集信息泄漏。解决加大 dropout 到 0.5减小 hidden_dim加 L2 正则。确认词表只从训练集构建。如果数据量少于 3000 条考虑冻结 embedding 层或者用预训练词向量初始化。5.5 换了批数据后模型完全失效现象在 A 景区数据上训好的模型直接用到 B 景区评论上F1 掉 20 个点。原因领域词分布不同。A 景区的「索道」是高频词B 景区可能主打「古镇」「夜景」词表覆盖不到。解决跨场景使用时要么在目标场景数据上微调几轮要么把领域词表做成可配置的换场景时更新 jieba 词典和词表。对抗训练在这里能缓解一部分但不能替代领域适配。6. 进阶技巧用对抗扰动做数据增强与模型集成跑通基础版本之后有两个方向能把效果再往上推一截而且实现成本不高。第一个是把 FGM 的扰动思路反过来用——不是加在嵌入上做对抗训练而是用扰动生成「虚拟样本」做数据增强。具体做法是对每条训练样本在嵌入层加一个小扰动后前向传播把得到的 logits 和原始 logits 做一致性约束比如 KL 散度相当于告诉模型「同一个句子的小扰动版本应该预测一致」。这比直接复制样本做增强更符合语义因为扰动是在连续空间里做的不会产生语法错误的句子。实现上就是在训练循环里多算一次前向损失函数加一项KL(logits || logits_adv)权重取 0.3 到 0.5。第二个是模型集成。注意力 Bi-LSTM 对初始化敏感不同随机种子训出来的模型在测试集上差异能有 2 到 3 个点。把 3 到 5 个不同种子的模型做软投票平均 softmax 概率通常能稳定涨 1 到 2 个点。集成时注意每个模型要用相同的词表和预处理否则输入对不齐。如果显存不够同时加载多个模型可以先把每个模型的测试集概率存下来最后离线平均。还有一个验证技巧值得养成习惯把测试集按评论长度分桶分别看短句小于 15 字和长句大于 40 字的 F1。景区评论里短句往往是情绪最强烈的如果短句 F1 明显低于长句说明模型对短文本的注意力分配有问题可以针对性调整 max_len 或者对短句单独做 padding 策略。我自己踩过最深的坑是早期图省事把词表从全量数据构建测试集 F1 虚高到 0.9答辩时被问「测试集里的词训练时见过吗」直接卡住。后来养成习惯所有预处理步骤先划分再拟合评估指标才可信。另一个习惯是每次调参只动一个变量把结果记在表格里不然改了三四个参数涨了点根本不知道是哪个起的作用。这套融合对抗加注意力的方案基础版本一天能跑通调优到稳定需要反复对比耐心比技巧重要。希望帮到你。本文还有配套的精品资源点击获取