简介一套基于BERT模型的情感分析Python源码项目旨在对IMDB影评进行正面或负面情感分类。项目面向自然语言处理初学者、深度学习实践者以及需要快速搭建情感分类实验环境的开发者代码经过本地编译验证可运行难度适中适合课程设计或入门实战。压缩包内共5个文件包含4个Python脚本和1个使用说明文档整体大小仅4KB。脚本覆盖数据加载、模型测试、GPU环境检测等环节便于按步骤执行txt说明提供基本运行指引结构简单但功能闭环。目前已有226人下载学习能够体现其作为小型入门项目的参考价值。通过这份源码读者可以了解BERT模型在情感分析任务中的调用方式、PyTorch/TensorFlow环境下的测试流程以及如何针对IMDB数据集进行二分类结果验证。代码精简无冗余依赖适合对照学习或在此基础上扩展改进。1. 基于BERT的IMDB情感分析一份能快速跑通的二分类源码我拆开这份基于BERT模型的情感分析项目源码之前默认BERT项目都是几百行起步的“全家桶”结果发现它一共就五个文件训练、评估、GPU检测各司其职二十分钟就能跑通。项目目标很简单给IMDB影评做正面/负面二分类文本进标签出。价值在于它刚好覆盖了BERT微调的最短路径——数据预处理、模型加载、训练循环、评估脚本一个不少冗余不多。适合正在做NLP课程设计的人也适合想拿现成模板改造成中文情感分析的老手。2. 源码结构拆解五个文件各司其职2.1 目录总览每个文件解决什么问题解压后整个目录非常干净没有多余的缓存文件夹或中间产物。五个文件各有分工我用一张表把它说明白文件定位code.py核心训练入口数据加载、模型初始化、训练循环、模型保存都在这Examination.py评估脚本加载训练好的权重对测试集或单条影评做预测GPU TEST.pyGPU环境检测打印CUDA相关信息并用一个最小迭代验证训练链路PyTorch TEST.pyPyTorch安装自检确认torch能正常导入、能否调用CUDA使用说明.txt依赖安装与运行顺序的文字说明先说 code.py。这个文件正常情况下会顺序执行五件事指定数据路径、实例化tokenizer和Dataset、构造DataLoader、初始化BERT分类模型、进入epoch循环。训练结束后会把模型权重保存成pytorch_model.bin或者调用 save_pretrained 保存整个模型目录。Examination.py 则反过来它只关心推理读入权重对测试集算出准确率也可以对命令行传入的一句影评直接输出 positive 或 negative。GPU TEST.py 更像一个完整的冒烟测试打印驱动信息之后跑一个batch数据验证前向和反向都没问题。PyTorch TEST.py 是最底层的环境探针只验证torch是否安装正确、能不能看到显卡。从模型选型看项目用的是 bert-base-uncased这是BERT家族里最适合英文短文本分类的通用版本。uncased 意味着不区分大小写对IMDB影评这种带口语化的文本来说大小写信息对情感判断几乎没帮助反而会增大词典规模。依赖方面torch 和 transformers 是底线依赖数据集要么通过Hugging Face在线下载要么提前放在本地路径具体看你拿到的使用说明文本怎么写的。建议严格按照文本里给的版本来装不要随手装最新版transformers 的API在几个大版本之间有过调整老脚本配新库容易翻车。2.2 运行顺序先自检环境再训练最后评估我拿到源码后的操作顺序和文件命名逻辑完全一致分四步走。第一步先跑 PyTorch TEST.py。它会打印PyTorch版本号和CUDA是否可用。如果输出 CUDA available: False先别急着改代码大概率是torch版本和显卡驱动不匹配或者装成了CPU版torch。这个问题在BERT项目里很常见因为模型在CPU上勉强能跑但训练一次的时间足够看完整部电影。第二步跑 GPU TEST.py。它会进一步打印显卡名称、显存信息并且真的执行一个最小训练迭代。这个脚本里通常会有device torch.device(cuda)之类的写法如果驱动不支持或显存不足它会在这一步暴露出来而不是等你跑完几十个epoch才发现。第三步运行 code.py 开始正式训练。它能跑通就说明环境、数据、模型三件事都对齐了。启动时会先看到tokenizer加载模型权重的日志然后是训练进度。第一次运行最耗时的未必是微调反而是下载权重和数据集BERT base的权重接近500MB建议提前把权重和数据集准备好再开始训练。第四步用 Examination.py 评估训练结果或者直接拿一条新影评进去测试。这个顺序的价值在于“先环境后逻辑”把环境问题和代码问题隔离开。我见过不少同学跳过环境自检直接训练结果报错时根本分不清是torch没装好还是代码有bug只能盲猜。先确认环境再改模型最后改数据整个流程的排错成本会低很多。2.3 为什么把代码拆成四个py脚本从工程角度看这种拆分是合理的。code.py 保持纯净只包含训练主流程Examination.py 独立出来意味着训练和评估可以分离——模型训完后不必重新跑一遍数据加载直接加载权重就能预测GPU TEST.py 和 PyTorch TEST.py 这种自检脚本体积虽然小但在课程设计或教学场景里特别有用助教只需要让学生先跑这两个脚本就能快速筛选出环境有问题的机器。这种拆法还有一个隐藏好处评估脚本单独存在意味着模型训练完以后不需要加载训练数据和训练代码只要模型权重的目录在就能在任何一台配置好依赖的机器上做推理。课程设计答辩时现场就算换一台机器也只需要装依赖和权重不用重跑训练。如果是我自己组织这个项目大概率也会这么拆。训练、评估、环境自检三件事混在一个文件里项目跑起来会越来越乱。尤其是BERT这类训练耗时长的模型训练和评估分开写后面做交叉验证或调参时能省很多时间。这份源码的文件划分已经把一个微调项目该有的骨架搭出来了。3. 核心代码逐段讲tokenizer、训练循环和评估3.1 数据预处理tokenizer把影评变成input_ids先说结论BERT模型吃不了原始文本所有影评都必须先经过tokenizer转换成数字编号。code.py 里大概率是这么做的import torch from torch.utils.data import Dataset from transformers import BertTokenizer # uncased 表示不区分大小写影评场景里大小写对情感判断影响很小 tokenizer BertTokenizer.from_pretrained(bert-base-uncased) class IMDBDataset(Dataset): 把IMDB影评文本转换成BERT能吃的特征 def __init__(self, texts, labels, max_len256): self.texts texts self.labels labels self.max_len max_len def __len__(self): return len(self.texts) def __getitem__(self, idx): text self.texts[idx] # truncationTrue 避免超长评论被截断时报错 # paddingmax_length 把每条样本统一填充到相同长度 encoding tokenizer( text, truncationTrue, paddingmax_length, max_lengthself.max_len ) return { input_ids: torch.tensor(encoding[input_ids]), attention_mask: torch.tensor(encoding[attention_mask]), label: torch.tensor(self.labels[idx], dtypetorch.long) }这里最关键的是 tokenizer 的三个参数。max_len256 是速度和精度的折中——IMDB影评平均长度在两百词左右256能覆盖绝大多数样本如果显卡显存紧张降到128甚至64也可以但过短会丢掉句尾信息可能影响准确率。attention_mask 的作用是告诉模型哪些位置是真实文本、哪些位置是填充的0新手最容易漏掉它漏掉之后模型会把填充位也当作有效文本去算注意力准确率会掉得莫名其妙。label 转成 torch.long 是因为交叉熵损失要求标签是 LongTensor 类型千万别传 float。3.2 模型初始化与训练循环二分类头怎么加使用 transformers 库时不需要手动在BERT后面接全连接层BertForSequenceClassification会帮你把这些都做好from transformers import BertForSequenceClassification, AdamW from torch.utils.data import DataLoader device torch.device(cuda if torch.cuda.is_available() else cpu) # num_labels2 就是正面/负面二分类 model BertForSequenceClassification.from_pretrained( bert-base-uncased, num_labels2 ) model.to(device) optimizer AdamW(model.parameters(), lr2e-5) train_loader DataLoader(dataset, batch_size16, shuffleTrue) model.train() for epoch in range(3): total_loss 0 for batch in train_loader: input_ids batch[input_ids].to(device) attention_mask batch[attention_mask].to(device) labels batch[label].to(device) optimizer.zero_grad() outputs model( input_idsinput_ids, attention_maskattention_mask, labelslabels ) loss outputs.loss loss.backward() optimizer.step() total_loss loss.item() print(fepoch {epoch 1}, loss: {total_loss / len(train_loader):.4f})逻辑上from_pretrained(bert-base-uncased) 会下载约1.1亿参数的预训练权重并自动在池化层后面加一层 num_labels 维度的分类头二分类任务里输出维度就是2。learning rate 设成2e-5而不是更大的值是因为预训练权重已经学会了通用语义我们只需要微调学习率太大会把学过的知识冲掉这在BERT项目里几乎是铁律。batch_size16 是常见默认值如果OOM优先把它降到8或4。训练3个epoch是情感分析任务比较常见的配置再多的epoch在这个数据集上容易过拟合验证集准确率反而下降。3.3 评估函数准确率是怎么算出来的训练结束后Examination.py 里的核心逻辑和下面的 evaluate 函数类似def evaluate(model, val_loader, device): model.eval() correct 0 total 0 with torch.no_grad(): for batch in val_loader: input_ids batch[input_ids].to(device) attention_mask batch[attention_mask].to(device) labels batch[label].to(device) outputs model(input_idsinput_ids, attention_maskattention_mask) preds torch.argmax(outputs.logits, dim1) correct (preds labels).sum().item() total labels.size(0) return correct / totalmodel.eval() 会把模型切到推理模式Dropout等训练专用层会被关掉确保输出稳定。torch.no_grad() 告诉PyTorch不要计算梯度因为评估阶段不需要回传不开的话显存占用会翻倍。outputs.logits 是模型对每个类别的打分形状是 [batch_size, 2]取 argmax 得到预测的情感类别。第一次写这个函数的人最容易漏的就是 batch 里的每个 tensor 都要 .to(device)漏掉之后会出现设备不匹配的报错尤其是在GPU训练完、又用CPU做评估的时候。4. 避坑指南从数据下载到恢复训练的五个常见问题这份源码能跑通不难但我在拆的过程中也踩了不少坑。下面五条是从实际运行里总结出来的每条都按“现象、原因、解决”的顺序说清楚能帮你少走弯路。4.1 数据集下载失败卡在第一步现象运行 code.py 后日志停在 Downloading 相关阶段过一会儿报 ConnectionError 或超时。原因IMDB数据集体积不小首次运行往往需要在线下载压缩包并解压构建缓存。网络波动、连接不稳定、或者缓存目录权限不对都可能让下载中断。如果你拿到的版本用的是加载本地文本路径那更常见的问题就是路径没对上。解决先把IMDB数据集手动下载好放在项目根目录的 data 文件夹里然后把 code.py 里的数据路径指向本地目录。如果脚本用的是 load_dataset 方式读取则需要把数据集缓存到本地并设置离线环境变量强制走缓存。我一般会在代码开头加一段防御import os os.environ[TRANSFORMERS_OFFLINE] 1 os.environ[HF_DATASETS_OFFLINE] 1这样脚本不会反复尝试联网省掉许多莫名超时。4.2 tokenizer报错序列长度超过上限现象:训练刚开始就跑出Token indices sequence length is longer than the specified maximum sequence length for this model。原因调用tokenizer时没传 truncationTrue或者只设置了 max_length 但忘了让超长序列走截断逻辑。BERT模型内部的位置编码上限通常是512一条超长影评被完整转成token后超过了这个上限就会触发异常。解决把tokenizer调用统一成固定写法truncationTrue、paddingmax_length、max_length256。如果模型配置里的 max_position_embeddings 是512而你显存不够就改成256不要硬撑512。这个坑很像“玄学”但本质只是参数没传全。4.3 CUDA out of memorybatch_size背锅现象训练到第二个batch直接崩报CUDA out of memory有时还会提示 Tried to allocate 多少多少MB。原因batch_size16 加上 max_len256在常见消费级显卡上太激进。BERT base 的中间激活值很吃显存显存稍小一点就撑不住。也可能是加载模型时把整个权重放进了GPU加上DataLoader里的缓存又占了一块。解决batch_size 从16降到8或4max_len从256降到128先确认能跑通再逐步加回去。如果还想用更大的有效batch用第5章的梯度累积方案。这个坑在PyTorchTransformer组合里出现频率极高不是代码逻辑的问题纯粹是资源分配问题。4.4 标签值越界训练直接崩现象训练到某个batch时报CUDA error: device-side assert triggered随后整个Python进程直接退出没有任何正常的traceback。原因不同版本的IMDB数据集标签编码方式不一样。有的从0开始有的从1开始还有的用pos和neg通过字符串映射成1和2。模型期望的是0和1一旦labels里出现2交叉熵内部的类索引就越界了CUDA会直接触发断言。解决训练之前先打印一次标签分布用print(set(labels))看看到底有哪几个值。如果是1和2就整体减1labels [lab - 1 for lab in raw_labels]同时在训练代码里加一个断言把错误挡在进入GPU之前assert set(labels) {0, 1}, flabel取值异常: {set(labels)}这条防御代码看起来简单但能避免很多个下午的排查时间。4.5 恢复训练后准确率暴跌现象之前训练显示90%以上的准确率把权重保存下来重新加载后验证准确率掉到50%上下像是模型失忆了。原因权重保存和加载时的配置不一致。比如训练用的是 bert-base-uncased加载时误写成了 bert-base-cased或者换了机器后transformers版本不同分类头的反序列化出了问题。还有更隐蔽的只保存了模型权重没有保存tokenizer评估时换了一个长度不同的词表预测结果自然全乱。解决训练完同时保存model和tokenizer不要只存一个。标准做法是model.save_pretrained(./model_save) tokenizer.save_pretrained(./model_save)加载时直接用目录路径model BertForSequenceClassification.from_pretrained(./model_save) tokenizer BertTokenizer.from_pretrained(./model_save)这样词表、label映射、分类头配置都跟着走不会出现预测阶段符号对不上的问题。提示上面五条是本项目最常见的问题。如果你只记一句话那就是永远先打印数据和标签再跑模型。5. 性能调优GPU脚本中用到的三个提速技巧5.1 环境自检脚本先看GPU能不能用GPU TEST.py 和 PyTorch TEST.py 这类脚本核心其实就一段环境探针代码。如果只是想确认机器能不能跑BERT训练下面这段就够用了import torch # 先确认torch能看到GPU再谈训练 print(CUDA available:, torch.cuda.is_available()) if torch.cuda.is_available(): print(GPU count:, torch.cuda.device_count()) print(GPU name:, torch.cuda.get_device_name(0)) print(CUDA version:, torch.version.cuda) print(PyTorch version:, torch.__version__) else: print(当前环境只能用CPU跑建议先换GPU环境)这段脚本解决的是“环境黑匣子”问题。BERT训练慢、报错多但很多问题在跑第一个epoch之前就能被发现。CUDA available 为 False 时先检查安装的torch是不是CPU版再看显卡驱动是否被系统识别。GPU count 和 GPU name 用来确认卡有没有被占用。PyTorch 和 CUDA 的版本匹配问题也在这里暴露——transformers 库对较新的CUDA版本通常兼容性更好老驱动配新torch是常见的翻车原因。在正式训练脚本里设备迁移也要跟着写清楚device torch.device(cuda if torch.cuda.is_available() else cpu) model model.to(device)注意 DataLoader 里取出来的每个tensor都要 .to(device)。很多人只迁移了模型忘了迁移数据结果报错说 input_ids 和 model 不在同一个设备上。5.2 梯度累积小显存跑大batch的常规操作显存不够的时候第一个直觉是把 batch_size 调小。但调太小会导致训练不稳定梯度方向噪声大。梯度累积是更好的折中方案代码写起来也不复杂accumulation_steps 4 optimizer.zero_grad() for i, batch in enumerate(train_loader): input_ids batch[input_ids].to(device) attention_mask batch[attention_mask].to(device) labels batch[label].to(device) outputs model(input_idsinput_ids, attention_maskattention_mask, labelslabels) # 除以累积步数让4个小batch的梯度合并后等价于一个大batch loss outputs.loss / accumulation_steps loss.backward() if (i 1) % accumulation_steps 0: optimizer.step() optimizer.zero_grad()这里有个容易写错的地方loss 要除以 accumulation_steps否则累积4次梯度后实际更新量相当于是4倍learning rate模型很容易跑飞。这种方法相当于把 batch_size4 的4个batch拼成一次训练步效果上接近 batch_size16但显存峰值只相当于一个小batch。我在实际项目里最喜欢用这个技巧因为它不改动模型结构只调整训练循环随时可以开关。5.3 混合精度训练把训练时间压下去如果你的显卡支持FP16混合精度是性价比最高的加速手段。PyTorch 自带 torch.cuda.amp 模块改造成本很小from torch.cuda.amp import autocast, GradScaler scaler GradScaler() model.train() for batch in train_loader: input_ids batch[input_ids].to(device) attention_mask batch[attention_mask].to(device) labels batch[label].to(device) optimizer.zero_grad() # 前向计算在FP16下进行省显存也加速 with autocast(): outputs model(input_idsinput_ids, attention_maskattention_mask, labelslabels) loss outputs.loss scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()autocast 让前向计算在FP16下进行梯度仍然用FP32保存显存占用几乎减半训练速度通常能提升30%到50%。GradScaler 的作用是防止FP16下梯度过小被下溢成0它会在反向传播前放大梯度更新参数前再缩回来。注意这套写法只对CUDA生效CPU上不要开。这也正是GPU TEST.py 这类脚本存在的意义——先确认显卡支持FP16再决定要不要启用amp不然强行开启只会白报一堆警告。6. 二次开发三板斧换数据集、换模型、调超参6.1 换数据集从英文影评到中文评论想把它改造成中文商品评论情感分析改动点其实很小。把tokenizer和model都换成中文预训练版本bert-base-uncased 改为 bert-base-chinese同时把数据源从IMDB换成自己的CSV。数据加载部分只要保证 text 和 labels 两个list的格式不变IMDBDataset 这个类可以完全复用tokenizer BertTokenizer.from_pretrained(bert-base-chinese) model BertForSequenceClassification.from_pretrained( bert-base-chinese, num_labels2 )中文文本没有天然的token边界所以 max_len 的建议值可以放宽到256以上但也不用太大。预处理时记得把文本清洗独立出来因为中文评论里夹杂的标点和英文符号比IMDB影评更多。6.2 换模型roberta 和 distilbert换成其他预训练模型时只需改模型名。transformers 库的接口高度统一训练循环基本不用动。比如换成 distilbert-base-uncased模型体积小了40%训练速度快一倍准确率通常只下降一到两个点。如果你的课程设计对指标要求不高而对速度要求高distilbert 是很好的选择。换 roberta 则相反它效果往往比BERT略好但模型更大、训练更慢显存不够时不要尝试。6.3 调超参每次只动一个变量调参顺序我一般是先动 learning rate2e-5 可以上下浮动一倍试到4e-5再动 epoch3轮不够就看验证集是否还在下降在降就加到5轮但要注意过拟合最后动 max_len英文短文本降到128能明显提速中文长文本256起步。每次只改一个参数记录验证准确率不要同时改两个否则无法判断是谁起的作用。我现在拿到任何NLP源码第一件事就是检查tokenizer参数有没有写死第二件事是打印一遍label分布。这两个习惯都是在改这个项目时踩坑换来的帮我避掉了至少一半的无效调试时间。希望帮到你。本文还有配套的精品资源点击获取