简介基于Bert的情感分析与文本分类项目是一套面向高校学子的完整实践方案。资源包含从数据预处理、模型训练到结果评估的全流程Python代码并附带可直接用于训练的微博情感数据集及项目说明文档适合作为期末大作业、课程设计或毕业设计的基础框架也便于对NLP感兴趣的开发者入门进阶。压缩包共10个文件5个Python脚本覆盖数据转换、读取、训练与预测等核心环节4个txt文档提供环境配置与使用指导1个csv文件为情感分析数据集整包约30.97MB结构清晰便于按模块查阅与复用。目前已有518人学习/下载项目代码经功能验证可稳定运行且留有扩展接口与注释方便二次开发或替换数据后迁移到其他文本分类任务可进一步降低入门门槛。整体而言项目经导师指导认可评审分达98分具备良好的逻辑完整性与可操作性能为读者节省从零搭建的时间。1. 基于Bert的情感分析任务拆解先想清楚分类边界与模型选型现在做情感分析还在用TF-IDF加LR说明数据量不大或者基线还没建立。Bert被拉进这个场景是因为真实评论里有大量口语化表达、反讽和否定词翻转这些是传统特征工程很难覆盖的。情感分析本质上是文本分类输入一段文本输出一个或多个标签正面、负面、中性是国内电商和舆情场景最常见的三分类。标题把源码、数据集和项目说明放在一起说明你要的不只是能跑而是一条从数据准备到模型微调再到结果解读的完整链路。Bert作为预训练模型价值在于通用语言知识已经学好了下游任务只需要一个标注数据集做微调这也是当前nlp情感分析里成本最低、效果最稳的路线。和需要自己设计特征模板的旧方法相比Bert的迁移学习方式把特征工程的部分大幅压缩你真正要关心的只剩数据质量、输入长度和训练参数。如果你是第一次用transformers库做文本分类的Python用户想搞懂lr和max_len这些参数为什么这样设或者手头已经有标注数据需要把情感分类任务接到工程接口上下面按最小可跑、参数验证、问题排查、接口落地四个层次拆开讲。2. 基于Bert实现文本分类的最小可跑流程数据集准备与tokenizer对齐2.1 数据集格式与标签映射先定CSV还是JSON情感分析数据集的常见组织方式有两种。一种是CSV每行一条样本text和label两列即可另一种是JSON每条样本是一个对象适合字段较多的项目。做单文本分类时我一般选CSVpandas读起来直接标签分布一眼能看清。Windows下导出的CSV经常带BOM读取时要用utf-8-sig否则第一列列名会多出一个\uFEFF字符后面查起来很痛苦。import pandas as pd df pd.read_csv(./data/sentiment.csv, encodingutf-8-sig) label_set sorted(df[label].unique()) label2id {label: i for i, label in enumerate(label_set)} id2label {i: label for label, i in label2id.items()} df[label_id] df[label].map(label2id) print(df[label_id].value_counts())sorted保证label2id在类别集合下顺序稳定标签从0开始的整数id对应分类头的输出维度。id2label要保留到推理阶段因为模型输出的logits是数字最终展示必须映射回原始字符串。value_counts用于看类别分布如果某一类占比特别低训练时要考虑类别权重否则模型会倾向把样本全部判给多数类。如果你的数据是JSON形式用json.load逐行解析每行一个对象包含text和label两个key。核心约束只有一个text和label严格对齐。划分训练集、验证集、测试集时建议按8比1比1先shuffle再分层抽样避免某个类别在验证集里只有几条导致F1波动巨大。标题里的情感分析默认是纯文本粒度如果要扩展到多模态情感分析还得并行处理音频和图像特征输入就不止input_ids了那是另一套流程。字段类型说明是否必填textstr待分类文本建议先统计长度分布是labelstr/int标签字符串或id训练前统一映射是idstr样本标识排查脏数据时有用否2.2 用tokenizer把文本切成input_ids与attention_maskBert的输入不是字符串而是token id序列。tokenizer会把中文按字粒度切分后映射到词表同时生成attention_mask和token_type_ids。这一步最常见的错误是padding策略不一致有的batch补到128有的补到64训练时GPU利用率忽高忽低显存峰值还容易顶爆。更麻烦的是手工拼batch时长短样本混在一起注意力mask写错位置模型看到的padding区域就不是屏蔽状态。from transformers import BertTokenizer tokenizer BertTokenizer.from_pretrained(bert-base-chinese) enc tokenizer( df[text].tolist(), max_length128, paddingmax_length, truncationTrue, return_tensorspt, )max_length128对绝大多数电商评论和舆情短文本够用超过128的样本占比通常很低直接截断。paddingmax_length把整个数据集统一补到128批次形状固定为(batch_size, 128)DataLoader不需要动态padding实现最简单。如果你的文本是长文档比如工单描述或政策文件max_length要调到256或512同时接受显存和训练耗时的上涨。truncationTrue默认从右侧截断对情感分类影响不大但对阅读理解类任务要注意截断位置可能恰好截掉答案。2.3 构建Dataset类并加载Bert分类模型用PyTorch的Dataset类把编码结果包起来让DataLoader能按batch产出。很多拿到手的python源码里会直接返回整段特征然后在for循环里手工切batch能跑但可维护性差加入验证集或测试集时又要重写一遍。我一般这样写Dataset类独立后训练和评估都能复用同一套数据逻辑import torch from torch.utils.data import Dataset class SentimentDataset(Dataset): def __init__(self, enc, labels): self.input_ids enc[input_ids] self.attention_mask enc[attention_mask] self.labels labels def __len__(self): return len(self.labels) def __getitem__(self, idx): return { input_ids: self.input_ids[idx], attention_mask: self.attention_mask[idx], labels: torch.tensor(self.labels[idx], dtypetorch.long), }__getitem__返回的字典key和BertForSequenceClassification的forward参数名完全一致训练循环里可以直接写model(**batch)。这里没有返回token_type_ids单句分类场景下可以不传模型默认用全0替代。labels必须是torch.long如果是floatCrossEntropyLoss会报类型错或静默转成错误结果。模型加载部分用BertForSequenceClassificationnum_labels必须与前面label2id的长度一致否则标签永远对不上from transformers import BertForSequenceClassification model BertForSequenceClassification.from_pretrained( bert-base-chinese, num_labelslen(label2id), id2labelid2label, label2idlabel2id, )id2label传进config后模型保存时会自动带上映射推理加载后不需要再手动维护外部字典。这里要提醒一下如果想做多标签分类也就是一条评论同时命中多个情绪或主题逻辑完全不同。多标签场景下num_labels还是类别总数但loss要用BCEWithLogitsLoss输出层换成sigmoid评估指标也要换成每个类别的F1再取平均。3. Bert微调的关键参数lr、batch_size、max_len与早停策略3.1 lrBert主干与分类头最好分开设置Bert微调最常见的崩溃现场是lr过大。预训练参数已经收敛在某个解附近过大的学习率会把主干权重直接冲散loss一开始就乱跳。我的做法是Bert主干用2e-5分类头用1e-4。分类头是随机初始化的线性层需要相对大一点的学习率尽快拟合而主干只需要很小的步长在原有语义空间中微调。from transformers import AdamW no_decay [bias, LayerNorm.weight] optimizer_grouped_parameters [ { params: [p for n, p in model.named_parameters() if classifier not in n and p.requires_grad], lr: 2e-5, weight_decay: 0.01, }, { params: [p for n, p in model.named_parameters() if classifier in n and p.requires_grad], lr: 1e-4, weight_decay: 0.01, }, ] optimizer AdamW(optimizer_grouped_parameters)两个参数组的区分点是参数名里是否包含classifier。BertForSequenceClassification的分类头参数都带classifier前缀所以用in判断即可。weight_decay要避开bias和LayerNorm的权重否则训练早期loss会出现异常波动。如果机器显存特别紧张也可以把Bert主干冻结只训练分类头更新参数量从一亿多降到几万显存占用能降一半以上代价是精度通常比全量微调低两到三个点。3.2 batch_size与max_len显存和训练速度怎么平衡batch_size直接决定显存峰值。Bert每增加一个tokenattention的计算量是平方量级上升max_len从128提到256显存开销远不止翻倍。16G显存下max_len128、batch_size32大部分场景没问题max_len512时batch_size建议降到8。梯度累积可以缓解这个大batch需求实际batch_size32显存放不下就分四次每次8累加梯度后统一更新。gradient_accumulation_steps 4 for step, batch in enumerate(train_dataloader): outputs model(**batch) loss outputs.loss / gradient_accumulation_steps loss.backward() if (step 1) % gradient_accumulation_steps 0: optimizer.step() optimizer.zero_grad()loss除以accumulation_steps是为了让累加后的梯度幅度和单次大batch保持一致。注意要累加到设定步数后才做optimizer.step不要每个step都更新。数据集只有几千条时梯度累积会让收敛变慢不如直接减batch_size到16或8来得干脆。max_lenbatch_size梯度累积备注12832否短评论最快配置25616否一般长文本5128是accum2长文档训练时间明显上升3.3 早停与epoch什么时候停最合适情感分析单文本分类epoch通常设在3到5。Bert微调收敛很快两个epoch后验证集F1基本到顶再多训练就开始记录训练集细节。按验证集loss做早停是最稳的连续几个epoch不降就停我一般用patience变量控制。训练循环里同时把学习率调度带上warmup步数设为总步数的10%前几百步让学习率从0缓慢升到设定值避免模型在开始时被大梯度冲击。best_loss float(inf) patience 2 bad_epochs 0 for epoch in range(epochs): train_one_epoch() val_loss evaluate() if val_loss best_loss: best_loss val_loss model.save_pretrained(./best_model_dir) tokenizer.save_pretrained(./best_model_dir) bad_epochs 0 else: bad_epochs 1 if bad_epochs patience: break这里直接用save_pretrained而不是torch.save(model.state_dict())因为前者会连config一起保存后面加载推理只需要一个目录路径。patience2意味着连续两个epoch验证loss没有新低就退出数据量小可以设3但不要超过5否则后半程大概率在过拟合。训练中如果发现第一个epoch后验证loss就很低不要急着提前结束先看测试集表现因为验证集可能已经存过拟合。4. 从分类结果倒退训练问题损失、过拟合与长尾标签排查4.1 loss不收敛时先查这三处loss卡住或者乱跳第一件事不是调参而是检查数据通路。我见过最多的坑是tokenizer和模型语言类型不匹配中文数据用了bert-base-uncased汉字全被分词器切成[UNK]模型学不到任何有效信息换成bert-base-chinese或chinese-roberta-wwm-ext就能解决。还有一种是预训练模型本身选错拿英文模型跑中文任务loss曲线的形态完全不对。第二个是标签类型错误。Dataset里labels返回了浮点数而CrossEntropyLoss期望target是long类型报错或静默强转后训练曲线看起来正常但loss计算存在偏差。第三个是数据集划分bug训练集和验证集没有完全打乱出现重复样本验证loss一直很低线上效果却明显缩水。这不是模型问题是数据泄漏需要在划分前先按文本内容去重。现象优先检查常见修复训练loss卡在0.6不下来tokenizer与模型语言是否匹配统一用中文预训练模型验证loss先降后升训练轮次过多设早停或降低epoch训练准确率95%、验证50%训练验证集是否有重复文本重新分层切分loss剧烈震荡lr过大或batch过小主干lr降到2e-5以内4.2 过拟合的特征与dropout正则调整训练集准确率一路逼近100%验证集F1却卡住不动这是过拟合的典型信号。Bert默认的hidden_dropout是0.1对几千条的小数据集来说正则强度不太够。把dropout调到0.2模型对训练集细节的“记忆”会被削弱验证集通常能再涨一点。对比Bert模型图里的结构每一层Encoder输出都要经过dropout和残差连接所以这个参数对深层表达的影响比传统模型更敏感。from transformers import BertConfig config BertConfig.from_pretrained( bert-base-chinese, num_labelslen(label2id), hidden_dropout_prob0.2, attention_probs_dropout_prob0.2, ) model BertForSequenceClassification.from_pretrained( bert-base-chinese, configconfig )hidden_dropout_prob控制前馈层的随机丢弃attention_probs_dropout_prob控制注意力权重的随机丢弃两者同时提高会让模型更难记忆训练集里的个别模式。调大dropout后验证集还不涨下一个思路是降低可训练参数规模最直接的办法是冻结Bert主干只训分类头从一亿多参数降到几万泛化能力通常会更好尤其适合标注数据只有两三千条的项目。4.3 长尾标签与类别不平衡的处理真实情感数据里中性标签通常远少于正面和负面这种长尾分布会让模型学会无脑输出多数类。处理手段分数据层面和损失层面。数据层面可以对少数类做重采样比如复制少数类样本让每个类别的训练量接近损失层面可以在CrossEntropyLoss里给少数类更高的权重。PyTorch的weight参数刚好支持这个顺序要和label2id映射一致。class_weights torch.tensor([1.0, 2.0, 3.0], devicedevice) loss_fct torch.nn.CrossEntropyLoss(weightclass_weights) for batch in train_dataloader: outputs model(**batch) logits outputs.logits loss loss_fct(logits, batch[labels])class_weights的顺序必须和label2id映射一致weight3.0对应样本量最少的那个标签。加了权重后少数类在损失里占比提升模型预测会更均衡。但标签差异超过5倍时光靠权重容易让模型在少数类上过拟合建议先补数据。验证指标不要只看accuracy长尾场景下accuracy会被多数类抬高要同时看macro-F1。用sklearn的classification_report打印每个类别的precision和recall哪个类别拖了后腿一目了然再针对那个类别补充训练样本或调整权重。5. 把训练好的Bert接到生产接口上的验证方法5.1 导出onnx前后的预测一致性对比后端推理我一般先把模型导出成ONNX再用onnxruntime加载。ONNX导出和PyTorch推理不能默认一致需要拿同一批样本做数值对比。下面是导出后的推理代码注意输入名必须和导出时的input_names完全一致import onnxruntime as ort session ort.InferenceSession(model.onnx, providers[CPUExecutionProvider]) inputs tokenizer( [这家餐厅服务很差], max_length128, truncationTrue, return_tensorspt, ) ort_outs session.run(None, { input_ids: inputs[input_ids].numpy(), attention_mask: inputs[attention_mask].numpy(), })导出时如果没把attention_mask作为输入padding部分就不会被屏蔽推理结果是错的。对比PyTorch输出时对logits做softmax后看top-1标签是否一致置信度最大差值用np.allclose(rtol1e-4, atol1e-4)验证。如果差值超过1e-2优先检查导出的opset版本和输入输出名是否对应上了。5.2 用HTTP接口包装模型并做本地验证接口服务用FastAPI包一层模型在模块加载阶段初始化不要在请求处理函数里加载否则每次请求都要重新从磁盘读一次模型QPS直接被打没。代码里还要加空文本校验超长文本交给tokenizer截断而不是报错返回from fastapi import FastAPI app FastAPI() model BertForSequenceClassification.from_pretrained(./best_model_dir) tokenizer BertTokenizer.from_pretrained(./best_model_dir) app.post(/predict) def predict(payload: dict): text payload[text] if not text.strip(): return {error: empty text} inputs tokenizer(text, max_length128, truncationTrue, return_tensorspt) with torch.no_grad(): logits model(**inputs).logits pred_id logits.argmax(-1).item() conf float(logits.softmax(-1)[0][pred_id]) return {label: model.config.id2label[pred_id], confidence: conf}本地验证用curl发一条POST请求观察返回的label和confidence是否符合预期再写一个循环把空文本、超长文本、正常文本各打一遍接口返回的confidence应该和直接跑本地推理脚本的结果一致。如果单次推理超过100ms把torch.set_num_threads(4)加在服务启动处多线程部署时避免和FastAPI的线程池争抢CPU之后再考虑用ONNX替换PyTorch推理并复用同一份tokenizer目录完成模型加载。本文还有配套的精品资源点击获取