简介基于深度学习的自动文本分类 Python 源码包面向自然语言处理初学者与算法工程师聚焦文本数据的自动归类与处理。系统利用 NLTK 完成分词、去停用词、特征向量化等预处理并借助深度学习框架训练分类模型可应用于搜索引擎、垃圾邮件识别、情感分析等现实场景。包内共 37 个文件其中 16 个 py 源码实现核心功能8 个 sh 脚本用于项目部署与环境配置5 个 c 文件用于性能优化或接口交互另有 3 个 txt 说明文档、makefile 及 license 等工程规范文件整体压缩包仅 121KB结构清晰便于按需查阅。目前已有 350 人学习下载。通过源码包读者可获取完整的文本分类工程链路包括 word2vec 向量化、TFRecord 数据转换、TextCNN/TextRNN/CLSTM/FastText 等模型实现与模型导出预测脚本并可了解从语料准备到部署落地的组织方式适合快速搭建实验环境并进行二次开发与调优。1. 自动文本分类的痛点NLTK 和深度学习谁都不该被丢掉做自动文本分类时很多团队会走两个极端要么停留在正则和关键词表要么一上来就加载几十 GB 的预训练模型。前者在工单分类、舆情打标这类有限类别场景里上线快但遇到措辞变化就漏判后者效果虽好可 GPU 成本和推理延迟并不适合所有业务。真正能落地的往往是混合管线NLTK 负责清洗、切词、去停用词和词形还原深度学习模型负责从词序列里学习高层特征。下面就把这条管线完整展开从环境准备到 PyTorch 分类器再到源码模块如何组织每一步给出可以直接抄的参数和代码。适合正在用 Python 搭文本分类服务、又不想一上来就背动辄几个 GB 模型文件的工程师。2. 用 NLTK 做语料清洗与特征工程自动分类的地基2.1 处理 NLTK 数据下载慢先把语料库放到本地NLTK 处理文本需要 punkt分句、stopwords停用词、wordnet词形还原三类资源。默认情况下nltk.download()会从官方服务器拉取资源包在不少网络环境下经常超时或中断。常见做法是提前把所需资源下载到本地再用NLTK_DATA环境变量指向存放目录这样训练代码里就不会出现耗时等待。# 将 nltk_data 放在项目目录之外避免提交进版本库 export NLTK_DATA/opt/nltk_data # 按需下载单个资源包 python -m nltk.downloader punkt# 也可以在 Python 脚本里指定下载目录 import nltk nltk.download(punkt, download_dir/opt/nltk_data)第一段命令里的NLTK_DATA是 NLTK 查找语料的根路径设置后nltk.download()下载的资源会自动按照tokenizers/punkt、corpora/stopwords这样的目录结构存放。第二段 Python 调用适合写进部署脚本在启动训练前检查资源是否缺失。如果服务器完全无法访问外网可以在能联网的机器上下载对应压缩包解压后整个上传到/opt/nltk_data效果相同。提示不要使用nltk.download(all)里面包含大量用不到的语料和模型下载时间长且容易中断。按需下载 punkt、stopwords、wordnet 三个就够。2.2 清洗函数从原始文本到 token 序列原始文本里混杂着 HTML 标签、URL、数字和大小写变化直接送进模型会把词表撑大还会让 Embedding 学到无意义的拼写差异。NLTK 提供了分词和词形还原工具但清洗策略需要自己按任务组合。import re import nltk from nltk.corpus import stopwords from nltk.stem import WordNetLemmatizer wnl WordNetLemmatizer() stop_words set(stopwords.words(english)) def clean_text(text: str) - list[str]: # 去掉 HTML 标签和 URL text re.sub(r[^], , text) text re.sub(rhttp\S, , text) # 统一小写只保留英文字母 text text.lower() text re.sub(r[^a-z\s], , text) # NLTK 默认分词 tokens nltk.word_tokenize(text) # 去除停用词再做词形还原 tokens [wnl.lemmatize(t) for t in tokens if t not in stop_words] return tokensword_tokenize调用的是 NLTK 的 Penn Treebank 分词器对英文缩写和标点切分比较稳定比如dont会切成do和nt。lemmatize默认按名词还原处理动词时需要显式传入词性例如wnl.lemmatize(ran, v)才能得到run。清洗策略要跟着数据走如果语料是电商评论good和better就不应该被合并如果是工单标题时态差异影响反而小。这里有一个容易忽略的点正则里只保留[a-z\s]会把c、#tag这类业务词清掉。如果分类目标和 IT 相关建议保留#和否则模型会丢失关键信号。清洗规则宁少勿多每一步都要能解释“为什么保留/删除”。2.3 标签编码与数据集划分分类模型的输出是类别索引需要把字符串标签转成整数。这个操作放在数据预处理阶段完成不要在训练循环里每次判断if label bug。from sklearn.preprocessing import LabelEncoder from sklearn.model_selection import train_test_split labels [bug, feature, question, other] encoder LabelEncoder() y encoder.fit_transform(labels) texts [...] # 原始文本列表与 labels 一一对应 X_train, X_test, y_train, y_test train_test_split( texts, y, test_size0.2, stratifyy, random_state42 )stratifyy的作用是让训练集和测试集里每个类别的比例与原数据集一致对类别不平衡的任务特别重要。LabelEncoder生成的整数标签可以直接输入nn.CrossEntropyLoss()不需要再做 one-hot。保存模型时要把encoder.classes_一起存下来否则推理阶段无法把预测索引映射回类别名。处理环节建议做法原因保留字符[a-z\s]或按业务扩展减小词表避免 URL 和纯数字干扰停用词表NLTK 英文停用词去掉高频无信息量词加快训练词形还原WordNetLemmatizer比 stemming 保留更多语义词表更干净标签编码sklearn LabelEncoder直接生成整数索引配合 CrossEntropyLoss数据划分stratifyTrue保持类别比例防止小类别被抽没3. 把 NLTK 输出接到 PyTorch词表、Embedding 与 DataLoader3.1 从清洗结果构建词表深度学习模型读的是索引编号不是字符串。需要把清洗得到的 token 列表映射成整数同时预留pad和unk两个特殊 token。pad用来补齐 batch 内不同长度的句子让它们能组成矩阵unk用来表示测试阶段没见过的新词。from collections import Counter def build_vocab(token_lists: list[list[str]], max_vocab: int 20000): counter Counter() for tokens in token_lists: counter.update(tokens) # 只保留频次最高的 max_vocab - 2 个词 most_common counter.most_common(max_vocab - 2) vocab {pad: 0, unk: 1} vocab.update({word: idx 2 for idx, (word, _) in enumerate(most_common)}) return vocab这里max_vocab20000是中小规模语料的常用起点。词表越大Embedding 层参数越多训练时间和内存占用都会上升。如果语料只有几万条1 万词表基本够用。更稳的做法是同时按最低频次过滤比如出现次数小于 2 的词直接丢进unk能进一步压缩词表并减少噪声。3.2 用 torch.nn.Embedding 承接词向量nn.Embedding本质是一个可训练的查找表。输入整数索引输出对应向量训练过程中这些向量会被反向传播更新。和 Word2Vec 静态词向量的区别在于这里的向量会跟随具体分类任务微调。import torch.nn as nn class TextClassifier(nn.Module): def __init__(self, vocab_size, embed_dim100, num_classes4): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.classifier nn.Linear(embed_dim, num_classes) def forward(self, x): x self.embedding(x) # [batch, seq_len, embed_dim] x x.mean(dim1) # 平均池化作为最简基线 return self.classifier(x)embed_dim选 100 或 200 对短文本分类差别不大100 在训练速度和效果之间比较平衡。padding_idx0告诉 PyTorch 让pad对应的向量始终是零向量不参与梯度更新。这个最简单的平均池化模型可以作为 baseline先确认数据管线没问题再换更强的 TextCNN。PyTorch 的DataLoader会在训练时自动按 batch 取数据但需要自己把“长度不等的样本”转成矩阵这一步放在接下来的collate_fn里完成。3.3 自定义 Dataset 与 collate_fn 实现可变长 batchimport torch from torch.utils.data import Dataset class TextDataset(Dataset): def __init__(self, token_lists, labels, vocab, max_len128): self.data [] for tokens, label in zip(token_lists, labels): ids [vocab.get(t, 1) for t in tokens[:max_len]] self.data.append((ids, label)) def __len__(self): return len(self.data) def __getitem__(self, idx): return self.data[idx] def collate_fn(batch): ids, labels zip(*batch) cur_max_len max(len(x) for x in ids) padded [x [0] * (cur_max_len - len(x)) for x in ids] return torch.tensor(padded), torch.tensor(labels)max_len128是截断长度不是 padding 后的固定长度。把 padding 放进collate_fn而不是在Dataset里做可以让每个 batch 只补到当前批次的最大长度而不是全部补到 128能省不少显存。如果模型需要 attention mask也可以在这里额外返回一个与 padded 同形状的 0/1 张量。这里有一个常见误用在Dataset.__getitem__里直接调用torch.tensor(ids)返回张量然后在collate_fn里又调用一次torch.tensor导致维度错乱。正确做法是__getitem__返回原始 list由collate_fn统一做张量转换和补齐。4. 轻量深度学习分类器TextCNN 与训练参数4.1 选 TextCNN 而不是 LSTM 的理由文本分类任务里短文本标题、工单、评论占大多数。TextCNN 用多个尺寸的卷积核并行提取 n-gram 特征训练时所有卷积核可以同时计算比 LSTM 的串行结构快很多。LSTM 的优势在于长距离依赖但短文本里这种依赖并不明显。对比维度TextCNNLSTM/GRU训练速度卷积并行速度快逐步计算速度慢长文本依赖需要加大卷积核或堆层天然支持序列记忆小数据量参数少不容易过拟合参数多需要更多数据调参重点卷积核尺寸、卷积核数量隐藏层维度、层数、dropout如果语料在 1 万到 5 万条之间TextCNN 通常能达到和 BiLSTM 接近的效果训练时间却只有几分之一。“深度学习最常用的 10 个激活函数”里ReLU 用在卷积输出后效果稳定池化选全局最大池化就能保留最强烈的特征。4.2 TextCNN 的整体实现import torch import torch.nn as nn import torch.nn.functional as F class TextCNN(nn.Module): def __init__(self, vocab_size, embed_dim100, num_classes4, filter_sizes(3, 4, 5), num_filters128, dropout0.5): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.convs nn.ModuleList([ nn.Conv1d(in_channelsembed_dim, out_channelsnum_filters, kernel_sizefs) for fs in filter_sizes ]) self.dropout nn.Dropout(dropout) self.fc nn.Linear(len(filter_sizes) * num_filters, num_classes) def forward(self, x): x self.embedding(x) # [B, T, E] x x.transpose(1, 2) # [B, E, T] conv_outs [] for conv in self.convs: c conv(x) # [B, num_filters, T - fs 1] c F.relu(c) c F.max_pool1d(c, c.size(2)) # 在最后一个维度上取最大值 conv_outs.append(c.squeeze(2)) x torch.cat(conv_outs, dim1) # [B, num_filters * 3] x self.dropout(x) return self.fc(x)filter_sizes(3, 4, 5)对应 tri-gram、4-gram、5-gram是短文本分类最常用的组合。Conv1d的输入是[batch, channels, length]所以前向传播里要先transpose把 Embedding 输出的[B, T, E]转成[B, E, T]。每个卷积核的输出做全局最大池化相当于从每个特征图里挑出最强烈的信号再拼接起来送入全连接层。4.3 训练主循环与关键超参数import torch.optim as optim from torch.utils.data import DataLoader def train(model, train_loader, epochs10, lr1e-3): optimizer optim.Adam(model.parameters(), lrlr) criterion nn.CrossEntropyLoss() model.train() for epoch in range(epochs): total_loss 0 for batch_ids, batch_labels in train_loader: optimizer.zero_grad() logits model(batch_ids) loss criterion(logits, batch_labels) loss.backward() optimizer.step() total_loss loss.item() print(fepoch {epoch}: avg_loss{total_loss / len(train_loader):.4f})超参数建议值说明embed_dim100中小语料下性价比高不用盲目上 300num_filters128与 embed_dim 匹配过大容易过拟合filter_sizes(3,4,5)覆盖主要 n-gram 范围dropout0.5全连接层前加入缓解过拟合lr1e-3Adam 常见默认值不稳定时降到 5e-4batch_size32 / 64文本分类一般 64 够用显存不足再降epochs10配合早停一般 5-15 轮收敛训练时要加早停在每个 epoch 结束后计算验证集 loss连续 2 个 epoch 不下降就停止。TextCNN 在小数据上从第 5 个 epoch 开始过拟合是很常见的现象加早停可以省掉很多无效训练。另外batch_ids必须是torch.long类型如果从 numpy 转过来先调用.long()再送入模型。5. 源码设计与验证把分类器变成可交付的模块5.1 模块划分与模型持久化源码设计不需要 fancy 的框架按职责拆成六个文件就足够清晰text_classifier/ ├── config.py # 所有超参数集中管理 ├── nltk_preprocess.py # 清洗、分词、词形还原 ├── vocab.py # 构建词表、保存/加载词表 ├── dataset.py # TextDataset 与 collate_fn ├── model.py # TextCNN 模型定义 ├── train.py # 训练、验证、保存模型 └── predict.py # 加载模型对新文本做推理config.py里把max_vocab、embed_dim、max_len等常数写在一个类或字典里训练和推理都从同一个配置读避免两边参数对不上。保存模型时词表和模型参数要分开存torch.save(model.state_dict(), model.pt) with open(vocab.json, w, encodingutf-8) as f: json.dump(vocab, f, ensure_asciiFalse)加载时先按相同超参数实例化TextCNN再load_state_dict然后从vocab.json恢复词表。顺序不能反否则model.embedding的vocab_size和词表长度不一致加载会报错。5.2 用混淆矩阵验证自动分类的真实效果准确率会被类别不平衡骗过去。一个 95% 样本都是“other”的数据集模型全预测成“other”也能拿 95% 准确率但这个模型毫无用处。用classification_report看每个类别的 precision、recall、f1再用混淆矩阵看具体错在哪from sklearn.metrics import classification_report, confusion_matrix model.eval() preds, true_labels [], [] with torch.no_grad(): for batch_ids, batch_labels in test_loader: logits model(batch_ids) pred logits.argmax(dim1) preds.extend(pred.tolist()) true_labels.extend(batch_labels.tolist()) print(classification_report(true_labels, preds, target_namesencoder.classes_)) print(confusion_matrix(true_labels, preds))如果混淆矩阵显示“bug”和“question”经常互相误判原因往往不在模型而在预处理阶段丢掉了关键符号比如代码报错信息里的traceback关键词被停用词表误删或#符号被正则清掉。这时需要回到clean_text调整保留字符而不是急着改模型结构。最后一个实用技巧推理时不要直接用argmax当最终输出而是先经过softmax拿到概率分布再设置一个置信度阈值with torch.no_grad(): prob torch.softmax(model(ids), dim1) max_prob, pred prob.max(dim1) if max_prob.item() 0.6: # 低置信度样本进入人工确认队列 label pending_review else: label encoder.classes_[pred.item()]这个阈值可以根据业务容忍度调整比如舆情监控宁可多标“待人工”也不能让机器把敏感事件直接放过去。自动文本分类的交付标准不是模型准确率有多高而是有多少样本需要人工兜底。本文还有配套的精品资源点击获取