简介文本情感分析是自然语言处理中的经典任务这份基于gensim的Word2Vec与支持向量机SVM的情感分类项目适合需要从零搭建情感分析流程的开发者、学生或研究者。压缩包共9个文件约64.21MB包含1个可直接运行的Python主脚本、已训练好的Word2Vec模型与SVM模型以及训练/测试向量及标签npy数据、正负情感标注Excel语料。项目完整覆盖中文语料清洗、Word2Vec词向量训练、样本向量平均化、SVM分类器训练与评估等关键环节也展示了核函数和参数调优对分类效果的影响。全部模型和数据均已配套避免重复构造训练样本下载后即可运行复现实验。目前已有1814人学习下载适合作为课程设计、毕业论文实验或情感分析入门实践的参考模板。1. 把 Word2Vec 和 SVM 组合起来做中文情感分析这份代码包为什么值得跑一遍情感分析在中文场景里是个很经典但始终让人头疼的任务尤其是评论数据量大、表达方式杂的时候光靠词典匹配早就撑不住了。最近拆了一个基于 gensim Word2Vec SVM 的文本情感分析项目代码和数据都是完整的拿到手就能直接跑通。它的核心思路并不复杂先用 Word2Vec 把分词后的中文文本转成稠密向量再把这些向量作为 SVM 分类器的输入用正负情感样本做监督学习最后对测试文本预测情感倾向。这个组合的妙处在于Word2Vec 能捕捉词语的上下文语义SVM 又很适合小样本、高维特征的分类任务两者配合在中文评论情感分类上效果相当稳定。对于正在做文本分类、情感分析入门或者想在项目里尝试词向量 传统机器学习方案的人来说这份资源值得完整跑一遍它能让你从数据预处理一路看到模型评估中间踩过的坑几乎都有现成解法。2. 数据预处理与 Word2Vec 词向量训练从 Excel 评论到能喂给模型的向量2.1 数据形态分析与读取方式这个项目的语料存放在 pos.xls 和 neg.xls 两个 Excel 文件里分别对应正面和负面情感的中文评论。用 pandas 读取 Excel 文件是最直接的方式不需要额外安装 xlrd 之外的依赖代码包里也已经包含了读取逻辑。读取之后要做的是把两部分的文本合并同时构造标签列正面评论标为 1负面评论标为 0这样后续训练 SVM 时才能有监督信号。import pandas as pd # 读取正负样本 pos_df pd.read_excel(data/pos.xls, headerNone) neg_df pd.read_excel(data/neg.xls, headerNone) # 添加标签并合并 pos_df[label] 1 neg_df[label] 0 all_data pd.concat([pos_df, neg_df], ignore_indexTrue) all_data.columns [comment, label] print(all_data.shape)这里要说明一下Excel 文件里如果第一行就是评论数据读取时用 headerNone 可以避免把首行误当作列名。合并之后的数据规模通常在几百到几千条这个量级正好是 SVM 最舒服的训练区间既不会因为样本太少欠拟合也不会因为数据量太大导致训练时间过长。2.2 中文分词与停用词过滤Word2Vec 的训练单位是词而不是字所以中文文本必须先分词。jieba 是目前最成熟的中文分词工具这里没有绕开它去做逐字切分的原因很简单逐字切分会丢失词组语义比如“难吃”“好吃”这种双字情感词拆成单字后向量无法区分方向性。常见做法是先用 jieba.cut 做精确模式分词再配合停用词表过滤掉“的”“了”“而且”这类无实际情感含义的词。import jieba stopwords set() with open(data/stopwords.txt, r, encodingutf-8) as f: for line in f: stopwords.add(line.strip()) def tokenize(text): words jieba.lcut(str(text).strip()) # 过滤停用词、空字符串和纯数字 words [w for w in words if w not in stopwords and w.strip() and not w.isdigit()] return words all_data[tokens] all_data[comment].apply(tokenize)这段代码返回的是一个由词列表组成的列每条评论对应一个分词后的词数组。停用词表的路径和格式需要根据实际文件调整如果代码包里没有现成的停用词表可以用网上公开的中文停用词表大概几百个词就够了。分词质量直接决定 Word2Vec 训练的效果所以这里宁可多花点时间做过滤也不要急着进入下一步。2.3 gensim Word2Vec 模型训练与关键参数词向量是整个情感分析流程的基石gensim 在这里扮演的角色是把分词后的语料转换成低维稠密向量。训练时最关键的参数是 vector_size、window 和 min_count它们分别控制词向量的维度、上下文窗口大小和最低词频阈值。对于几千条评论的语料vector_size 设置在 100 到 200 之间比较合适太小了语义信息不足太大了训练慢而且容易过拟合。from gensim.models import Word2Vec # 准备训练语料 sentences all_data[tokens].tolist() # 训练 Word2Vec w2v_model Word2Vec( sentencessentences, vector_size128, window5, min_count2, sg0, epochs10 ) # 保存模型 w2v_model.save(w2v_model)这里的 sg0 表示使用 CBOW 模型sg1 则是 Skip-gram。中文评论数据量不大CBOW 训练速度更快而且在语义相似度上表现足够稳定Skip-gram 对低频词更友好如果你后续要处理的是长文本或稀疏词汇可以换成 sg1 试试。min_count2 意味着出现次数少于 2 的词直接丢弃这对控制词表规模很有用。训练结束后用 w2v_model.wv[好吃] 就能查看某个词对应的 128 维向量这是验证模型是否训练成功最直观的方式。2.4 句子向量化平均词向量构造固定维度特征Word2Vec 训练完成后每条评论的长度依然不一致但 SVM 要求输入的是固定维度的向量所以必须把变长的词序列转换成定长向量。最常见的做法是取该条评论所有词向量的平均值做维度上的逐位平均最终得到一条 128 维的向量作为这条评论的特征表示。虽然简单但这个基线方法在情感分类任务上的表现往往不输给复杂的文本 CNN 模型。import numpy as np def sentence_vector(tokens, model, vector_size128): vec np.zeros(vector_size) count 0 for word in tokens: if word in model.wv: vec model.wv[word] count 1 if count 0: vec / count return vec all_data[vec] all_data[tokens].apply(lambda x: sentence_vector(x, w2v_model)) X np.array(all_data[vec].tolist()) y all_data[label].values需要注意这里做了未登录词过滤如果某个词不在 Word2Vec 词表里就直接跳过避免把全零向量混进平均计算。因为 min_count2 已经丢弃了低频词所以在做句子向量化时再过滤一次是必要的。最终得到的 X 形状是 (样本数, 128)y 形状是 (样本数,)这就完全满足 SVM 的输入要求了。3. SVM 分类器训练与模型评估词向量之后SVM 如何完成情感判定3.1 为什么情感分类选择 SVM 而不是朴素贝叶斯或逻辑回归在词向量特征已经生成的前提下可以选的分类器其实不少。朴素贝叶斯假设特征独立但词向量各个维度之间存在语义关联这个假设很难成立逻辑回归在线性边界上表现不错但词向量的高维特征空间里往往存在非线性分布。SVM 擅长在样本量不大、特征维度较高的情况下找到最大间隔超平面配合核函数还能处理非线性边界。在这个项目里数据量是几百到几千条特征维度是 128 维这正是 SVM 最典型的适用场景。SVM 的另一个优势是对过拟合的鲁棒性。情感分类任务里如果正负样本分布不完全均衡SVM 通过 C 参数调节容错程度可以避免模型把噪声样本也当成支持向量。相比之下逻辑回归对异常值更敏感容易在边界区域产生误判。3.2 数据集划分与 SVM 模型训练训练 SVM 之前要做训练集和测试集的划分。代码包里给出了 y_train.npy、y_test.npy、train_vecs.npy、test_vecs.npy 这几个文件说明作者在生成词向量之后已经做好了切分。实际操作时可以用 train_test_split 按 7:3 或者 8:2 的比例划分同时设置 random_state 保证结果可复现。from sklearn.model_selection import train_test_split from sklearn.svm import SVC X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy ) # 训练 SVM先用线性核 svm_model SVC(kernellinear, C1.0, random_state42) svm_model.fit(X_train, y_train) # 保存模型和测试向量 np.save(train_vecs.npy, X_train) np.save(test_vecs.npy, X_test) np.save(y_train.npy, y_train) np.save(y_test.npy, y_test)这里用 stratifyy 做分层抽样保证训练集和测试机里正负样本比例一致。SVC 默认使用的是 RBF 核但这里先显式指定 kernellinear 是为了跑一个基准结果方便后续对比其他核函数的表现。C1.0 是默认值它控制误分类惩罚力度C 越大模型越注意正确分类每个训练样本但也更容易过拟合。3.3 预测效果与评估指标解读SVM 模型训练完成后下一步是在测试集上做预测并用准确率、精确率、召回率和 F1 值来评估效果。情感分析场景里只看准确率是不够的因为如果测试集里 80% 都是负样本模型全预测成负样本也能拿到 80% 的准确率但实际毫无意义。from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score y_pred svm_model.predict(X_test) print(Accuracy:, accuracy_score(y_test, y_pred)) print(Precision:, precision_score(y_test, y_pred)) print(Recall:, recall_score(y_test, y_pred)) print(F1 Score:, f1_score(y_test, y_pred))从项目自带的 svm_data 目录来看作者在训练完成后把 SVM 模型、Word2Vec 模型和中间向量都保存了下来这样下次做新样本预测时不需要重新训练。加载模型后对新评论的处理流程是分词 → 过滤停用词 → 平均词向量 → svm_model.predict这四步走完就能得到 1 或 0 的情感预测结果。3.4 核函数对比线性核与 RBF 核到底该选哪个在这个项目中SVM 的核函数选择是个很实际的调参点。线性核计算速度快、可解释性好在词向量特征维度不高且样本量不大时往往已经够用。RBF 核可以把数据映射到更高维空间能够处理更复杂的非线性边界但需要调整 gamma 参数gamma 太大会导致过拟合边界区域紧贴着训练样本泛化能力反而下降。# RBF 核对比 svm_rbf SVC(kernelrbf, C1.0, gammascale, random_state42) svm_rbf.fit(X_train, y_train) y_pred_rbf svm_rbf.predict(X_test) print(RBF Accuracy:, accuracy_score(y_test, y_pred_rbf))我一般会两个核都跑一遍对比 F1 值再决定保留哪个模型。gammascale 是 sklearn 默认值它根据特征数量自动计算 gamma比手动指定一个固定值更稳妥。从实际经验看中文评论情感分析用线性核和 RBF 核的差距通常不大但 RBF 需要多调一组参数如果没有明显的精度提升保留线性核模型更划算。4. 避坑指南中文情感分析项目的五个常见踩坑点4.1 编码问题导致读取 Excel 报错或乱码现象用 pandas 读取 pos.xls 或 neg.xls 时中文评论变成乱码或者直接抛出 UnicodeDecodeError。原因Excel 文件内部编码不是常见的 UTF-8尤其是旧版本的 .xls 文件可能使用 GBK 或 GB2312 编码。解决读取时用 pandas 的 read_excel 并指定 enginexlrd如果仍然乱码可以先用 LibreOffice 或 pandas 将文件另存为 CSVUTF-8 编码再通过 read_csv 读取。项目里的 chinese-sentiment-analysis.py 如果直接运行没问题说明代码已经绕过了这个坑但如果是自己替换数据文件这一步很容易翻车。4.2 Word2Vec 词表中没找到目标词导致全零向量现象某个评论分词后每个词都不在 w2v_model.wv 里sentence_vector 返回全零向量。SVM 预测时把这个全零向量输入进去得到的结果偏向训练集中样本多的那一类完全没有区分度。原因min_count 设置过高把大量低频词直接丢掉了或者测试集的词和训练集分布差异太大OOVOut-of-Vocabulary比例过高。解决降低 min_count 到 1或者增加训练语料。如果不想重新训练 Word2Vec可以在 sentence_vector 里对全零向量的情况做回退处理比如直接返回训练集中所有句子向量的均值避免全零特征进入 SVM。这个坑在短文本场景里尤其常见因为短文本本身词就少再过滤掉一些低频词剩下可能就一两个词。4.3 向量维度不一致导致训练报错现象运行 chinese-sentiment-analysis.py 时sklearn 抛出 ValueError: X.shape[1] should be equal to 128或者类似的维度不匹配错误。原因有些评论分词后长度为 0sentence_vector 返回的是 np.zeros(128)这在维度上没问题。真正的问题往往出在修改了 vector_size 之后没有重新生成向量文件train_vecs.npy 里存的还是旧的 128 维向量而新模型期望的是 200 维。解决修改 vector_size 后必须重新执行整个向量化流程不能直接复用旧的 .npy 文件。我一般会在代码里加一段校验逻辑打印 X.shape[1]确保和 svm_model.n_features_in_ 一致再开始训练或预测。这一点不算难但很容易被忽略。4.4 SVM 对特征尺度敏感导致准确率异常现象换了一批数据后SVM 准确率从 85% 掉到 60%但 Word2Vec 训练看起来没毛病。原因SVM 对特征尺度敏感如果某些维度上的值波动范围特别大会主导距离计算。平均词向量之后不同维度的数值范围通常比较接近但如果文本长度差异很大长文本的向量值可能被平均到很小的范围短文本的向量值波动更大。解决在训练 SVM 前加 StandardScaler 做标准化把每个维度的均值归零、方差归一到 1。这一步对 RBF 核尤其重要因为 RBF 核依赖样本间的欧氏距离。这个项目没有显式做标准化可能是因为默认数据下线性核的表现已经够好但你改数据后最好补上这一步。4.5 标签不平衡导致正样本预测效果差现象准确率整体不错但把模型应用到实际评论上时正样本的召回率很低很多正面评价被预测成负面。原因pos.xls 和 neg.xls 的数据量如果差距较大训练出的 SVM 会偏向样本更多的类别。比如 neg 有 3000 条、pos 只有 800 条模型在高置信度区域几乎全部预测为 0。解决在 train_test_split 时用 stratifyy 做分层抽样保证训练集里正负样本比例一致。如果整体数据本身就不平衡可以考虑在 SVC 里设置 class_weightbalanced让 SVM 自动调整不同类别的惩罚权重。这个参数只需要一行代码但效果立竿见影。5. 进阶验证与模型保全如何系统判断这份资源的可用边界并迁移到自己的数据上这份资源的价值不在于你直接跑通它而在于你能把它拆开、替换成自己的数据然后验证这个技术路线在你场景里是否成立。我拿到手后做的第一件事就是不看 chinese-sentiment-analysis.py先自己按照预处理的顺序重新生成一遍向量文件再把生成的向量和项目自带的 train_vecs.npy、test_vecs.npy 做对比。如果数值完全一致说明代码路径理解了如果出现偏差偏差通常来自分词结果不一致这个时候去检查 jieba 版本和停用词表就好。在这个基础上建议你做一个 A/B 验证用项目自带的数据跑一次准确率再替换成你自己的评论数据跑一次对比两次的 F1 值。如果第二个结果远低于第一个问题大概率不在 SVM而是出在 Word2Vec 的训练语料上——词向量没有充分捕捉到你领域里的词汇用法。比如电商评论里常见“客服态度好”在通用语料里“客服”和“态度”的关联度可能不高但在你的数据集里它们高度相关。解药很简单用你自己的全量语料重新训练 Word2Vec不要使用别人训练好的词向量模型领域相关性差的词向量对 SVM 来说是噪声而不是特征。模型保全方面我习惯把训练好的 Word2Vec、SVM 和标准化器一起打包保存这样后续做实时预测时不需要重新训练。Word2Vec 用 gensim 的 save 方法保存后加载时用 Word2Vec.load 即可SVM 用 joblib.dump 保存加载时用 joblib.load。预测新评论的完整链路如下import joblib from gensim.models import Word2Vec w2v_model Word2Vec.load(w2v_model) svm_model joblib.load(svm_model.pkl) def predict_sentiment(text): tokens tokenize(text) vec sentence_vector(tokens, w2v_model) return svm_model.predict(vec.reshape(1, -1))[0] print(predict_sentiment(这家店的服务态度非常好上菜速度也快)) print(predict_sentiment(等了一个小时还没上菜环境也特别差))如果预测结果和直觉不符不要急着调 SVM 参数先检查 sentence_vector 里有没有把停用词过滤干净再看 Word2Vec 词表里是否包含了核心情感词。大部分翻车场景都出在特征工程环节而不是分类器环节。从那以后我每次换数据集做情感分析都会强制走一遍这套流程先验证词向量质量再做句子向量化最后才动 SVM 参数顺序反了只会浪费时间在错误的方向上调参。希望这些拆包和踩坑记录能帮你在自己的文本分类任务上少走弯路。本文还有配套的精品资源点击获取