1. 题目背景与需求分析B3759 [信息与未来 2021] 文本分类这道题目来自青少年信息学竞赛考察选手对文本处理基础算法的掌握程度。这类题目通常会给出若干文本样本和对应的类别标签要求编写程序对新文本进行自动分类。在实际比赛中这类题目往往具有以下特征训练数据规模较小通常100-500条文本长度较短单条文本10-50字类别数量有限2-5个类别评测指标侧重算法正确性而非工程效率提示竞赛题中的文本分类与工业级应用的最大区别在于数据规模。比赛中更看重基础算法的正确实现而非处理海量数据的能力。2. 核心算法选型与实现2.1 词袋模型构建对于竞赛级别的文本分类词袋模型(Bag of Words)是最基础且有效的解决方案。其实现步骤如下文本预处理import re from collections import defaultdict def preprocess(text): text text.lower() # 统一小写 text re.sub(r[^\w\s], , text) # 移除标点 return text.split() # 分词构建词表def build_vocab(texts): vocab defaultdict(int) for text in texts: for word in preprocess(text): vocab[word] 1 # 过滤低频词根据题目要求调整阈值 return {word for word, cnt in vocab.items() if cnt 2}2.2 特征向量生成将文本转化为数值向量的经典方法是TF-IDF但在竞赛场景下简单的词频统计往往就足够def text_to_vector(text, vocab): vector [0] * len(vocab) word_list preprocess(text) word_to_idx {word: i for i, word in enumerate(vocab)} for word in word_list: if word in word_to_idx: vector[word_to_idx[word]] 1 return vector2.3 分类器选择对于入门级竞赛题目朴素贝叶斯分类器是性价比最高的选择from sklearn.naive_bayes import MultinomialNB class TextClassifier: def __init__(self): self.vocab None self.model MultinomialNB() def train(self, texts, labels): # 构建词表 self.vocab build_vocab(texts) # 生成特征矩阵 X [text_to_vector(text, self.vocab) for text in texts] # 训练模型 self.model.fit(X, labels) def predict(self, text): X [text_to_vector(text, self.vocab)] return self.model.predict(X)[0]3. 竞赛实现中的优化技巧3.1 停用词处理竞赛数据通常包含大量无意义的常用词建立自定义停用词表能显著提升效果STOP_WORDS {的, 了, 和, 是, 在} # 根据题目数据补充 def preprocess(text): words text.lower().split() return [w for w in words if w not in STOP_WORDS]3.2 特征选择策略当词表规模较大时超过1000词可以采用以下策略筛选特征卡方检验选择最具区分度的词互信息排序根据题目特点人工选择关键词from sklearn.feature_selection import SelectKBest, chi2 def select_features(X, y, k100): selector SelectKBest(chi2, kk) return selector.fit_transform(X, y)3.3 模型集成技巧对于类别区分不明显的情况可以尝试多个分类器投票NaiveBayes SVM LogisticRegression对长文本采用n-gram特征对短文本增加字符级特征4. 完整解题框架示例以下是适合竞赛提交的完整代码结构import sys from collections import defaultdict from sklearn.naive_bayes import MultinomialNB class Solution: def __init__(self): self.STOP_WORDS {的, 了, 和} self.model MultinomialNB() self.vocab None def preprocess(self, text): text text.lower().replace(., ).replace(,, ) return [w for w in text.split() if w not in self.STOP_WORDS] def build_vocab(self, texts, min_count2): vocab defaultdict(int) for text in texts: for word in self.preprocess(text): vocab[word] 1 return {w for w, cnt in vocab.items() if cnt min_count} def text_to_vector(self, text): vec [0] * len(self.vocab) word_to_idx {w: i for i, w in enumerate(self.vocab)} for word in self.preprocess(text): if word in word_to_idx: vec[word_to_idx[word]] 1 return vec def train(self, texts, labels): self.vocab self.build_vocab(texts) X [self.text_to_vector(text) for text in texts] self.model.fit(X, labels) def predict(self, text): return self.model.predict([self.text_to_vector(text)])[0] def main(): # 读取输入数据 n_train int(sys.stdin.readline()) train_texts, train_labels [], [] for _ in range(n_train): parts sys.stdin.readline().strip().split(\t) train_texts.append(parts[0]) train_labels.append(parts[1]) # 训练模型 solver Solution() solver.train(train_texts, train_labels) # 预测并输出 n_test int(sys.stdin.readline()) for _ in range(n_test): text sys.stdin.readline().strip() print(solver.predict(text)) if __name__ __main__: main()5. 竞赛中的常见陷阱与应对5.1 内存溢出问题当使用Python处理较大词表时需注意避免存储原始文本使用生成器而非列表及时释放不再使用的变量# 优化后的特征生成 def generate_features(texts): for text in texts: yield text_to_vector(text)5.2 类别不平衡处理当某些类别样本过少时调整分类器class_prior参数对少数类样本过采样在评测时使用F1-score而非准确率model MultinomialNB(class_prior[0.3, 0.7]) # 根据实际分布调整5.3 特殊字符处理中文文本常混有数字、英文等需要统一处理全角转半角繁体转简体如有必要连续空格合并def normalize_text(text): text text.replace( , ) # 全角空格 text re.sub(r\s, , text) # 合并空格 return text.strip()在实际比赛中建议先花5-10分钟分析数据特点再决定采用哪些预处理策略。过早优化可能导致浪费时间而完全不处理又会影响模型效果。我的经验是优先处理明显的噪声如异常符号、极端长文本再逐步添加其他优化。