1. 先别急着写代码余弦相似度到底在度量什么1.1 从一个方向一致的类比说起我第一次做文本相似度匹配时拿了两个句子去算结果看着0.87这个数字愣住了。客服反馈说推荐的答案牛头不对马嘴可日志里分明写着相似度接近0.9。后来才意识到我根本不理解这个指标在度量什么就直接用了——这是很多同学入坑时最容易犯的错误。余弦相似度度量的是两个向量在空间中的方向一致性。打个比方两个人都在朝着东北方向走一个人步行了三公里另一个人开车跑了三十公里位置完全不同但方向是一致的。余弦相似度看的是这个方向不看距离。数学上它就是两个向量夹角的余弦值范围落在[-1, 1]之间。夹角为0度时余弦等于1意味着两个向量方向完全一致夹角为90度时等于0意味着二者正交、互不相关夹角为180度时等于-1方向完全相反。放在文本匹配里把句子转换成高维空间的向量后我们关心的正是这两个句子的内容方向是不是指向同一个主题而不是它们之间的绝对距离有多远。这个视角的转变非常关键两个句子关键词分布相似它们的方向就会靠得近一个句子大量提到A主题另一个也大量提到A主题哪怕篇幅差出十倍余弦相似度依然可以很高。1.2 为什么文本匹配偏爱余弦而不是欧氏距离我见过不少同学第一步就踩坑用欧氏距离去衡量两个文本向量差多远然后发现结果完全不可解释。原因出在向量长度的干扰上。欧氏距离同时受到向量方向和向量长度的双重影响。而在文本场景中向量长度常常由文档篇幅、用词习惯这些与语义无关的因素主导。举个例子产品介绍A写了5000字产品介绍B是同主题但被压缩到300字二者关键词方向基本一致。这时候欧氏距离会因为A的向量长度远大于B而被拉大得出差异很大的结论而余弦相似度只看方向不受篇幅缩放影响能够稳定给出高相似度的判断。当然欧氏距离在图像特征、Embedding稠密向量的某些场景里依然好使但在词频、TF-IDF这类稀疏文本向量上余弦是更稳妥的默认选择。我用过的项目里凡是基于词袋或TF-IDF做文本匹配的几乎都是余弦当主力。1.3 余弦的数学定义与实现要点余弦相似度的核心公式长这样cos(A, B) (A · B) / (||A|| × ||B||)分子是点积分母是两个向量的模长乘积。写成展开式是cos(A, B) Σ(Aᵢ × Bᵢ) / (√Σ(Aᵢ²) × √Σ(Bᵢ²))有一个非常实用的实现技巧如果先把向量做L2归一化也就是让||A|| ||B|| 1那么余弦相似度就直接退化成点积A · B。很多向量化工具比如后续要讲的TfidfVectorizer默认输出就是L2归一化后的结果这不只是实现上的小方便——调试时你可以直接用点积分布来排查问题省掉一整套余弦计算的环节。2. 向量从哪来词袋、TF-IDF与嵌入表示如何配得上余弦2.1 词袋模型三分钟能用但有天生缺陷余弦算法只负责计算向量本身要靠别的方案生成。最基本的做法是词袋模型Bag of Words把语料里出现过的所有词收集成词典每个词典词对应一个维度文档向量对应位置记录该词出现次数。拿两条极简单的文本举例D1我 喜欢 苹果D2我 喜欢 香蕉词典按出现顺序可以定为[我, 喜欢, 苹果, 香蕉]那么D1向量 [1, 1, 1, 0]D2向量 [1, 1, 0, 1]两者余弦 (1×1 1×1) / (√3 × √3) ≈ 0.667。从直觉看两个句子共享我和喜欢两个词相似度0.667还算合理。但词袋模型有三个明显短板第一完全丢弃语序无法区分苹果喜欢我和我喜欢苹果第二词频受篇幅影响明显一篇长文里高频刷屏的无意义词会主导向量方向第三无法处理同义词、泛义词字面不重合语义含义也可能完全不搭边。直接拿词袋喂给余弦结果基本只能当作字面重合度看。2.2 TF-IDF让常见词退场主要语义浮出水面为了压制的、了、是、我、你这类高频却不携带主题信息的词工程上普遍采用TF-IDF加权。它的思路很简单词在文档里出现得越多越重要TF但如果这个词在语料所有文档里都出现它的区分能力就要打折IDF倒过来惩罚。TF-IDF的常用形式是TF(t, d) 词t在文档d中出现的次数 / 文档d的总词数IDF(t) log((总文档数 1) / (包含词t的文档数 1)) 1TF-IDF(t, d) TF(t, d) × IDF(t)IDF公式里加1是sklearn的实现风格能避免零除数的同时保证平滑。这么一加权语料里几乎每篇都出现的我们使用这类词权重被压得很低而那些只在少数文档里出现的领域关键词权重被抬高余弦计算出来的相似方向更贴近真实主题。我自己做法律文书匹配时感受特别明显直接用词袋向量所有合同模板里都有的甲方乙方会把向量方向拉成一大片相似换成TF-IDF之后违约保证金解除合同这类词才真正主导了夹角准确率抬升非常可观。2.3 词向量与传统表示的取舍语义相似还是字面重合如果你的语料里充斥着苹果和iPhone、退货和退款这种同义表述再好的TF-IDF向量也无法让余弦测出语义等价因为向量维度根本没有重合。这种情况要换思路用词向量或句子嵌入把文本表示成稠密向量让模型学到的语义信息体现在向量空间里。典型的做法是预训练的句向量模型把整句编码成一串浮点数通常几百维然后再算余弦。这种方案最大的好处是能捕捉同义和语序信息苹果多少钱和iPhone价格在这种表示下余弦会明显高于字面重合度。代价也很现实模型体积大、推理速度慢、可解释性变差。我一般遵循一个选型原则如果要做的是大规模召回和快速近似匹配而且语料主题相对集中TF-IDF加余弦是性价比之王如果业务强调理解用户的任意说法语义embedding加余弦才是正解。两边不是替代关系更像精度与速度的取舍。2.4 三种文本表示法的对比速查表示法维度特征能否捕捉同义工程成本推荐场景词袋模型高维稀疏不能极低简单去重、字面匹配TF-IDF高维稀疏但加权部分靠重合词低新闻聚类、文档检索句向量Embedding稠密能学习语义中高客服问答、语义召回选型的时候别只看精度曲线把线上存储和计算成本一起算进去。我做过一个千万级语料的FAQ匹配最终线上跑的是倒排索引加TF-IDF余弦而不是把所有句子都Embedding之后暴力比对——数据量上来之后工程约束往往会反过来决定算法选型。3. 从零实现一个中文文本相似度匹配器3.1 预处理90%的匹配质量在分词和去停用词向量化和余弦计算其实只占整个流程的20%工作量真正的差异化在做数据清洗。中文没有天然分词边界第一步要做分词。我用的是jieba库按需选择精确模式import jieba def tokenize(text): # 统一小写、去掉多余空白 text text.strip().lower() return [w for w in jieba.cut(text) if w and not w.isspace()]第二步是去停用词。这一步特别关键我曾经因为漏掉进行对于以及这类词导致整批匹配结果被这些无语义的高频词带偏相似度虚高一片。停用词表不需要自己从零收集直接找通用中文停用词表再根据业务语料补充领域内的无意义词比如合同类语料里的兹经。值得留意的是有些项目还会做词形归一化比如英文鲸吞统一变化形态中文则可以按业务需要做同义词替换。同义词替换要谨慎误替换会比不替换更伤我在知识库项目里吃过亏把全额退款强行归一到退货客服场景里意思完全变了。3.2 向量化与余弦函数手写还是调库向量化这一步用sklearn的TfidfVectorizer最省事from sklearn.feature_extraction.text import TfidfVectorizer vectorizer TfidfVectorizer(tokenizertokenize, max_features50000) X vectorizer.fit_transform(corpus) # X是sparse矩阵两个参数值得说。max_features50000限制词典规模避免出现几十万维的大矩阵拖垮内存tokenizer换成我们自己的分词函数保证精分词而不是单字切分。余弦计算手写一个也不复杂import numpy as np def cosine_similarity(vec_a, vec_b): if vec_a.shape[0] 0 or vec_b.shape[0] 0: return 0.0 dot np.dot(vec_a, vec_b) norm_a np.linalg.norm(vec_a) norm_b np.linalg.norm(vec_b) if norm_a 0 or norm_b 0: return 0.0 return dot / (norm_a * norm_b)但调库更快sklearn的cosine_similarity在底层做了稀疏优化能直接传矩阵批量计算from sklearn.metrics.pairwise import cosine_similarity sim cosine_similarity(X[0:1], X) # 第0条和全部文档的相似度3.3 批量匹配的完整骨架与内存控制实际项目中更多需求是给一条新文本从库里找出最相似的Top-K条。完整流程是这样from sklearn.metrics.pairwise import cosine_similarity new_vec vectorizer.transform([new_text]) sims cosine_similarity(new_vec, X).flatten() top_k_idx sims.argsort()[::-1][:K] for idx in top_k_idx: print(f文档{idx}: 相似度{sims[idx]:.4f})这段代码处理万级文档完全没问题。但要注意直接对所有文档算余弦每查一次都是O(N)的复杂度量级到十万级以后单次查询的延迟就会涨到几十甚至上百毫秒这时就得走第5章的优化方案。另外cosine_similarity传两个矩阵时如果第二个矩阵非常大结果矩阵也可能一次性占用很多内存。我习惯用chunk_size做分批处理或者直接在稀疏矩阵上做矩阵乘法来算批量相似度。3.4 边界情况零向量、空文档与全停用词文本匹配里最容易被忽略的坑是空文档。文档分词后如果只剩停用词向量就是全零向量。此时按公式计算分母为0NaN就直接冒出来了。上面手写函数里对零向量的判断不可省返回0.0的意义是完全不相似。还有一类情况一条短文本分词后只命中一个词比如手机。它的向量只有一个维度有值。拿它和手机壳、钢化膜这类文本的向量算余弦结果取决于词典权重分配经常出现极端值0或者1说明短文本上的余弦波动非常大。处理手段要么加入字级别n-gram特征要么走句向量方案后者对短文本更友好。提示生产环境一定要在特征化之前统计分词后词数0的样本数量这类样本通常是脏数据需要单独处理而不是让它们流进匹配流程。4. 拿到余弦分数后怎么解读阈值、短文本与误判误区4.1 0.87到底意味着什么阈值从来不是固定数字很多人习惯写死一个阈值比如相似度0.8就算匹配成功。这种拍脑袋方式在真实数据上经常失效。我后来总结出的经验是先跑一批业务样本把人工判定为相同意图的文本对和人工判定为无关的文本对分别算出来画出两条相似度分布曲线看看分界线在哪里。有一次在客服场景里我们发现相同意图的余弦普遍在0.7以上无关文本普遍在0.3以下中间有一段纠缠区那么阈值设在0.65左右就合理。换到另一个电商文档去重场景里相同文本的余弦能到0.98阈值就得设到0.9以上才不会被误杀。所以处理方式很实用在测试集上把相似度分位数打出来比如50分位、75分位、95分位结合业务要求选分位点不要凭经验猜绝对数值。4.2 短文本的余弦失真现象短文本是余弦相似度的重灾区。两条短文本比如退货和退款分词后如果不做同义扩展向量里根本没有共有维度余弦就是0。如果其中一条只包含两个词另外一条包含四个词且有两个重合余弦可能直接跳到0.7——这个数字的波动区间极大全看词典组合。怎么缓解我试过两种有效手段。一种是做字n-gram扩展把退货扩成退货退货三个特征增加低层字符的重合可能性另一种是引入同义词典在预处理阶段将退款退货退换归一成一个簇让向量重组后有基本特征可对齐。4.3 字面冷淡但语义暧昧把责任归到表示层经常有同学问为什么苹果手机多少钱和iPhone价格是多少的余弦只有0.1模型是不是有问题不是模型的问题是表示的问题。词袋和TF-IDF根本不知道苹果和iPhone是近义词。余弦算法本身忠实地度量了当前向量空间中的方向差异可这个向量空间根本没有映射到语义空间。遇到这种情况正确做法是升级向量表示而不是去硬调余弦阈值。换上句子Embedding之后上述两条文本的相似度会上到0.8左右但代价是模型依赖和计算开销。先识别业务是否真的需要语义级别的匹配再决定要不要付出这个成本。5. 数据量大起来之后余弦匹配的工程化之路5.1 暴力计算的复杂度有多吓人先说裸算的成本假设库里有10万条文本要两两配对算相似度就是C(100000, 2)≈50亿次点积。即便每次点积只要0.1毫秒全部跑完需要约138小时单机资源完全扛不住。即使只做实时查询每条新文本扫一遍10万条文档也要10秒级别的耗时每次运算几十微秒的话。所以工程上不可能把特征库里所有文档全部算一遍。核心思路只有一条先缩小候选集再对候选集算精确余弦。5.2 倒排索引剪枝先找可能相似的候选集文本里两个文档要余弦值高至少要共享相当数量的有效词加权之后。因此可以用词作为键建词→包含该词的文档ID列表的倒排表。查询时先取出新文本里的每个有效词到倒排表里归并这些文档ID统计与查询文本共享多少词把共享词数少的文档直接丢进不候选区只对剩余的文档做精确余弦计算。我实际跑过一个召回链路十万级FAQ语料暴力逐条查询平均耗时38毫秒加上倒排查接筛选后候选集从10万缩到几百条单查询降到3毫秒以内快出一个数量级还多。这个方案不需要任何复杂依赖用字典加列表就能实现是启动成本最低的优化方案。5.3 矩阵化、稀疏优化与近似检索的引入时机再进一步可以用线性代数把余弦向量化。因为TfidfVectorizer默认输出L2归一化的稀疏矩阵任意两条文档的余弦就等于X X^T矩阵中的对应元素。Intel MKL或OpenBLAS后端的稀疏矩阵乘法非常快配合分块处理可以在单机处理百万级文档的全部两两相似度计算。如果数据规模再上两三个量级或者查的是语义向量而不是稀疏文本向量那就该考虑近似近邻检索库了。这类库背后的核心思想是把精确却昂贵的向量比较转成近似且便宜的检索过程用召回率换取速度。对于稀疏的TF-IDF特征倒排索引通常更直给对于稠密句向量用基于图或基于哈希的近似方法效果更好。5.4 一个实际可参考的分级架构我习惯把这类匹配服务拆成两层召回层负责快速筛出候选精排层用完整余弦或更复杂的模型把候选重新排序。召回层可以用倒排索引稀疏特征或近邻索引稠密语义特征精排层根据业务需要决定用余弦还是别的排序模型。这种分层思路的好处是每一层都能独立优化——召回层追求速度和覆盖面精排层追求精确度和可解释性不会因为掐在一棵树上导致速度和准确率互相拖后腿。6. 最后分享两个实测心得第一个心得调试余弦时先检查向量是不是已经L2归一化了。如果用的是TfidfVectorizer默认输出是归一化的此时余弦直接等于点积你不需要重复计算模长但如果你自己造向量矩阵很容易忘记归一化导致余弦被文档长度干扰。我排查过无数次相似度怎么虚高的问题一大半出在这里。第二个心得模板感很强的语料匹配前最好做模板蒸馏。比如合同、公告这类文本大量固定句式会撑高余弦得分让内容其实完全不同的文档看起来高度相似。把公共模板段落去掉或者单独降权剩下的正文再进余弦匹配结果才能反映真实相似程度。这个坑不在算法层而在数据理解层但对结果的破坏力远超算法本身。余弦算法做相似度匹配看起来只有一行公式真正决定效果的是向量表示、阈值策略和工程架构这三个环节。把这个链条上的坑都趟平它就能变成一个相当可靠、也相当实用的匹配工具。