TF-IDFTerm Frequency-Inverse Document Frequency词频-逆文档频率是信息检索与文本挖掘中最基础、最经典的特征加权技术。其基本思想可以概括为一句话“如果一个词在单篇文档中反复出现但在整个文档集合的其他文档中极少出现那么这个词对这篇文档而言就具有极高的区分度和重要性。”为了帮你透彻理解我把它拆解为两个核心逻辑并直接关联到你刚才提到的“需求声音库”场景1. 两个核心因素的“攻守同盟”TF词频Term Frequency——衡量“局部重要性”逻辑在一篇特定的文档比如某条差评工单里某个词出现得越频繁它在这篇文档里就越重要。举例如果用户在一条反馈里反复提到“闪退”、“闪退”、“闪退”那么“闪退”大概率是这条反馈的核心痛点。IDF逆文档频率Inverse Document Frequency——惩罚“全局普遍性”逻辑如果一个词在所有文档中都普遍存在比如“的”、“了”、“登录”那么它的区分价值就极低需要被降权打压。举例几乎每篇文档都有“登录”这个词那它就不能帮助我们将“支付报错”和“界面卡顿”区别开因此IDF会赋予它一个极低的权重。最终公式TF−IDFTF×IDFTF−IDFTF×IDF。只有“文档内部频率高TF高”且“全库范围内稀有IDF高”的词才能获得最高的最终权重。