AI FDE 如何设计企业知识库检索链路#AI FDE #RAG #Hybrid Search #Rerank #引用溯源一、问题产生背景企业知识库问答的效果往往不是由模型大小单独决定的。模型拿到什么资料、资料是否最新、资料之间是否冲突、用户是否有权访问都会直接影响回答。检索增强生成RAG的基本思路是先从企业知识库中检索相关内容再把经过授权的内容交给模型生成回答。它把“模型记忆”变成“模型基于当前资料回答”但也引入了新的工程问题如何召回、如何排序、如何处理无答案、如何展示依据。二、检索链路的基本结构用户问题 - 问题改写和意图识别 - 租户、角色和数据范围过滤 - 关键词检索 向量检索 - 结果融合 - Rerank 重排 - 去重和上下文压缩 - 模型生成 - 引用校验和回答展示权限过滤应尽量在检索请求中前置。只有经过访问控制的候选内容才进入融合、重排和 Prompt。三、关键词检索与向量检索关键词检索适合以下情况用户问题包含订单号、产品型号、制度编号等精确词文档内容结构清晰字段匹配比语义相似更重要需要解释为什么命中某篇资料。向量检索适合表达不同但含义相近的问法。例如用户问“客户不续约怎么办”资料标题写的是“合同到期挽留流程”。两者结合通常比单独使用一种检索更稳健但需要注意分数归一化和权重调节。关键词得分和向量相似度不在同一个量纲上不能直接相加而不做处理。四、Hybrid Search 的教学示例下面的函数只是用关键词命中模拟“检索候选”步骤不是真实的向量混合检索。生产系统应替换为全文索引、向量数据库和 Rerank 服务并在查询层注入权限条件。fromtypingimportList,Dict,Anydefkeyword_candidates(query:str,authorized_docs:List[Dict[str,Any]],top_k:int5,)-List[Dict[str,Any]]:query_terms[termforterminquery.split()ifterm]scored[]fordocinauthorized_docs:textdoc.get(text,)keyword_scoresum(termintextforterminquery_terms)ifkeyword_score0:scored.append((keyword_score,doc))scored.sort(keylambdaitem:item[0],reverseTrue)return[docfor_,docinscored[:top_k]]正式的混合检索可以抽象成融合得分 归一化关键词得分 × alpha 归一化向量得分 × (1 - alpha)alpha不是固定常量。包含编号和专有名词的问题通常提高关键词权重表达模糊意图的问题可以提高向量权重。这个权重应通过评测集验证而不是凭感觉设定。五、切分与上下文组织检索质量不仅由索引决定也由切分决定。一个 chunk 太长容易同时包含多个主题和权限边界一个 chunk 太短语义不完整模型无法理解上下文。建议根据内容类型选择切分方式制度文档保留章节标题和条款编号产品说明按功能、限制和操作步骤切分CRM 记录按客户、时间和跟进事件切分通话摘要按主题和结论切分不直接把未脱敏录音送入模型。每个上下文块都应携带来源、版本和更新时间。回答中的引用 ID 应映射到用户可以再次访问且经过授权检查的原始资料。六、无答案和冲突答案一个可信的知识库系统必须允许回答“当前资料不足”。建议设置以下降级规则没有候选文档明确提示未找到依据并建议用户补充关键词候选文档相关性不足不要强行生成确定性答案多个正式制度冲突展示冲突来源和版本交给业务负责人确认内容过期提示更新时间并阻止系统把旧内容包装成最新结论权限不足只提示没有可访问资料不泄露被拒绝文档的标题和内容。七、评测指标建议建立一组小而稳定的评测集覆盖真实问题、边界问题和越权问题检索命中率相关资料是否出现在候选集合中引用正确率回答中的引用是否真正支持结论无答案识别率资料不足时是否拒绝编造时效性是否优先使用当前有效版本权限正确率不同用户是否得到符合授权范围的结果用户修订率用户是否需要大量修改输出。不要只用一个综合分数替代所有指标。不同指标对应不同工程问题。八、关键知识点总结RAG 的核心不是“把文档塞进 Prompt”而是建立一条可解释、可评测、可控权的资料获取链路。AI FDE 需要在现场回答四个问题资料从哪里来为什么召回它用户为什么有权看到它回答如何证明自己没有编造。九、关键知识点总结RAG 的核心不是“把文档塞进 Prompt”而是建立可解释、可评测、可控权的资料获取链路。Hybrid Search 要评测定权而不是凭感觉拍权重RRF 是规避分数量纲不一致的常用起点。每条引用都必须能点回原文否则用户无法判断可信度答案就和模型直接生成无异。资料不足时必须拒答不能为了看起来“很聪明”而强行编造。十、可复用的“黄金总结公式”检索链路 召回 × 重排 × 引用 × 拒答 × 越权 五条线生产实现差异上述示例只用于表达核心思路与生产环境有以下差异向量库示例用内存结构生产应使用 Pinecone / Qdrant / Milvus / pgvector 等独立向量库并支持 namespace 隔离与索引快照。AclFilter示例未做权限过滤生产应在向量检索请求层注入 ACL / tenant filter而不依赖后置过滤。批量异步示例为同步处理生产应使用 Kafka / RabbitMQ 等队列做削峰与异步处理。权限缓存示例无缓存生产应使用 Redis 等缓存租户权限判定结果并设短 TTL。审计示例无审计日志生产应记录所有调用与决策带 trace_id 与租户维度。失败重试与幂等示例无重试生产应使用 idempotency_key 与退避重试策略。监控告警示例无监控生产应埋点 QPS / 延迟 / 错误率 / token 成本告警分级。配置化示例硬编码阈值生产应通过配置中心管理便于灰度与回滚。