现有个性化RAG要么全量喂入导致上下文爆炸要么一步检索丢失深层关联本文受认知科学启发提出RF-Mem框架模拟人类记忆的Familiarity熟悉感-Recollection再认双过程通过熵驱动的自适应路由在32K-1M规模记忆库上实现准确率7.1点、召回率2.3点的提升且延迟仅比单步检索增加~2ms为长时个性化记忆检索提供新范式。 论文基本信息项目内容论文标题Evoking User Memory: Personalizing LLM via Recollection-Familiarity Adaptive Retrieval核心贡献RF-Mem双路径检索框架、熟悉度不确定性路由机制、聚类α-mix迭代扩展策略作者/机构Yingyi Zhang等大连理工大学、香港城市大学、华为诺亚方舟实验室发表年份2026ICLR核心领域个性化LLM、记忆检索、认知启发式检索、自适应路由关键数据/规模3数据集PersonaMem/PersonaBench/LongMemEval、3记忆规模32K/128K/1M tokens代码/资源开源✅ 已开源github.com/Applied-Machine-Learning-Lab/ICLR2026_RF-Mem 研究背景与痛点1. 个性化记忆检索的两难困境现象让LLM记住用户偏好、历史对话、行为习惯是构建懂你的AI助手的关键现有方案的两极❌ 方案A全量上下文Full Context • 优点信息完整无检索遗漏 • 缺点上下文窗口爆炸1M tokens→OOM推理成本指数级增长 ❌ 方案B单步相似检索Dense Retrieval • 优点快速高效延迟5ms • 缺点只能捕获表面语义匹配丢失跨会话的深层关联典型案例用户问“推荐一些适合我健康决策的新方法”❌ 单步检索返回我支持循证医学“尝试新食谱等碎片 → 答案片面✅ 人类记忆先快速识别健康”“决策关键词熟悉感再逐步联想之前聊过的疗法”“患者沟通技巧”“最新研究”再认重构2. 认知科学的启示双过程记忆理论人类记忆不是单一查找而是双轨协同Familiarity熟悉感快速、直觉式的好像见过基于表面特征匹配Recollection再认慢速、努力式的想起来细节基于线索链式重构关键机制用熟悉度信号自适应切换——自信时用Familiarity不确定时触发Recollection3. 本文核心洞察检索策略应随熟悉度动态调整高熟悉度 → 直接Top-K返回省时高效低熟悉度 → 启动迭代扩展深挖关联用均值分数熵量化熟悉度实现自动化路由️ 核心方法RF-Mem 全景详解1. 整体架构 —— 探测→路由→双路径执行闭环┌─────────────────────────────────┐ │ 输入用户问题 q │ └────────┬────────────────────────┘ ▼ ┌─────────────────────────────────┐ │ ① 探测检索Probe Retrieval │ │ • 用q检索Top-K候选 │ │ • 计算均值分数 ¯s 熵 H(p) │ └────────┬────────────────────────┘ ▼ ┌─────────────────────────────────┐ │ ② 熟悉度不确定性路由 │ │ if ¯s ≥ θ_high: │ │ → Familiarity路径 │ │ elif ¯s ≤ θ_low: │ │ → Recollection路径 │ │ else: │ │ if H(p) ≤ τ: → Familiarity│ │ else: → Recollection │ └────────┬────────────────────────┘ ▼ ┌────┴────┐ ▼ ▼ ┌────────┐ ┌────────────────┐ │Familiarity│ │ Recollection │ │• 直接返回 │ │• 迭代扩展 │ │ Top-K │ │ 检索→聚类→α混合│ └────┬────┘ └───────┬────────┘ ▼ ▼ ┌─────────────────────────────────┐ │ ③ 合并结果 → LLM生成个性化答案 │ └─────────────────────────────────┘2. 关键组件实现细节① 熟悉度信号计算核心创新# 步骤1探测检索获取Top-K相似度分数scoresretriever.top_k(query_embedding,kK)# [s1, s2, ..., sK]# 步骤2温度缩放Softmax归一化lambda_temp20# 温度参数normalized[exp(λ*(si-max(scores)))forsiinscores]probs[z/sum(normalized)forzinnormalized]# 步骤3计算均值分数 熵mean_scoresum(scores)/K entropy-sum(p*log(p)forpinprobsifp0)设计直觉mean_score高 → 整体相关性强 → 可直接用Familiarityentropy低 → 分数集中 → 证据明确 → 可直接用Familiarity两者都模糊 → 启动Recollection深挖② Recollection路径迭代式证据重构单轮扩展流程每轮执行 1. 检索用当前query检索Top-N候选N(Br)×F随轮次递增 2. 聚类KMeans将候选分成B个语义簇 3. 混合每个簇中心与原始query α混合生成新query x_new norm(α*x_current (1-α)*centroid x_original) 4. 去重排除已检索过的记忆片段 5. 评分按新query的相似度聚合簇内分数 终止条件 • 达到最大轮次R默认3 • 累积唯一候选≥目标K • 无新候选产生α混合的几何意义α1.0 → 完全信任当前query → 探索保守α0.0 → 完全信任簇中心 → 可能漂移α0.3~0.6论文推荐→ 平衡原始意图与语义扩展③ 类比解释像人类回忆往事场景朋友问你上次旅行最难忘的是什么Familiarity模式高熟悉度快速反应“海边日落” → 直接返回最显著记忆对应¯s高熵低一步检索足够Recollection模式低熟悉度逐步联想“旅行→检索机票”“酒店”“景点”聚类发现美食簇→混合生成新query旅行当地美食再检索→发现夜市小吃“烹饪课程”最终整合“最难忘的是在夜市学做当地菜”对应¯s低或熵高迭代深挖关联3. 超参数配置指南参数含义推荐值影响θ_high高熟悉度阈值0.6越高越倾向Familiarity可能漏深层信息θ_low低熟悉度阈值0.0~0.3越低越易触发Recollection延迟增加τ熵阈值0.15~0.25控制模糊边界的路由决策αquery-簇中心混合系数0.3~0.6平衡探索与意图保持B聚类数/波束宽度2~4决定并行探索分支数F每分支扩展因子1~2控制每轮新增候选规模R最大迭代轮次3限制最深探索深度 实验结果与深度分析1. 个性化生成任务PersonaMem32K/128K/1M tokens表1整体准确率对比RF-Mem vs 基线记忆规模Zero MemoryFull ContextDense RetrievalRecollectionRF-Mem32K0.210.610.560.620.64*128K0.190.320.530.530.54*1M0.18OOM0.450.450.46*关键发现Full Context在128K时性能腰斩1M时直接OOM → 证明全量喂入不可扩展RF-Mem在32K时超越Full Context2.2点且输入仅3.6K tokensvs 24.7K随记忆规模增长RF-Mem优势扩大 → 自适应路由有效对抗信息稀释表2分任务类型准确率32K corpus任务类型DenseRecollectionRF-Mem提升来源Revisit Reasons0.910.910.95熟悉度高快速命中Track Evolution0.500.650.66需跨会话关联Recollection生效Latest Prefs0.180.650.71偏好更新快需深挖最新证据Aligned Recs0.580.690.78推荐需综合历史当前双路径协同2. 个性化检索任务PersonaBench LongMemEval表3Recall10对比多嵌入模型数据集嵌入模型DenseRecollectionRF-MemPersonaBenchMiniLM0.5960.6060.607PersonaBenchMPNet0.5330.5530.555LongMemEval-SBGE0.8930.9170.919LongMemEval-MBGE0.6610.6640.664洞察RF-Mem在Recall指标上增益较小0.1~2.6点但稳定性更强在难样本Pref-Hard, Social Info上优势显著证明自适应路由不是永远多检索而是该深时深该快时快3. 效率分析延迟-精度权衡32K corpus下平均延迟对比 • Dense Retrieval: 3.14 ms ← 基线 • Recollection: 7.09 ms ← 126% • RF-Mem: 5.09 ms ← 62%但精度7.1点 1M corpus下 • Dense: 4.42 ms • RF-Mem: 6.28 ms ← 42%精度0.7点核心结论RF-Mem用**~2ms的额外延迟**换取显著精度提升在个性化场景中性价比极高4. 消融与适应性实验① 路由机制可学习用MLP学习(¯s, H)→路径选择128K数据训练后准确率接近手工阈值证明双信号本身具有判别力未来可端到端优化② 与索引方法兼容RF-Mem MemoryBank摘要索引准确率仅降1.2点远优于单路径基线证明RF-Mem是检索层插件可与任意索引方案组合③ 与查询扩展兼容RF-Mem HyDE伪文档扩展Recall10提升1.1点证明双路径机制与query reformulation正交可叠加增益 主要创新点总结理论创新首次将认知科学双过程理论系统引入记忆检索为个性化RAG提供可解释的认知框架机制创新提出熟悉度不确定性路由用均值熵双信号实现自适应路径选择避免一刀切检索算法创新设计聚类α混合迭代扩展在嵌入空间模拟链式回忆无需LLM生成中间query工程友好纯向量检索小聚类实现无需训练可即插即用集成到现有RAG pipeline实证全面在3数据集×3记忆规模×3嵌入模型上验证证明方法鲁棒且可扩展⚠️ 局限性与挑战阈值依赖θ_high/θ_low/τ需根据数据分布微调跨领域迁移时可能需重新校准聚类质量敏感Recollection路径依赖KMeans效果高维稀疏嵌入下可能聚类不稳定长链错误传播若早期聚类偏差α混合可能放大错误缺乏显式纠错机制多模态未覆盖当前仅处理文本记忆图像/音频等跨模态记忆检索待探索隐私风险深度检索可能意外暴露用户敏感历史需配合访问控制与脱敏机制 对开发者的实战建议如果你想在项目中落地RF-Mem思想轻量启动先实现Familiarity路径简单熵路由验证收益后再添加Recollection迭代缓存优化对高频query缓存(¯s, H)计算结果避免重复探测检索动态α策略根据任务类型调整α——事实查询用高α保意图创意任务用低α促探索监控路由分布记录Familiarity/Recollection触发比例辅助阈值调优与异常检测混合评估指标结合Recall检索质量 Answer Accuracy生成质量 Latency用户体验综合评估渐进式扩展先在小规模记忆库10K验证再逐步扩展至百万级监控性能拐点一句话总结个性化检索的核心挑战不是检索更多而是**“在正确深度检索”**RF-Mem用认知启发的双过程机制证明让系统知道何时该快、何时该深比盲目堆算力更能提升用户体验。 延伸思考与前两篇论文的协同关系维度IRCoT (2023)SubQ-Coverage (2024)RF-Mem (2026)核心问题多跳事实QA的检索依赖开放问题的覆盖评估个性化记忆的动态检索子问题角色推理中间步骤动态生成评估维度静态分类检索线索迭代扩展检索策略CoT句子→新queryCore子问题→重排序簇中心α混合→新query自适应机制固定交错迭代加权融合评估熟悉度信号路由互补价值✅ 可用RF-Mem优化IRCoT的检索效率✅ 可用SubQ评估RF-Mem的覆盖质量✅ 可吸收前两篇的子问题思想增强扩展未来方向构建统一认知检索框架——用SubQ-Coverage分解问题→识别Core维度用RF-Mem的熟悉度路由→决定各维度检索深度用IRCoT的交错推理→整合多维证据生成答案这可能是下一代会思考的检索系统的雏形。附快速复现检查清单准备用户记忆库对话轮次→文本片段→嵌入向量实现探测检索Top-K相似度计算均值/熵统计配置路由阈值初始设θ_high0.6, θ_low0.3, τ0.2实现Recollection循环检索→KMeans→α混合→去重集成LLM生成合并检索结果原始query→个性化回答监控指标准确率/Recall/延迟/路由分布四维度开源参考github.com/Applied-Machine-Learning-Lab/ICLR2026_RF-Mem