衡量一个智能体如何处理超长信息最省事的指标是能装多少。但人脑给出的答案恰好相反它把原文扔掉只留下那个能重新生成原文的模型。一本几十万字的书人读完不会记住书只记住一条线索、几处结构、一个被改写了的世界观需要细节时再翻回去。这个扔掉不是损失而是一整套压缩、抽象与再生成的工程。当前主流大模型走的是另一条路——尽量把原文留在窗口里于是上下文长度从 2K 卷到 128K、1M甚至 10M。方向从起点就偏了。真正的分水岭不是把窗口做多大而是把上下文窗口这个概念整个拆掉换成一套多时间尺度的记忆系统。窗口只是其中最快、最贵、最不持久的一层。一、标称长度不是有效长度人类在线能同时把握的东西少得可怜。Miller 1956 的7±2测的其实是允许组块与复述之后的表现剔除这些策略注意焦点约4 个组块个体差异落在 3–5 之间。Baddeley 2000 补上的情景缓冲器解释了为什么有限槽位并不等于有限理解它把语音、视空信息与长时记忆绑定成一个此刻正在发生的事所以有意义句子的记忆广度能到 16 个词无关词只有 6–7 个。槽位没变多是每个槽位挂上了整张知识网。大模型的麻烦与之形似而质异宣传册上的数字与真正能用出来的数字几乎是两件事。HELMET 测了 59 个长上下文模型绝大多数在 needle-in-a-haystack 上接近满分而这些分数对七类真实下游任务几乎没有预测力各类别之间相关性也低。NoLiMa 把问题与线索的字面重合抹掉、逼模型推断潜在关联之后13 个宣称支持 128K 以上的模型里32K 时已有 11 个掉到短上下文基线的 50% 以下。Lost in the Middle 的 U 型曲线更直白20 份文档里正确答案放在首位时准确率 75.8%放到第 10 份跌到 53.8%低于完全不给资料的 56.1%——读到的东西反而把判断带偏了。到 10M 量级退化最快的不是检索而是矛盾检测也就是能不能在超长跨度里维持一个一致的世界模型。成本也不是工程没优化好而是结构性的。注意力随长度平方增长KV cache 虽是线性在长上下文下却占掉 70–90% 显存——一个 128K 序列光缓存就约 32GB。解码又是带宽受限每生成一个 token 都要把整段缓存读一遍于是越长越慢并发上限由缓存而非权重决定。位置编码外推RoPE 插值、NTK、YaRN的实用区间大致是训练长度的 2–8 倍超过 10 倍后即便继续微调推理质量仍明显下滑。稀疏化如 NSA 在 64K 上约 11.6 倍加速和状态空间混合能救算力救不了信息密度被无关内容稀释。窗口是预算不是仓库。把 10M 原文塞进去既贵又让注意力被分走。二、把人脑的四件工具翻译成工程人处理超长输入靠的从来不是扩容而是四件事每一件都已经有粗糙但有效的工程对应。组块化与情景绑定。棋手看一个局面是一个组块新手看是三十个棋子底层 4 槽不变单槽信息量放大十几倍。对应到模型是按语义事件分页、把每段压成可缓存的梗概表示而非按固定长度切块。ReadAgent 模仿人读书让模型自己找场景切换点分页、把每页压成 gist memory、需要时再翻回原文有效上下文扩了 3.5–20 倍。更关键的是在原文本来塞得进8K 窗口的 QuALITY 任务上先读梗概反而比读全文更准——这直接反驳了塞得下就该塞。只传预测残差。预测编码视角下高层不断向下发预测低层只把没被预料到的部分往上传预期内的输入被直接解释掉。这是把连续信息流压成稀疏误差的根本压缩术。表征侧也给了同向证据next-token 预测把语法、措辞、文体一并当成学习目标而让模型去对齐同一场景的不同描述达到相近表征对齐水平所需样本少了约 42 倍按实际读取 token 算约 14 倍。在抽象状态里预测比在 token 层面重建更省。外部脚手架。文字、笔记、图表把上下文卸载到环境里需要时按线索重取。对应到系统是梗概常驻、原文外置、细节按需回查。原文是外存不是上下文。verbatim → gist快记慢学。逐字细节被丢掉保留模糊的大意痕迹海马快速、稀疏地记下单次事件新皮层慢速、重叠地从大量经历里提取潜在结构。之所以必须先快后慢、交错重放是为了避免新学习直接覆盖旧结构灾难性干扰。最像人的一次翻译出现在写入端。Titans / MIRAS 把长期记忆做成一个 MLP 而非固定向量用梯度当惊奇度符合预期的输入不写入打破上下文的才优先固化再加动量把过去一段的意外也算进来用自适应权重衰减当遗忘门。这几乎就是预测误差加选择性巩固的翻版。三、被跳过的那一层夜里互补学习系统里最关键的一段发生在离线状态。睡眠期间皮层慢振荡的 up 态、丘脑皮层纺锤波、海马尖波涟漪三重嵌套把白天的经历以原速 7–10 倍重放新记忆与相关旧记忆被反复共同激活不变量被提取、无关特征被擦除表征经数天到数年逐渐从海马重新分布到新皮层。语义记忆最终可脱离海马情节记忆则可能长期仍依赖它。与之并行突触稳态假说描述另一套动作清醒期突触净增强NREM 慢波期间做全局但选择性的下调弱连接被淘汰、强连接保留提高信噪比并为次日腾出可塑性额度。REM 期则偏向整合与抽象——图式一致的材料被优先巩固效应与 REM 睡眠量及额区 theta 功率相关REM 期的靶向记忆重激活还能促进规则抽象效果一周后才显现说明后面跟着一串慢速可塑性事件一夜睡眠让发现隐藏规则的概率翻倍。次日模型不是被换掉而是被接着用高层持续生成预测按精度加权的误差不断修正信念每次提取又打开再巩固窗口让痕迹暂时可塑、被重新写入。抽出来的也不是一份主线摘要而是分布式、多层级、部分重叠的多套图式并保留可回查的情景索引。回头看今天的大模型诊断相当锋利它只有两个极端频率——会话内转瞬即逝的 KV和预训练结束后彻底冻结的权重中间整段频谱是空的。新知识要么随会话蒸发要么以覆盖旧能力为代价硬塞进去。这个结构性空缺被形容为数字顺行性遗忘。补法已经开始出现且分成三路多频率记忆光谱。Nested Learning 把模型视为一组嵌套优化问题每层有自己的上下文流与更新速率没有单一中央时钟其 HOPE 原型用一串按不同频率更新的 MLP 构成连续记忆系统高频块管即时细节、低频块管稳定抽象。睡眠期计算。把智能体拆成主、睡两个主智能体不编辑核心记忆后台那个在用户离开时把 raw context 转成 learned context——查矛盾、抽象模式、预计算关联、把零碎偏好整理成结构表。在 AIME、GSM 一类任务上算力从高延迟交互搬到空闲期推理时间与成本同时下降。从 token 空间蒸馏进权重。让整理过的经验既跨会话、又跨模型版本留存最终把连续性从某个模型实例迁移到记忆本身。差距也要如实说现在的睡眠仍是另一个模型在整理文本块不是权重级的系统巩固测试时梯度更新、多频率更新、token 空间重构三者尚未闭环。但信息论结构已经对上了——离线、无新编码干扰、允许慢慢改。四、把代价一起抄重建式记忆必然带来漂移人类抽梗概的代价是虚假记忆与同化偏差模型一旦从忠实存档转向重建式记忆同样的账单立刻到。记忆污染。洞见会过时、被过度泛化或从单次误导经验里长出错误规则。实验表明 append-only 记忆在长程任务上根本不够需要带正/负证据与激活状态的可编辑洞见图任务执行后主动归档、修订、作废。上下文污染。长跑智能体反复消费自己的输出会出现指令漂移、仪式化汇报、角色崩塌表面文字仍然通顺连贯操作含义却已被掏空。加大窗口只是同时放大了记忆容量与污染容量需要按来源、任务相关性、生成深度做上下文卫生分类、隔离、压缩、删除。更狠的一种思路是别只管该记什么去改掉智能体已经相信但错了的东西——错的推理留在上下文里会一直往回拽。这里还藏着一个必须拆开的混淆记得深从来不是单一变量。严格意义上的惊奇不是事件多罕见而是 Bayesian surprise——先验分布到后验分布的 KL 散度衡量一次观察逼内部模型改了多少。电视雪花屏每帧都极不可预测、熵爆表观察者却很快无聊因为模型一个字没改。于是与高置信信念相悖确实落在 surprise 的天花板区先验越窄越自信被违背时信念改变量越大先验本来很宽新数据只轻轻推一下。但由此到记得最牢还有三道彼此独立的闸编码强度呈 U 型而非单调。虚拟厨房实验里灶台上的锅高度符合预期和地板上的新鲜面包高度违背预期都记得好最难记的是既不太对也不太离谱的中间项。SLIMM 框架的解释是两端各走一条路一致项经 mPFC 快速同化冲突项靠内侧颞叶/海马快速编码任意联结且触发整场事件的情景快照以便日后更新图式。这个 U 型并非稳定复现——另有实验得到记忆随一致性线性上升的结果差别部分来自提取策略。更硬的是上限绝对新奇毫无先验可挂接反而损害学习只剩噪声情境新奇有明确预期被打脸才促进模式分离。而应激与皮质醇对海马依赖的回想是倒 U过高时情境细节受损、记忆退向不依赖海马的熟悉感与习惯反应虚假再认随之增加。最震撼的时刻常常留下一张高置信、低细节、错漏不少的照片。主观确信几乎是独立的第二条曲线。对 9/11 一类震惊事件的重测显示闪光灯记忆与同期一件普通自传体事件的一致性衰减速率完全相同遗漏与矛盾错误的增长曲线无法区分唯独生动性与确信度长期保持高位十年追踪依然如此。深主要是现象学深度恰恰不能拿来反推当时的误差幅度。真正决定留存的是另一组变量提取次数重复测试组一周后 61% vs 重复阅读组 40%、间隔效应、自我参照效应、生成效应以及每次提取打开的再巩固窗口。一次大误差的作用更像贴一张高优先级、单独存档的标签不负责让它变深。模型更新是第三条曲线且常常不动。误差要按精度加权先验被赋予过高精度时反证被折扣、被解释掉表现为偏见性同化、把反例归为例外或误会。信念更新还存在方向不对称的活跃假说好消息更新得多、坏消息常被忽略不过自 2016 年起有严肃的复制争议应视作未定论。还有一层更隐蔽的相悖的信息即使被记住也常被记成不那么相悖的样子——不协调细节在重建中被同化进既有图式甚至记得从未出现、但符合图式的典型物件。大误差于是经常既没改模型也没被忠实存档而是被折中成当时大概看错了。把三道闸分开工程结论就出来了下一代记忆系统的核心指标不是记住更多而是遗忘和改写得更准。写入、模型修正、置信度校准应当拆成独立可控的模块而不是用一个标量惊奇度统管一切。记忆操作该被训练成一等工具模型要能察觉我的上下文正在退化、这条记忆已经自相矛盾。主要由什么驱动与大误差的关系典型失败编码强度Bayesian surprise、注意捕获、模式分离、中等唤醒U 型有明确先验被违背时最大过大/纯噪声/高应激时下降完全新颖学不进、震撼时刻只剩熟悉感主观确信情绪唤醒、复述、自我关联常被误当作误差大的证据不能指示准确性自信不衰减、细节照样错模型更新误差的精度权重、可同化性、再巩固窗口、动机弱相关大误差常被折扣或归因外部信念固着、把反例当例外五、路线图停止卷标称窗口评测换成有效上下文矛盾检测、事件排序、长程指令遵循、多文档综合按业务挑应用类别看曲线。把窗口降级为工作记忆小、贵、只放当前推理必需的残差显式做上下文预算分配。补中间层多更新频率的记忆光谱这是目前最大的结构性空白。离线巩固常驻化后台异步把 raw context 转成 learned context并周期性把整理结果蒸馏进权重。写入按惊奇度、遗忘按效用预测误差驱动的稀疏写入加自适应衰减而非无差别追加。压缩必须可逆可回查梗概常驻、原文外置、索引保留压缩前先判断这段有没有法条编号、金额、表格数值这类一字不能差的东西。记忆卫生与可编辑性作为一等能力来源标注、冲突检测、失败感知维护、可回滚。更长期从逐 token 生成转向抽象状态空间的世界模型与规划把理解从复述里解耦出来。六、不该抄的部分人脑是带代谢约束、情绪调制、身体耦合的湿件。它的遗忘、同化偏差、把高置信误当高准确是缺陷而非设计。工程上要的是可控、可审计、可回滚机器相对人的真正优势恰恰是能做到精确无损的外存与版本控制。所以最优解不是让模型变得更像人而是用人的组织原则配机器的精确性。原文交给外存一字不丢模型只留那个能重新生成它、能被新证据改写的压缩结构白天按惊奇度在线微调空闲时离线重放与降噪如此循环永不定稿。未来衡量上下文能力的单位大概不再是 token而是在多大时间跨度上用多少增量算力维持一个能被新证据改写、且改得对的世界模型。刻骨铭心的从来不是最反信念的那一次而是那一次之后又被反复想了很多年。能把这个很多年变成可调度、可审计、可回滚的计算过程才是窗口之后真正要做的事。