我最近在做一个关于世界模型World Models记忆机制的实验标题里的问题其实困扰了我很久当智能体身处部分可观测环境需要记住某个物体曾经在哪、长什么样、后来发生了什么变化它到底该用一张均匀的栅格Grid来编码空间还是用一串离散的节点Nodes来记录对象这个选择直接决定了模型能不能在看不见的时候仍然想得起。这篇文章不打算写成论文解读我就从实操者的角度把整个探针实验的设计思路、两种表示的底层差异、我在实验里踩过的坑以及最后拿到结果时的解读逻辑完整地梳理一遍。不管你是做强化学习、机器人导航还是对神经可解释性感兴趣这篇内容应该都能给你一些可以直接参考的东西。1. 项目概述与问题拆解1.1 核心需求解析世界模型这类架构本质上是在智能体内部学习一个对环境的压缩模拟器。它接收过去的观测和动作预测未来的状态和奖励。这个思路在模型预测控制、规划、以及无模型强化学习的样本效率提升上都已经被验证过很多次。但大多数公开讨论都集中在模型能不能预测得准这件事上却很少有人认真问一句模型到底把信息存在哪里Grid or Nodes这个问题就是冲着存储格式去的。打个不那么严谨但很贴切的比方如果你要给朋友描述你房间的布局有两种说法。第一种是从门口开始左边第2米处有张桌子再往左1米有个柜子——这是网格逻辑空间连续、坐标明确。第二种是房间里那张桌子、那个柜子、那盏灯它们分别在某个位置——这是节点逻辑以物体本身为索引单位。世界模型内部如果走前一种路线会把潜在特征张量规规矩矩地排在一个空间网格上走后一种路线则倾向于把每个对象编码成独立的嵌入向量再配上位置信息。这两种路线在完全可观测的环境里表现往往差不多。因为智能体随时能看到所有东西记忆的压力很小存哪里变得无所谓。但一旦切到部分可观测场景——比如机器人只有局部视野、游戏角色被障碍物挡住视线、或者环境里存在物体移出视野后又需要被召回的情形——存储格式的差异就开始显性化。记忆不仅要存下还要在需要时被找到。网格是隐含的空间连续性节点是天然的索引结构谁能更好地支持看不见时的回忆这不是凭直觉能回答的。1.2 为什么部分可观测性是关键试金石部分可观测性Partial Observability本质上打破了马尔可夫性的幻觉。传统强化学习假设当前观测包含足够决策信息而在部分可观测环境下这一假设直接失效。智能体必须依赖记忆——要么用RNN隐状态要么用更结构化的记忆模块——来补全缺失的信息。但世界模型里有个微妙的点它本身就在做未来预测如果记忆模块不可靠早期预测误差会在自回归过程中被不断放大。我实测下来一个在简单栅格环境中训练得很好的世界模型一旦切换到需要绕过障碍物回忆目标位置的任务训练曲线会变得极其颠簸。不是模型学不会而是它的记忆通路在该用网格还是该用节点这个问题上摇摆不定。所以Grid or Nodes不是一个纯粹的架构审美问题它直接关联到下游决策质量。你需要一个系统性方法去探测模型内部到底记住了什么、用什么形式记住的以及在遮蔽观测下这种记忆还能不能稳定唤起。这篇文章里描述的实验就是用一套探针任务probing tasks来回答这个问题的。2. 两种表示的底层逻辑与架构推演2.1 网格表示空间连续性的直觉优势网格表示Grid最常见的实现方式是把潜在空间组织成一个二维或三维的特征图。Vision Transformer 里的 patch embedding或者卷积编码器输出的 feature map本质上都带着网格的意味每个空间位置有对应的特征向量相邻位置的向量之间存在天然的相关性。这个特性的最大优点是平移等变性。物体在左特征就在左物体移到右特征也相应移到右。对空间推理来说这是非常友好的先验。我在早期的实验中用过一个基于 ConvLSTM 风格的世界模型在简单寻路任务上效果不错很大程度上就是因为网格特征让物体的位置变化在潜在空间里表现为一个局部区域的连续位移模型不需要额外学习这个规律。网格表示也有一个很硬的痛点容量浪费。环境里通常只有少数几个活跃对象其余大部分区域是空白背景。网格却必须为每一个格子都分配特征容量。如果潜在空间的尺寸有限那么大量格子分给背景就会挤压少数格子存对象的空间。我在实验中明显看到当场景复杂度上升、对象数量增多时纯网格模型对远处物体的记忆会变得模糊表现为位置召回误差增大但模型自己浑然不觉。2.2 节点表示对象中心化的索引优势节点表示Nodes走的是另一条路。它受到 object-centric representation 的启发把每个对象编码成一个独立的嵌入向量再附带位置、尺度、关系等属性。你可以把它理解成内存里的对象表每条记录一个对象读取时按索引或者按注意力权重去查。节点表示的最大优点是与对象数量线性扩展并且天然支持绑定操作。你可以在一个节点里存储这是一个红色立方体然后在另一个节点里存它现在在A点两个信息互不干扰。当物体消失在视野外时节点依然存在于潜在空间里相当于一个独立的内存条目理论上可以被后续的查询机制重新找回。缺点是训练不稳定。把视觉输入离散成哪几个对象本身是一个有挑战的分解问题。如果分解器比如 slot attention不够稳节点的数量或者内容会发生抖动。我在实验里遇到过不少次明明同一个场景前一帧分解出3个节点后一帧突然变成5个节点其中两个节点还在争夺同一个物体的所有权。这种不稳定性会直接传导给记忆模块导致下游规划任务的表现波动极大。2.3 二者并非互斥混合路线的可能性实操中我不认为这是个二选一的题更合理的框架是什么样的任务偏向哪种表示以及它们能否互补。网格提供稳定的空间坐标系节点提供可索引的对象身份。一个自然的混合方案是网格做空间底座节点作为对象指针指向网格中的特定区域。我在自己的实验中实验过一种锚定机制节点向量不直接存完整的物体特征而是存一个指针加一份局部特征增量指针指向网格中的中心位置增量记录这个物体与网格背景的差异。这样既保留了空间连续性又获得了对象级别的索引能力。但从实验结果来看这种混合结构会引入额外的复杂度训练调参的难度明显高于单一种类适合项目已经需要同时处理空间连续性和对象稀缺性的高级场景。3. 实验方法论设计一套公平、可复现的探针任务3.1 模拟环境配置可控性与复杂度平衡要公平对比网格和节点在世界模型中的记忆表现需要一个既模拟真实任务难度、又能精细控制观测遮蔽程度的环境。我采用的是自己构建的多物体局部观测导航场景。环境是一个20x20的离散栅格世界里面有若干目标物体形状、颜色不同和若干固定障碍物。智能体每次只能看到一个以自身为中心的7x7局部区域其他区域全部遮蔽。这个设置的关键在于如果智能体需要到达某个之前见过的目标物体但该物体现在在视野之外它就必须依赖内部记忆。通过调节物体数量、障碍物布局、以及重新出现目标物体的位置与时间间隔我可以系统性地增加记忆负担分别测试短期记忆中长期记忆与记忆干扰三个维度的表现。环境里还需要一个重要的控制变量物体位置是否在训练分布之内。如果所有物体永远只在若干固定位置出现模型可能学会死记位置分布而不是真正记忆物体身份。因此我加入了随机生成器让物体位置在每回合都重新采样确保实验测的是记忆机制而不是对训练样本的过拟合。3.2 探针设计怎么读模型的记忆内容直接用端到端的任务表现比如导航成功率来推断内部记忆结构是不严谨的。因为任务表现是许多模块协同的结果一个模块的缺陷可能被另一个模块补偿。为了把记忆里到底存了什么单独拎出来我设计了三类探针任务第一类是位置召回探针Position Recall Probe。模型在观测到物体的某个局部片段后被要求预测该物体在全局坐标系中的位置。这个探针直接测试空间信息是否被编码、是否可被解码。第二类是身份保持探针Identity Persistence Probe。在物体移出视野若干步后模型需要判断两个物体的身份是否互换。第三类是关系记忆探针Relational Memory Probe。模型需要回答物体A相对于物体B在哪一侧。三类探针分别考察空间、属性、关系的记忆质量组合起来才能比较全面地描绘模型的记忆画像。每个探针的实现方式是在主模型训练完成后冻结其权重再接一个轻量级的MLP读出头进行训练。如果读出头能在很少样本下达到较高准确率说明信息确实被模型内部显式编码了反之若无论怎么训练读出头表现都差说明信息在存储环节就丢了。3.3 训练协议与超参数选择为了保证公平网格和节点两类世界模型使用相同的观测编码器宽度、相同的RNN隐状态维度256、相同的训练步数约30万步和相同的数据buffer。区别只限定在记忆层的表示方式上。网格模型的记忆层是一个尺寸为4x4xC的特征网格节点模型则使用8个slot的slot attention模块每个slot维度为C位置由slot attention的隐式绑定关系决定。C的取值我调试过多个档位64、128、256。更大的C表示每个格子或每个节点都有更丰富的特征但也更考验显存与计算效率。最终我采用C128作为主要比较设置这个值同时保证两种模型都能承载足够信息又不至于让网格模型因为特征维度过高而额外获益。训练时我还用了两项重要技巧。一是预测目标不直接用像素重构而是混合了语义分割物体占据图和位置热点图该物体可能在哪些格子出现这样探针读出的信息更贴近任务需要的信息而不是原始像素。二是使用了随机遮蔽增强训练中随机遮蔽一部分局部观测区域强迫模型不能依赖看见就能知的捷径必须真正动用记忆通路。4. 实验结果两类表示在不同的记忆负荷下分化明显4.1 低记忆负荷下网格略占优势在物体数量较少3个、遮蔽程度较低的条件下网格模型的表现略好于节点模型。位置召回探针的误差上网格模型的平均误差大约是1.2个格子节点模型是1.5个格子。差异不算大但趋势稳定。原因在于低负荷下网格的空间均匀分辨率优势凸显模型不需要精细的物体索引只需要一个大致的空间连续估计网格的自然结构直接给出了答案。节点模型在这一档表现稍弱主要是分解模块引入的不稳定代价——它花费了一些容量在决定什么是对象、什么不是对象上。在简单场景里这种分解往往产生冗余或不精确的对象边界分散了记忆容量。4.2 中高记忆负荷下节点表示开始拉开差距当物体数量增加到6个并且移出视野的时间间隔拉长到20步以上时节点的优势非常明显。身份保持探针准确率方面节点模型达到了88%而网格模型只有61%。位置召回探针上节点模型的误差维持在1.8个格子网格模型则暴涨到3.4个格子。这个结果和我预判的一致网格给每个空间位置均分容量物体一旦增多每个物体分到的有效特征就变少而且要命的是多个物体的特征在网格里相互挤压、发生空间混叠导致记得有东西但记不清谁是谁。节点模型按对象分配容量数量增加只是多开几个slot对象间的混淆显著更少。需要特别强调的是节点模型的成功依赖一个前提分解模块必须保持稳定。实验中我观察到当物体快速移动导致重叠遮挡时节点偶尔会丢失一个对象然后再重新发现它这一过程会产生短暂的记忆闪烁。好在一旦物体重新出现在视野中节点的身份绑定可以很快恢复整体召回曲线无明显断裂。4.3 高干扰场景两者各有软肋我又专门加了一档高干扰场景物体数量8个且每3步就随机交换其中两个物体的外观颜色。这相当于在环境中给记忆制造幻觉干扰。结果显示网格模型的位置召回仍然准确因为空间底座稳定但身份保持几乎崩溃准确率降到49%接近瞎猜。节点模型在身份保持上稍好一些68%但它的位置绑定出现了新的问题——它开始频繁把同一个位置指派给两个不同的对象出现空间竞争。这个结果让我意识到两者的软肋恰好是对方的强项网格缺的是身份独立性节点缺的是空间独占性。那条混合路线的构想在这里得到了实践验证如果需要应对高干扰环境纯网格或纯节点都不够必须在两者之间做更深度的融合。5. 深入分析为什么表示格式决定了记忆的提取逻辑5.1 网格记忆的提取是一个插值过程网格表示的记忆提取天然依赖连续性插值。当模型要回答物体X在哪里时它实际上在做的是把物体X的特征模式在空间特征图上进行匹配然后读取响应峰的位置。这个过程适合大致在哪个区域这类粗粒度信息但一旦物体特征在记忆中被重叠模糊化匹配就会产生多峰响应导致定位准确率下降。我通过可视化特征图确认了这一点在物体数量较少时特征图上有清晰、离散的响应峰物体增多后特征图变成一片弥散的激活区域相邻物体的响应叠在一起。这个现象类似于你同时看两本印刷字体重叠的透明纸张——每张纸上的字还能勉强辨认但没有人能快速告诉他们各自的准确坐标。5.2 节点记忆的提取是一个查询过程节点模型不同。它的提取逻辑更像是查询一个数据库输入一个查询向量例如红色的立方体通过注意力机制在slot集合中找到匹配度最高的节点然后读出它的属性。这个机制天然能抵抗多个对象同时占位造成的干扰因为注意力在匹配时自动完成了分离。但这也暴露了一个关键弱点查询机制本身必须能被训练好。如果查询向量与slot之间的绑定关系学得不够紧凑会出现查询到了两个节点的混合体的情况这在高干扰场景中尤其常见。我在实验中发现可以通过在一个专门的查询任务上做辅助训练来改善但完全消除需要更精细的注意力温度调度。5.3 表示格式与下游规划行为的耦合记忆格式不仅影响回忆还影响基于回忆做规划。我用训练好的世界模型去做一个简单的前瞻规划任务模型在想象空间中推演未来5步选择能让自己离目标最近的行动序列。结果是在中高记忆负荷下节点模型想象的轨迹明显更精确因为它能在想象过程中稳定地指向目标节点而网格模型在推演时目标物体的位置表征会逐渐弥散导致规划的轨迹中后期出现漂移。这个发现其实有很强的现实意义。对于一个用世界模型做决策的智能体你不仅希望它记住信息还希望它在头脑中的模拟足够清晰。如果模拟中的物体位置已经开始发散那规划的质量必然受损。这说明记忆表示的选择最终会通过想象质量传导到决策质量。6. 实操中的常见问题与避坑经验6.1 训练稳定性Slot Attention的先天波动如果你选择节点路线我最大的忠告是做好Slot Attention的训练稳定性治理。我在第一版实验里节点模型多次出现loss发散排查后发现是slot attention在训练后期陷入某些局部最优导致每个slot总是绑定到同一个物体。解决办法包括提高slot的重置概率、在注意力得分上增加熵正则、以及降低slot embedding的初始化方差。另外要注意的是slot数量本身也是一个需要调节的超参数。节点数太少会丢对象太多会浪费容量并增加不必要的分离竞争。我最终采用的方法是在训练集上统计出最大对象数量再加2个冗余slot然后固定这个值。6.2 探针公平性不能只看端到端指标如果你也想做类似的探针实验有一点必须高度重视对比的公平性。很多研究对比不同架构时只比较端到端任务指标如成功率这很容易产生误导——因为端到端指标受策略网络、价值网络的影响更大而记忆层的变化可能只是间接作用。一定要拆出独立的探针在相同数据分布上训练读出头并且测试时冻结主模型权重。我自己的调试经验是探针读取的位置信息远没有读取的哪一层重要。如果从RNN顶层读拿到的信息已经过策略相关的抽象从记忆层的直接输出读才能反映记忆本身的质量。探针接入点的细微分寸对结论的可靠性影响非常大。6.3 可视化陷阱特征图不是故事全貌可视化特征图是一件很诱人的事但一定要保持警惕。我早期曾依据一张漂亮的、网格模型特征图上出现清晰物体响应峰的可视化图得出网格模型记忆很好的结论后来发现这只是训练早期的某个偶然状态。训练到后期特征图可能已经发生了巨大的变化。科学的方法是用探针任务的数字指标作为结论依据可视化只能作为辅助理解手段不能作为论据。同样t-SNE等降维可视化技术在节点模型中也要慎用。slot数量本来就不多降维之后很容易出现看起来分离得很好的假象但这只是高维空间在二维投影上的偶然表现。6.4 数据buffer与遮蔽策略一个容易被忽略的细节是训练数据的buffer策略。我在早期实验中使用普通的经验回放buffer发现模型在部分可观测场景下的表现始终无法提升。后来我改成情景式buffer每次采样完整回放一个episode内的连续序列而不是混洗后的单条transition。这样能保证RNN隐状态能在训练中正确展开记忆不会被断章取义。这个修改带来的性能提升非常显著节点模型尤其受益。遮蔽策略上我也建议你根据任务做课程式难度提升。训练初期遮蔽区域小一些让模型先建立基础的物体表征训练后期逐渐增大遮蔽区域让模型习惯依赖记忆。一上来就用最大遮蔽模型可能直接放弃记忆通路退化成完全猜测策略。7. 写在最后几种表示路线如何为实际项目做选择这个实验做下来我的核心体会是网格和节点的关系不是谁取代谁而是各自在不同的记忆任务维度上占据优势。网格提供了稳定的空间连续性适合位置模糊但可靠的信息节点提供了对象卸载能力适合对象身份明确且独立的信息。如果你在面对实际问题时能提前判断任务的核心需求是精确定位还是身份保持选型会清晰得多。另外如果你所在的场景中对象数量少且空间覆盖均匀网格模型的实现简单性是一个巨大优势——毕竟不是每个项目都有预算去处理slot attention的调试成本。但如果你的场景天然是object-centric的比如机器人需要跟踪多个工具、游戏智能体需要记住多个敌对单位那么节点路线的收益会远超其工程成本。最后再分享一个经验不要只train一个模型然后从它的表现反推结论。我实验中的很多有趣发现来自对比多个随机种子下的模型行为差异。有的随机种子里网格模型表现得很好另一些种子里则很差——差异的根源往往不在表示类型而在初始化与训练动态的交互。做这种架构对比研究统计稳定性比某一个特定运行结果重要得多。建议至少跑5个种子并在报告结论时使用均值和置信区间而不是某一个漂亮的曲线。