1. 从预测像素到预测意图AD-E2E-JEPA到底在解决什么自动驾驶端到端方案这几年几乎成了行业默认的演进方向但真正落地过的人都知道纯端到端有个绕不开的痛点模型把大量算力花在了画出一帧帧未来画面上而规划真正需要的其实只是接下来该往哪走、周围会怎么动。这两件事的粒度完全不在一个量级。AD-E2E-JEPA这篇工作最核心的贡献就是把预测这件事从像素空间搬到了压缩后的潜空间里并且用目标条件goal-conditioned的方式做零样本规划。换句话说它不再逼着模型去重建每一个像素而是让模型在一个高度抽象的表示空间里推演未来再从这个推演结果反推控制动作。我第一次看到这个思路的时候第一反应是这不就是把世界模型和规划器解耦了吗。但仔细读完论文的架构描述后会发现它比简单的解耦更激进——整个预测和规划都发生在同一个压缩潜空间里编码器、预测器、规划器共享同一套表示。这个设计选择背后有很强的动机如果预测在像素空间、规划在另一个特征空间两个空间之间的对齐本身就是个巨大的工程负担而且对齐误差会直接传导到最终的控制输出上。AD-E2E-JEPA把这两件事统一到一个潜空间等于从架构层面消掉了这个对齐问题。从关键词拆解来看这篇工作涉及几个关键概念JEPAJoint Embedding Predictive Architecture联合嵌入预测架构、ADAutonomous Driving自动驾驶、E2EEnd-to-End端到端、零样本目标条件规划、压缩潜空间。这几个词每一个单独拎出来都有大量前置工作但把它们组合在一起形成了一条比较清晰的技术路线用JEPA的联合嵌入思想做表示学习用压缩潜空间降低预测的计算负担用目标条件实现零样本泛化最终服务于端到端驾驶规划。适合读这篇内容的人大概分三类。第一类是正在做端到端自动驾驶规划的研究者或工程师想了解除了预测像素规划之外还有没有别的范式第二类是做世界模型、表示学习的人想看看JEPA这套框架在驾驶这种高动态场景下怎么落地第三类是对零样本泛化感兴趣的从业者因为目标条件规划本身就是一种实现零样本能力的经典思路只是这次被放进了潜空间里做。不管你属于哪一类理解它的核心机制和设计取舍比记住结论更重要。2. 压缩潜空间为什么是这套架构的关键胜负手2.1 像素空间预测的算力陷阱先说说为什么非要把预测搬到潜空间。在像素空间做未来帧预测最直接的问题就是计算量。假设输入是256x256的三通道图像预测未来4帧输出维度就是256x256x3x4接近80万个数值。而如果潜空间的表示维度是256维预测同样4步输出只有1024个数值。两者差了将近三个数量级。这个差距在训练时体现为显存占用和收敛速度在推理时体现为延迟——而自动驾驶对延迟的容忍度极低规划周期通常要求在几十毫秒级别。但算力只是表层原因。更深层的问题是像素空间里充满了对规划无用的信息。路面纹理、光照变化、树叶晃动这些内容在像素层面变化剧烈但对我该不该变道这个决策几乎没有影响。模型如果被迫去预测这些细节等于把容量浪费在了噪声上。压缩潜空间的作用就是把这些与决策无关的变化过滤掉只保留对预测未来状态真正有用的抽象特征。2.2 潜空间压缩的度怎么把握这里有个很微妙的工程问题潜空间压得太狠会丢掉规划需要的关键信息压得太松又退回到了像素空间的老问题。论文里没有给出一个放之四海皆准的压缩比例但从架构描述可以推断他们采用的是编码器-解码器结构中的瓶颈层作为潜空间瓶颈维度是经过实验调优的。我在实际做类似表示学习项目时的经验是这个维度通常需要根据任务复杂度来定驾驶场景下如果只做规划不做重建128到512维是比较常见的区间。注意压缩潜空间不是越小越好。判断标准应该是潜空间表示是否足以支撑下游规划任务而不是重建误差是否足够小。这两个指标经常是背离的。2.3 联合嵌入带来的表示一致性JEPA的核心是联合嵌入也就是把当前观测和未来观测分别编码到同一个潜空间里然后在这个空间里做预测。这个设计的好处是编码器被迫学习一种时间一致的表示——同一场景在不同时刻的编码应该落在潜空间中相近的位置而场景发生变化时编码的移动方向应该能反映变化的方向。这种性质对于规划非常关键因为规划本质上就是在潜空间里找一条从当前状态到目标状态的路径。如果编码器是分别对每一帧独立训练的那潜空间里可能根本没有这种几何结构预测器也就无从下手。联合嵌入相当于给潜空间加了一个隐式的约束相似的状态要靠近可预测的转移要有规律。这个约束不是通过损失函数硬加进去的而是通过架构设计自然涌现的。3. 目标条件规划零样本能力从哪来3.1 目标条件不是新概念但放在潜空间里玩法变了目标条件规划在强化学习里是个老思路不给模型指定具体动作而是给它一个目标状态让它自己找路径。经典做法是在状态空间里做规划比如用采样的方式找一条从当前状态到目标状态的轨迹。AD-E2E-JEPA的创新在于这个规划过程完全在压缩潜空间里完成而且不需要额外的规划器网络——预测器本身就充当了规划器的角色。具体来说模型接收当前观测和一个目标比如到达某个位置或保持某条车道编码器把两者都映射到潜空间然后预测器在潜空间里逐步推演每一步都朝着目标方向前进。因为整个过程在潜空间里做每一步的计算量都很小可以快速展开多步预测。这种在潜空间里做规划的思路比在像素空间里做模型预测控制要轻量得多。3.2 零样本的边界在哪里零样本这个词容易被过度解读。在这篇工作的语境下零样本指的是模型在面对训练时没见过的目标条件时仍然能生成合理的规划轨迹。比如训练时只见过直行和左转的目标测试时给一个右前方斜向切入的目标模型能不能处理。这依赖于潜空间表示的泛化能力——如果潜空间学得好不同目标在潜空间里的表示是有结构的模型可以通过插值或外推来应对新目标。但零样本不等于万能。如果测试时的场景在感知层面就超出了训练分布比如出现了训练时从未见过的障碍物类型那编码器可能根本无法把它映射到合理的潜空间位置后面的规划也就无从谈起。所以零样本能力是有边界的边界取决于表示学习的泛化范围而不是规划算法本身。3.3 目标条件与端到端训练的耦合这套架构是端到端训练的意味着编码器、预测器、规划器如果单独存在的话是一起优化的。这个设计选择有利有弊。好处是各模块之间的表示是对齐的不会出现编码器学到的特征规划器用不上的情况。坏处是训练信号需要从最终的规划损失反传到编码器梯度路径很长训练不稳定是常态。我在做类似端到端项目时的经验是这种长梯度路径的训练学习率调度和梯度裁剪策略比模型结构本身更影响最终效果。通常需要先用辅助任务比如重建或对比学习预训练编码器再端到端微调否则很容易陷入局部最优。论文里没有详细展开训练细节但从架构复杂度推断他们大概率也用了类似的预训练微调策略。4. 把架构拆开看编码、预测、规划各自在干什么4.1 编码器从高维观测到低维表示的压缩编码器的任务是把原始传感器输入可能是图像也可能是多模态融合后的特征压缩成一个低维向量。这个压缩过程不是简单的降维而是要保留对预测和规划有用的信息。在驾驶场景下有用的信息包括自车状态、周围车辆的位置和运动趋势、道路几何结构、交通信号状态等。无用的信息包括光照、天气的细微变化、路面纹理等。编码器的结构选择上论文没有明确说是CNN还是Transformer但从JEPA系列工作的一贯风格来看Vision Transformer的可能性更大因为它在捕捉长距离依赖上更有优势而驾驶场景中远处车辆和自车的交互恰恰需要这种能力。编码器的输出维度就是潜空间的维度这个维度决定了后续预测和规划的计算量。4.2 预测器在潜空间里推演未来预测器接收当前潜空间表示和一个动作或动作序列输出下一时刻的潜空间表示。这个过程可以迭代进行每一步都把上一步的输出作为下一步的输入从而在潜空间里展开多步预测。预测器的结构通常比编码器轻量因为它操作的是低维向量不需要处理高维观测的复杂性。这里有个关键设计预测器是否接收目标条件作为输入。在AD-E2E-JEPA里答案是肯定的。目标条件被编码后与当前状态表示一起输入预测器引导预测朝着目标方向进行。这种设计让预测器同时承担了预测未来和规划路径两个功能这也是为什么论文说不需要单独的规划器。4.3 规划输出从潜空间轨迹到控制信号预测器在潜空间里展开的轨迹最终需要转换成可执行的控制信号油门、刹车、转向。这个转换通常由一个轻量的解码器或策略头完成。因为潜空间表示已经高度抽象这个解码器的结构可以很简单甚至就是几层全连接网络。这里有个工程上的取舍解码器是单独训练还是和整个架构一起端到端训练。单独训练的好处是解耦潜空间表示可以独立评估一起训练的好处是端到端优化最终控制效果可能更好。论文采用的是端到端方式这意味着解码器的梯度也会反传到编码器和预测器进一步增加了训练复杂度。模块输入输出主要功能计算负担编码器原始观测潜空间表示压缩观测提取决策相关特征高预测器当前表示目标动作未来表示在潜空间推演未来状态低解码器潜空间轨迹控制信号将抽象轨迹转为可执行动作低5. 实测视角下的坑与经验这套架构落地会遇到什么5.1 潜空间坍塌表示学习的经典陷阱做JEPA类架构最容易踩的坑就是潜空间坍塌——编码器把所有输入都映射到同一个点或很小的区域这样预测器随便输出什么都行损失函数看起来很低但表示完全没有信息量。这个问题在对比学习里很常见在JEPA里同样存在。常见的应对手段包括使用停止梯度stop-gradient、引入方差正则项、或者用非对称的编码器结构。我在实际项目中遇到过类似情况训练损失降得很快但下游规划任务表现极差。排查后发现是潜空间维度太高而批次太小编码器找到了一个偷懒的解。后来把潜空间维度从512降到128同时增大批次问题才缓解。所以潜空间维度不是越大越好要和批次大小、任务复杂度匹配。5.2 目标条件的表示对齐目标条件和当前状态必须在同一个潜空间里表示否则预测器无法在两者之间做有意义的推演。这意味着编码器需要同时处理当前观测和目标描述两种输入并把它们映射到同一个空间。如果目标是用自然语言描述的比如在前方路口右转还需要一个文本编码器并且要保证文本编码和视觉编码在潜空间里是对齐的。这个对齐问题在实际操作中很棘手。文本和视觉是两种完全不同的模态强行映射到同一空间容易导致表示扭曲。常见的做法是用对比学习预训练一个联合嵌入空间再在这个空间里做规划。但对比学习本身需要大量配对数据而驾驶场景下的观测-目标配对数据获取成本很高。5.3 端到端训练的梯度问题前面提到过长梯度路径的问题这里展开说。端到端训练时规划损失比如与专家轨迹的偏差需要反传到编码器。这个梯度路径经过了解码器、预测器的多步展开、编码器非常长。梯度在反传过程中容易消失或爆炸导致编码器学不到有用的表示。实践中常用的缓解手段包括梯度裁剪、学习率预热、用辅助损失比如潜空间重建损失提供额外的梯度信号。论文里大概率也用了类似手段但具体配置没有公开。如果你要复现建议先从短序列预测开始逐步增加预测步长不要一上来就做长序列端到端训练。提示端到端训练不是必须的。如果训练不稳定可以先分阶段训练——先训编码器和预测器做潜空间预测再冻结它们训练解码器最后联合微调。这样虽然可能损失一点端到端优化的收益但训练稳定性会好很多。5.4 零样本泛化的评估陷阱评估零样本能力时很容易陷入在训练分布附近采样的陷阱。比如训练时见过左转和直行测试时给一个稍微偏左的直行这其实不算真正的零样本。真正的零样本应该是在目标空间里有明显外推的测试比如训练时只有离散的目标点测试时给连续空间里的新目标。另外零样本的成功率高度依赖于潜空间的结构。如果潜空间是各向同性的插值和外推都比较自然如果潜空间被训练数据扭曲得很厉害外推可能完全失效。评估时最好同时报告潜空间的几何性质比如不同目标表示之间的余弦相似度而不仅仅是最终的成功率。6. 这套思路能迁移到哪些场景AD-E2E-JEPA虽然是在驾驶场景下提出的但它的核心思路——压缩潜空间目标条件预测——具有很强的迁移性。任何需要从当前状态推演未来并做决策的场景都可以考虑这套框架。机器人操作是一个直接的应用场景。机械臂抓取任务中当前观测是摄像头图像目标是抓取某个物体规划过程就是在潜空间里推演机械臂的运动轨迹。因为潜空间压缩了视觉信息预测器可以快速展开多步比在像素空间做模型预测控制要高效得多。另一个场景是游戏AI。实时策略游戏里智能体需要预测对手的行动并规划自己的策略。如果能在潜空间里做这种预测和规划计算量会大幅降低实时性更好。而且游戏场景的数据获取成本比驾驶低得多训练和评估都更方便。甚至在一些非具身的决策场景里这套思路也有用武之地。比如资源调度当前状态是系统负载目标是某个性能指标规划过程就是在潜空间里推演不同调度策略的效果。虽然这里的动作不是物理控制信号但预测和规划的逻辑是相通的。迁移时需要注意的关键点是潜空间的压缩比例需要根据场景复杂度重新调优。驾驶场景的观测维度高、动态复杂需要较大的潜空间而一些低维场景可能用很小的潜空间就够了。另外目标条件的表示方式也需要根据场景调整驾驶场景的目标可能是位置或车道机器人场景的目标可能是物体位姿游戏场景的目标可能是资源状态这些都需要设计合适的编码方式。7. 复现这套架构时我会怎么搭环境如果你打算复现或借鉴这套架构环境搭建上有几个关键决策点。首先是框架选择PyTorch是目前做这类研究最主流的选择生态完善JEPA相关的开源实现也大多基于PyTorch。其次是训练硬件端到端训练对显存要求较高建议至少用单卡24G显存起步如果要做多步预测和较大批次可能需要多卡。数据方面驾驶场景的公开数据集不少但要注意版权和使用条款。如果只是做方法验证可以用一些轻量级的模拟环境生成数据这样迭代速度更快。模拟环境的好处是可以自由控制场景复杂度方便做消融实验。代码结构上我建议把编码器、预测器、解码器分成独立的模块各自有清晰的接口。这样在调试时可以先单独测试每个模块再联合调试。训练循环里要加入充分的日志记录特别是潜空间的统计量均值、方差、不同样本之间的相似度这些指标能帮你快速判断潜空间是否坍塌。超参数方面学习率通常需要比常规监督学习小一个量级因为端到端训练的梯度路径长大学习率容易导致不稳定。批次大小在显存允许范围内尽量大这对表示学习的质量影响很大。预测步长建议从短到长逐步增加不要一上来就做长序列预测。最后说一个我踩过的坑潜空间的维度不要设成2的幂次方就完事了要根据任务的实际复杂度来定。我见过有人直接设成256或512结果要么坍塌要么过拟合。正确的做法是先做一个简单的线性探测实验看看不同维度下潜空间表示对下游任务的区分度再确定最终维度。这个实验花不了多少时间但能省掉后面大量的调参工作。