1. 从“端到端”到“延迟规划”V2X自动驾驶的范式演进最近和几个做自动驾驶感知和规控的朋友聊天大家不约而同地提到了一个词“Defer to Plan”。这听起来像是一个战术决策但在V2X车路协同自动驾驶的语境下它代表了一种全新的、更具适应性的多智能体融合架构。传统的端到端自动驾驶模型无论是单车还是V2X都试图用一个庞大的神经网络从原始传感器数据直接映射到控制指令。这种“黑箱”模式在封闭场景下或许表现惊艳但一旦面对真实世界中车、路、人、云多智能体交互的复杂性和不确定性其鲁棒性、可解释性和安全性就备受挑战。“Defer to Plan”的核心思想恰恰是对这种“一步到位”范式的反思与进化。它不再追求一个能处理所有情况的“超级大脑”而是将决策过程分层、延迟。简单来说模型先利用多智能体车端、路侧、云端融合的感知信息生成一个对未来交通参与者状态和场景演变的“预测分布”然后将具体的、最终的轨迹规划决策“延迟”到更下游、更贴近执行的模块。这个下游模块可以是一个传统的、基于规则的规划器也可以是一个轻量级的、专注于局部最优的强化学习模型。这种架构的精妙之处在于它让上游的融合网络专注于自己最擅长的事——全面、准确地理解世界而把“如何行动”这个高风险决策交给更可靠、更可验证的模块。为什么这种“延迟”在V2X场景下尤为重要因为V2X引入了路侧单元、边缘云、其他网联车辆等外部智能体信息源爆炸式增长但信息的质量、时延、可靠性却千差万别。一个鲁莽的、基于不完美融合信息的直接控制输出可能导致灾难性后果。“Defer to Plan”架构为系统提供了一个“缓冲区”和“校验层”允许系统在获得更丰富的上下文信息后再做出最终规划这本质上是将“感知-融合”的确定性与“规划-决策”的灵活性解耦从而实现了自适应。2. “自适应多智能体融合”的技术内核与实现挑战“自适应多智能体融合”是“Defer to Plan”架构得以成立的前提。这里的“多智能体”不仅指自动驾驶车本身更涵盖了V2X网络中的所有信息提供者本车的摄像头、激光雷达、毫米波雷达路侧摄像头、激光雷达、雷视一体机邻近车辆共享的感知结果以及边缘云下发的全局交通态势信息。所谓“自适应”是指融合模型能够动态评估并加权这些异构、异步、可能冲突的信息源而不是进行简单的平均或拼接。2.1 信息表征的统一与时空对齐这是多智能体融合的第一道难关。不同智能体的传感器坐标系、时间戳、数据格式完全不同。例如路侧相机提供的是图像坐标系下的2D检测框而车端激光雷达提供的是3D点云。实现自适应融合首先需要一套强大的中间表征。目前主流的方法是采用鸟瞰图作为统一的表征空间。无论是车端还是路侧的感知结果都通过坐标转换投影到同一个以自车为中心的BEV网格上。这个过程涉及精确的外参标定、时间戳同步和运动补偿。对于V2X场景路侧单元与自车的相对位姿可能随时间变化如车辆行驶且通信存在数十到数百毫秒的延迟因此时空对齐算法必须足够鲁棒能够处理异步和带有噪声的位姿信息。一种实用的做法是引入一个轻量级的在线标定模块利用共享的特征点如车道线、交通标志对路侧-车端的坐标变换进行微调。注意BEV表征虽然直观但将3D信息压缩到2D平面会损失高度维度的信息对于立交桥、隧道口等复杂结构场景需要特别处理。实践中我们常采用多层BEV或保留高度通道的稀疏体素表征来缓解这个问题。2.2 置信度评估与自适应权重生成这是“自适应”的核心。系统必须为每一个来自外部智能体的感知结果如一个目标框、一条车道线分配合适的置信度权重。这个权重不是静态的而是动态计算的依赖于多种因素源可靠性历史某个路侧单元在过去一段时间内其感知结果与车端感知或其他可靠源的一致性如何可以维护一个简单的滑动窗口统计量如平均交并比IoU作为基础信任分。数据本身的质量对于图像检测可以是检测框的分数、目标尺寸对于点云可以是点云的密度、反射强度分布。一个被部分遮挡的行人其检测置信度自然应该降低。时空一致性当前帧的感知结果是否与上一帧的跟踪轨迹平滑衔接一个在连续帧间位置跳变巨大的目标其当前帧的置信度应被惩罚。场景上下文在十字路口来自正前方路侧相机的信息权重可能高于侧方在高速公路上前向毫米波雷达的远程目标信息权重可能更高。在工程实现上通常会设计一个轻量级的神经网络模块如一个小型MLP或注意力网络以上述多维度特征为输入输出每个信息源的动态权重。这些权重随后用于加权融合例如在BEV网格上进行加权求和。关键是要确保这个权重生成模块本身是高效且可解释的避免引入新的“黑箱”。2.3 通信约束下的融合策略V2X通信如C-V2X DSRC的带宽和延迟是硬约束。我们不可能在每时每刻传输所有传感器的原始数据。因此自适应融合必须在“传输什么”和“如何融合”上做文章。一种有效的策略是分层传输与融合Level 1对象级传输经过处理的感知结果目标列表、属性这是最节省带宽的方式也是当前V2X应用的主流。融合在对象级进行挑战在于如何关联来自不同源的对同一物体的描述。Level 2特征级传输中间层的特征图如BEV特征。这比原始数据量小比对象级信息更丰富支持更紧密的融合但对带宽和计算同步要求更高。Level 3混合级自适应选择。对于关键区域如自车路径前方或低置信度区域请求特征级数据对于非关键区域仅接收对象级数据。这需要一套请求-响应机制和带宽分配策略。在我们的实际路测中我们发现单纯的对象级融合在目标密集交叉的场景下如无保护左转由于关联歧义性高容易出错。而引入局部的、关键区域的稀疏特征级融合能显著提升对遮挡目标的感知能力且对通信负载的增加在可控范围内。3. “Defer to Plan”架构的工程化落地路径理解了自适应融合我们再来看“Defer to Plan”如何落地。其架构通常包含三个核心阶段多智能体感知融合、多模态未来预测、以及最终的延迟规划。3.1 阶段一生成密集的场景理解表征这一阶段的目标是利用自适应融合后的多源信息构建一个丰富、稠密的场景表征。这个表征不再是简单的目标列表而应该包含静态元素高精度车道线、路沿、可行驶区域、交通标志位置。这些信息可以来自高精地图也可以来自路侧单元的实时感知。动态元素所有交通参与者的当前位置、速度、航向角以及更重要的是——他们的行为意图概率分布。例如前方车辆有70%概率直行30%概率变道。交互关系车辆之间的交互关系跟驰、并道、礼让、车辆与交通灯的关系等。这可以通过图神经网络对场景中的实体进行建模来获得。这个密集表征是整个系统的“世界模型”它被传递给下一阶段而不是直接用于控制。我们通常将其编码为一个时空栅格Spatio-Temporal Grid或一个图结构Scene Graph作为后续预测模块的输入。3.2 阶段二多模态未来轨迹预测这是“延迟”决策的关键依据。规划模块需要知道未来可能发生什么才能决定现在该怎么走。因此融合网络需要输出一个对未来场景的多模态预测。所谓“多模态”是指对于同一个场景可能存在多种合理的未来演变。例如前方行人可能停下也可能继续过马路旁车可能加速切入也可能保持原车道。现代预测模型如基于条件变分自编码器CVAE或扩散模型Diffusion Model可以很好地完成这个任务。它们以第一阶段的场景表征为条件生成一系列未来可能发生的轨迹序列每个交通参与者多条轨迹并为每条轨迹赋予一个概率。这个预测的输出不是一个单一的、确定性的未来而是一个未来状态的“概率云图”。这个“概率云图”就是交给规划模块的“考卷”。规划器的任务是在这个充满不确定性的未来中找出一条对于自车而言最安全、最舒适、最有效率的路径。3.3 阶段三基于不确定性感知的规划器传统的规控模块如基于优化、搜索的规划器可以直接接入。但为了充分利用上游提供的丰富不确定性信息规划器需要进行增强成为“不确定性感知的规划器”。其核心思想是将上游预测的多模态概率转化为对规划代价函数的影响。例如风险场构建将每个预测轨迹的概率转化为一个时空风险密度函数。高概率发生的冲突轨迹会在对应的时空位置产生高的“风险代价”。** contingency planning**规划器不再只规划一条轨迹而是规划一个主轨迹和若干个应急轨迹。当监测到某个高概率的风险模态正在变为现实时系统可以平滑切换到对应的应急轨迹上。基于采样的规划在规划时从预测的“概率云图”中采样大量可能的未来场景在每个采样场景下计算最优轨迹最后对所有轨迹进行综合评估如考虑最坏情况、期望情况得到最终规划。这种做法的最大优势是可解释性和可验证性。我们可以清晰地分析规划器选择某条路径是因为它成功避开了哪些高风险的预测模态。这满足了功能安全如ISO 26262对决策模块的需求也为系统调试和优化提供了明确的方向。4. 实战中的挑战、调优与部署考量将“Defer to Plan with Adaptive Fusion”从论文搬到实车我们踩过不少坑也总结了一些不写进论文的实操经验。4.1 数据闭环与仿真测试的构建这个系统的训练极度依赖高质量、多智能体的协同标注数据。但获取覆盖各种复杂场景的真实V2X数据成本极高。我们的策略是“仿真为主实车为辅”高保真协同仿真使用CARLA、LGSVL等仿真平台模拟包含多车、路侧传感器可模拟不同安装高度、角度、分辨率、V2X通信延迟与丢包的场景。在仿真中我们可以轻松获取所有物体的真值包括被遮挡的部分这是训练融合模块置信度评估器的宝贵数据。构建“教师模型”在仿真中我们可以用一个“全知视角”的模型拥有所有智能体的原始数据来生成融合结果和预测作为“教师信号”训练一个只能收到部分、带噪声V2X信息的“学生模型”。这是实现自适应融合能力的关键。实车数据用于关键场景挖掘与验证实车路测聚焦于收集仿真难以建模的“Corner Case”如特殊的天气效应雷达在暴雨中的噪点、诡异的交通参与者行为、复杂的通信干扰等。这些数据用于对仿真训练的模型进行微调和压力测试。4.2 系统延迟的分解与优化“延迟规划”并不意味着系统可以变慢。整个感知-融合-预测-规划的流水线必须在百毫秒内完成。我们需要对每个环节进行极致的延迟分析环节主要耗时优化策略数据接收与对齐通信延迟 解码时间 时空变换计算使用更高效的通信协议如PC5直连预计算坐标变换表使用硬件加速GPU进行插值和对齐。自适应融合推理神经网络前向传播模型轻量化知识蒸馏、剪枝、量化使用TensorRT等推理引擎优化设计更高效的网络结构如使用深度可分离卷积。多模态预测采样与生成过程限制预测的模态数量如最多6条使用更高效的解码器考虑使用单模态预测不确定性估计作为简化方案。规划求解优化迭代或搜索使用 warm-start 技术用上一帧的解初始化当前帧减少规划 horizon时间长度采用分层规划先粗后精。在我们的部署中我们将融合和预测网络部署在车端高性能计算平台如NVIDIA Orin而规划器则作为一个独立的、高优先级的实时进程运行。通过严格的流水线设计和内存复用我们将端到端延迟控制在了120ms以内满足了城市道路驾驶的需求。4.3 融合失效的降级处理再好的融合算法也可能失效比如路侧单元断电、通信被恶意干扰、所有外部信息突然丢失。系统必须设计健全的降级机制。我们的策略是设计一个“融合健康度”监控器实时评估融合结果的质量指标如信息源的数量是否低于阈值关键区域如前方50米的感知覆盖率是否下降不同信息源之间的冲突是否突然加剧一旦健康度低于阈值系统立即切换至“单车智能”模式。此时“Defer to Plan”架构依然有效只是其上游的“多智能体融合”模块退化为纯车端传感器融合模块预测模块基于更有限的信息进行工作。规划器会相应地采取更保守的策略如降低车速、增大跟车距离。关键在于整个系统的架构不需要改变只是输入信息的质量和维度发生了变化这体现了该架构的另一个优势——对输入信息质量的鲁棒性。从最初的端到端“黑箱”狂热到如今对“Defer to Plan”这类可解释、可验证、自适应架构的回归反映了自动驾驶行业正在从技术演示走向量产落地的务实转变。V2X不是简单的数据堆叠而是通过智能的融合与合理的架构设计将外部信息转化为可被安全利用的“增强感知”。这条路依然很长通信标准的统一、路侧基础设施的规模化部署、跨车厂的数据共享协议都是巨大的挑战。但就技术路径而言将复杂的决策问题进行解耦让融合更自适应让规划在充分认知不确定性后再行动无疑是朝着更安全、更可靠的网联自动驾驶迈出的坚实一步。在实际项目中最大的体会是永远要为“不完美”和“不确定”设计系统因为那才是真实世界的常态。