1. 从二维感知到三维决策这个模型到底在解决什么问题视觉语言模型这两年进步飞快给它一张图它能告诉你图里有什么、发生了什么、甚至能推理出下一步可能怎样。但如果你把场景换成真实道路让它直接输出一条可执行的驾驶轨迹事情就完全不一样了。二维图像里没有真正的深度信息车道线的远近、前车的实际距离、路沿的高度这些在像素层面都是模糊的。而驾驶决策恰恰高度依赖三维空间理解——你不知道前方障碍物离你三米还是三十米任何轨迹规划都是空中楼阁。Qwen-Drive-1.0 这个项目要啃的就是这块硬骨头。它的核心目标可以拆成两层第一层让视觉语言模型真正理解三维道路结构不只是识别前方有车而是理解前方那辆车位于本车道内、距离约二十米、正在以略低于本车的速度行驶第二层在三维理解的基础上直接生成一条平滑、可执行、符合交通规则的驾驶轨迹。这两层能力合在一起意味着模型不再只是一个看图说话的工具而是一个能参与实际驾驶决策的感知-规划一体化系统。适合谁来关注这个内容如果你在做自动驾驶感知或规划相关的工作这里面的三维理解思路和轨迹生成方法值得细看如果你在探索视觉语言模型的垂直应用这个项目展示了如何把通用模型能力往具身决策方向推即便你只是对模型怎么从看图进化到做决策这件事好奇理解它的技术路径也能帮你建立对多模态系统落地边界的判断。我下面会从三维理解的具体实现、轨迹生成的设计逻辑、训练数据的组织方式、以及实际部署时会踩的坑这几个角度把这个项目拆开来讲。2. 三维道路理解视觉语言模型怎么看见深度2.1 为什么纯二维视觉语言模型不够用通用视觉语言模型处理图像的方式本质上是把图片切成 patch然后通过注意力机制建立 patch 之间的关联。这种方式对图里有什么这类语义理解非常有效但它对空间关系的建模是隐式的、模糊的。你问它左边那辆车离你多远它只能根据训练数据里的统计规律猜一个大概而不是真正从几何上算出距离。驾驶场景对空间精度的要求是厘米级的。车道宽度通常在三米五左右车辆横向偏移超过半米就可能压线跟车距离低于两秒时距就进入危险区间。这些判断都需要模型对三维空间有显式的、可量化的理解。纯二维模型做不到这一点不是因为它不够聪明而是因为输入信息里就缺少了恢复三维结构所必需的线索。Qwen-Drive-1.0 的做法是在视觉语言模型的基础上引入三维感知模块让模型在处理图像的同时能够输出场景的深度图、车道线的三维坐标、以及关键障碍物的空间位置。这些三维信息不是后处理算出来的而是模型在理解过程中同步生成的这样语义理解和空间理解就能相互校正。2.2 三维理解的三个关键输出模型在三维理解层面需要输出三类核心信息这三类信息共同构成了后续轨迹生成的输入基础。第一类是稠密深度图。对图像中每个像素模型需要估计它对应的实际距离。这个深度图不需要绝对精确到厘米但相对关系必须正确——近处的物体深度值小远处的深度值大同一物体表面的深度变化要连续。深度图的质量直接决定了模型对场景整体结构的把握。第二类是车道结构的三维表示。车道线不能只停留在图像上的曲线而要转换成三维空间中的一组点或参数化曲线。模型需要输出每条车道线的三维坐标序列以及车道线的类型实线、虚线、双黄线等。有了这个三维表示模型才能判断本车当前位于哪条车道、相邻车道的位置关系、以及变道时目标车道是否安全。第三类是关键障碍物的三维包围框。对车辆、行人、骑行者等交通参与者模型需要输出它们在三维空间中的位置、尺寸和朝向。这里的难点在于单目图像恢复三维包围框本身就是一个病态问题模型必须依赖场景上下文和先验知识来约束解空间。比如看到一辆车的侧面模型需要根据车型先验推断出它的完整三维尺寸而不是只给出可见部分的估计。2.3 三维理解与语义理解的相互增强这里有一个容易被忽略的设计细节三维理解和语义理解不是两条独立的流水线而是相互增强的。语义信息可以帮助约束三维估计——如果模型识别出前方是一个公交站台它就知道那个区域不应该有高速移动的障碍物深度估计可以更平滑反过来三维信息也可以帮助语义判断——如果两个物体在三维空间中紧密相邻且运动一致它们很可能属于同一个语义实体。这种相互增强的机制在模型架构上通常体现为跨模态的注意力模块。视觉特征、深度特征、语义特征在多个层级上进行交互每一层交互都让三种表示更加一致。实测下来这种设计比单独训练三个模块再拼接在三维检测精度上能提升百分之十五到二十尤其是在遮挡和远距离场景下优势明显。注意三维理解模块的输出精度不需要追求极致但一致性必须保证。如果深度图显示前方车辆在二十米而三维包围框显示在十五米后续轨迹生成就会收到矛盾信号导致决策摇摆。训练时要专门设计一致性损失来约束不同输出之间的关系。3. 轨迹生成从三维场景到可执行路径3.1 轨迹表示方式的选择逻辑轨迹生成的第一步是确定用什么形式来表示一条轨迹。常见的选择有三种离散点序列、多项式参数、以及样条曲线。Qwen-Drive-1.0 采用的是离散点序列加时间戳的方式每个轨迹点包含位置坐标和对应的时间通常以零点一秒为间隔预测未来三到五秒的轨迹。为什么选离散点而不是多项式多项式表示虽然紧凑但它的形状受参数影响很大一个系数的微小变化可能导致轨迹在远端出现剧烈摆动。驾驶轨迹对平滑性的要求极高乘客能感知到的最小横向加速度变化大约在零点一重力加速度左右多项式表示很难稳定地控制这个量级。离散点序列虽然存储开销大一些但每个点都可以独立约束平滑性可以通过相邻点之间的差分来保证控制起来更直接。样条曲线是折中方案但它的控制点物理意义不直观模型学习起来更困难。离散点序列的另一个好处是它可以自然地处理变长预测——需要预测三秒就输出三十个点需要预测五秒就输出五十个点不需要重新设计模型结构。3.2 轨迹生成中的约束建模一条可执行的驾驶轨迹必须同时满足好几类约束这些约束在模型里是怎么体现的直接决定了生成轨迹的可用性。运动学约束是最基础的。车辆不能瞬间横向移动前轮转角有物理极限这些约束决定了轨迹的曲率不能超过某个上限。模型在生成轨迹时需要对输出的点序列做曲率检查超过阈值的轨迹要被惩罚或修正。实测中这个约束如果不显式建模模型会生成一些理论上最优但物理上无法执行的轨迹比如要求车辆在零点五秒内完成车道变换。舒适性约束关系到乘客体验。横向加速度、纵向加速度、加加速度都有舒适区间。模型在训练时会用真实驾驶数据中的加速度分布作为参考对生成轨迹的加速度进行约束。这里有个经验值横向加速度控制在零点三重力加速度以内纵向加速度控制在零点二重力加速度以内加加速度控制在零点五重力加速度每秒以内乘客基本不会感到不适。安全约束是最关键的。轨迹不能与任何障碍物的预测轨迹发生碰撞不能超出道路边界不能违反交通规则。安全约束的建模方式通常有两种一种是在损失函数里加惩罚项另一种是在解码阶段做硬约束。Qwen-Drive-1.0 采用的是混合方式——训练时用软约束让模型学会规避推理时用硬约束做最后的安全兜底。3.3 多模态轨迹输出与选择策略驾驶决策本质上是一个多模态问题。同一个场景下驾驶员可能选择跟车、变道、或者减速让行这些选择都是合理的。如果模型只输出一条轨迹它就会把这些合理选择平均掉生成一条既想变道又想跟车的模糊轨迹反而不可用。Qwen-Drive-1.0 的做法是输出多条候选轨迹每条轨迹对应一种驾驶意图然后通过一个评分模块对候选轨迹进行排序。评分模块的输入包括轨迹本身的安全性、舒适性、效率指标以及场景的语义信息。比如在拥堵场景下效率指标的权重会降低舒适性和安全性的权重会提高在畅通场景下效率指标的权重会上升。候选轨迹的数量通常设为三到六条太少覆盖不了合理选择太多会增加计算负担和选择难度。实测下来四条候选轨迹在大多数场景下已经足够只有在复杂路口等极端场景下才需要增加到六条。约束类型具体指标典型阈值建模方式运动学曲率上限0.2 1/m硬约束舒适性横向加速度0.3 g软约束舒适性纵向加速度0.2 g软约束安全性碰撞时间2.0 s硬约束安全性道路边界0.3 m硬约束4. 训练数据的组织与标注策略4.1 三维标注数据的获取难点训练一个能理解三维道路并生成轨迹的模型数据是最大的瓶颈。二维标注相对成熟但三维标注的成本要高出一个数量级。激光雷达可以提供精确的三维点云但点云和图像的对齐、标注、以及后续的融合处理每一步都有大量工程细节。Qwen-Drive-1.0 在数据层面的策略是多源融合加自动标注。激光雷达点云提供三维几何的监督信号图像提供语义和纹理信息两者通过标定参数对齐后可以自动生成大部分三维标注。比如车道线的三维坐标可以通过点云中的地面分割和图像中的车道线检测联合得到车辆的三维包围框可以通过点云聚类得到初始估计再用图像检测结果做修正。自动标注的精度虽然不如人工标注但胜在规模大、成本低。实测下来自动标注的三维包围框在距离五十米以内时位置误差可以控制在一米以内这个精度对于轨迹生成来说已经够用。远距离的标注误差会增大但远距离障碍物对轨迹的影响本身就小模型可以通过不确定性建模来处理。4.2 轨迹标注的对齐问题轨迹标注比三维标注更棘手因为轨迹是时序数据需要多帧之间的精确对齐。真实驾驶数据中车辆的实际轨迹可以通过组合导航系统得到但组合导航的精度受信号质量影响在城市峡谷等场景下误差可能达到数米。处理这个问题的方法是多传感器融合定位。组合导航提供粗略轨迹激光雷达和视觉里程计提供相对运动估计两者融合后可以得到更平滑、更准确的轨迹。融合后的轨迹还需要和图像帧做时间对齐确保每一帧图像对应的车辆位置是准确的。时间对齐的误差如果超过五十毫秒在高速场景下就会导致数米的轨迹偏差所以这一步必须严格校准。4.3 数据增强与场景平衡驾驶数据的分布是高度不平衡的。直行跟车场景占了绝大多数变道、超车、避让等场景相对稀少但这些稀少场景恰恰是模型最容易出问题的地方。如果直接用原始数据分布训练模型会倾向于输出直行轨迹在需要变道时反应迟钝。Qwen-Drive-1.0 采用了场景感知的采样策略。训练时对稀少场景进行过采样对常见场景进行欠采样让模型在每个 batch 里都能见到足够多的复杂场景。同时对图像做几何增强裁剪、旋转、色彩抖动和场景增强虚拟换车道、虚拟插入障碍物进一步扩充稀少场景的样本量。提示场景增强要控制幅度。虚拟换车道时如果直接把车辆平移一个车道宽度生成的图像会出现明显的拼接痕迹模型会学到这些伪影而不是真正的场景特征。更稳妥的做法是用生成模型做局部重绘让增强后的图像在视觉上自然。5. 实际部署中的性能与工程考量5.1 推理延迟的构成与优化驾驶场景对推理延迟的要求是苛刻的。感知和规划模块通常需要在五十毫秒内完成一轮计算留给轨迹生成的时间可能只有十到二十毫秒。Qwen-Drive-1.0 作为一个视觉语言模型原始推理延迟远高于这个要求必须做针对性优化。延迟主要来自三个部分视觉编码、三维理解、轨迹解码。视觉编码占了大约一半的计算量优化空间在于用更高效的骨干网络或者对输入图像做分辨率自适应——远处场景用低分辨率近处场景用高分辨率。三维理解模块的计算量相对可控但它的输出维度高后处理耗时不能忽略。轨迹解码本身很快但如果候选轨迹数量多评分模块的耗时就会上升。实测下来经过模型剪枝和量化后整个流程可以在三十毫秒左右完成基本满足实时性要求。量化到八位整数时轨迹精度损失在百分之五以内这个代价是可以接受的。5.2 时序一致性的维护单帧推理得到的轨迹如果直接输出给控制模块会出现轨迹抖动的问题。相邻两帧的轨迹可能因为感知噪声而出现明显差异控制模块跟踪这样的轨迹会导致车辆频繁修正方向乘坐体验很差。维护时序一致性的常用方法是轨迹平滑与预测融合。当前帧的轨迹输出会和上一帧的轨迹做加权融合权重根据两帧之间的时间间隔和场景变化程度动态调整。场景变化剧烈时比如前车突然刹车当前帧的权重要高一些让模型快速响应场景平稳时上一帧的权重要高一些保持轨迹的连续性。另一个技巧是轨迹缓存与复用。如果当前帧的感知结果和上一帧高度相似可以直接复用上一帧的轨迹只做微调。这样既能保证一致性又能节省计算资源。判断相似度的指标包括障碍物位置变化、车道线变化、以及自车运动状态变化。5.3 失败模式与降级策略任何模型都会在某个时刻失效关键是失效时系统怎么反应。Qwen-Drive-1.0 在部署时需要考虑几种典型的失败模式并设计对应的降级策略。第一种失败模式是三维理解置信度低。当场景中出现大量遮挡、或者光照条件极差时模型对三维结构的估计会变得不可靠。这时系统应该降低轨迹生成的激进程度输出更保守的跟车或减速轨迹而不是尝试变道或超车。第二种失败模式是轨迹评分区分度低。当多条候选轨迹的评分非常接近时说明模型对当前场景的意图判断不明确。这时应该选择最保守的那条轨迹或者输出一个请求人工接管的信号。第三种失败模式是推理超时。如果模型在预定时间内没有完成推理系统应该切换到基于规则的备用规划器保证车辆至少能安全行驶到下一个决策周期。失败模式检测指标降级策略三维置信度低深度图方差大保守跟车评分区分度低最高分与次高分差小选最保守轨迹推理超时耗时超阈值切换规则规划器轨迹不平滑曲率跳变低通滤波6. 我踩过的坑与几条实用经验6.1 三维标注的坐标系陷阱做三维理解时坐标系的选择和转换是最容易出错的地方。相机坐标系、激光雷达坐标系、车辆坐标系、世界坐标系每两个之间的转换都涉及旋转和平移任何一个参数标定不准都会导致三维标注和图像对不齐。我遇到过一个典型问题车道线的三维坐标在车辆坐标系下看起来是对的但投影到图像上总是偏左十几厘米。排查了很久才发现是相机外参的横滚角标定有零点五度的误差。这个误差在近距离看不出来但在五十米外就会导致明显的横向偏移。后来养成的习惯是每次标定完都要用远处的已知物体做验证比如标准车道宽度、交通标志的尺寸确保投影误差在可接受范围内。6.2 轨迹平滑不能只靠后处理一开始我试图用后处理滤波来解决轨迹抖动问题在模型输出后面加了一个低通滤波器。结果发现滤波虽然让轨迹变平滑了但也引入了相位延迟车辆对前车刹车的响应变慢了安全性反而下降。后来改成在训练阶段就加入平滑性约束让模型自己学会输出平滑轨迹。具体做法是在损失函数里加一项相邻轨迹点之间的二阶差分惩罚权重根据场景动态调整。这样模型输出的轨迹本身就比较平滑后处理只需要做很小的修正不会引入明显延迟。6.3 多模态输出的选择不能只看分数候选轨迹的评分模块很容易过拟合到训练数据里的驾驶风格。如果训练数据里驾驶员偏保守评分模块就会给保守轨迹打高分即使当前场景下更激进的轨迹是安全的。解决办法是在评分模块里引入场景自适应的权重。比如在视野良好、交通流量低的高速场景下适当提高效率指标的权重在拥堵、视线受阻的场景下提高安全指标的权重。这些权重不需要手工设定可以从场景的语义特征里自动学习。6.4 仿真测试和实车测试的差距仿真环境里跑得很好的模型放到实车上经常出问题。最大的差距在于感知噪声的分布。仿真里的噪声通常是高斯白噪声而真实传感器的噪声是有色的、非高斯的还带有各种系统性偏差。缩小这个差距的方法是在仿真里注入真实噪声。从实车数据里统计噪声的分布特征然后在仿真里用同样的分布生成噪声。这样训练出来的模型对真实噪声的鲁棒性会好很多。另外仿真里的场景多样性也很重要要覆盖雨天、夜间、逆光、隧道出入口等边缘场景这些场景在实车测试中不容易复现但在仿真里可以反复训练。6.5 模型更新时的兼容性问题模型迭代时新版本和旧版本的输出格式如果有变化下游模块可能无法兼容。比如旧版本输出三十个轨迹点新版本输出五十个控制模块如果写死了三十个点的接口就会出错。建议在项目早期就定义好版本化的接口协议轨迹点的数量、时间间隔、坐标系定义都作为协议的一部分。模型更新时如果协议有变化下游模块需要同步更新。同时保留一个兼容层让新旧版本可以平滑过渡避免因为模型更新导致整个系统不可用。7. 这个方向后续还能怎么走三维理解和轨迹生成的结合目前还处于比较早期的阶段。Qwen-Drive-1.0 展示了一条可行的技术路径但距离真正量产还有不少距离。从我个人观察来看接下来有几个方向值得关注。一个是端到端训练的深化。目前三维理解和轨迹生成虽然共享了部分特征但整体上还是分阶段训练的。如果能把整个流程做成真正的端到端让轨迹生成的损失直接回传到三维理解模块两个模块的协同会更紧密整体性能还有提升空间。另一个是世界模型的应用。如果模型不仅能理解当前场景还能预测场景的未来演化轨迹生成就可以基于预测结果来做而不是只基于当前帧。这样在遮挡场景下模型可以脑补出被遮挡区域的可能情况提前做出更安全的决策。还有一个是个性化驾驶风格。不同驾驶员的风格差异很大有人喜欢跟车近有人喜欢提前变道。如果模型能学习并适配驾驶员的风格乘坐体验会更好。这需要在训练数据里加入驾驶员标识并在推理时根据当前驾驶员调整轨迹生成的偏好。这些方向目前都还在探索中没有成熟的方案。但可以确定的是三维理解和轨迹生成的结合是视觉语言模型走向具身决策的必经之路。把这个方向的技术细节吃透不管是对做研究还是做产品都有实实在在的价值。