先说一个反直觉的结论自动驾驶VLAVision-Language-Action视觉-语言-动作模型里的语言最重要的作用不是让车听懂人说话。语音助手那种“帮我导航去某地”只是最表层的功能甚至可以说只是顺带收益。VLA把语言放进来真正想做的是给感知、推理、控制这三个环节一个共享的符号系统让它们不再各说各话而是用同一种“语言”把整个驾驶决策链路串起来。我自己刚开始接触这个方向时也犯过迷糊总觉得端到端模型里塞一个语言模型纯属增加计算负担“视觉直接出轨迹”不是更简洁吗后来跟了几轮实验才明白语言在VLA里更像一个可校验的中间表示图像经过编码器变成语言化的场景描述交规和常识通过语言注入模型拿着这份“文字版路况”做推理最后输出的动作也可以token化成文字。每一条中间结果都能被工程团队直接读出来、审查、改错这是纯黑盒的视觉轨迹输出给不了的。这篇文章想聊透一件事语言在自动驾驶VLA中到底承担了哪些不可替代的角色哪些作用是锦上添花哪些是绕不开的核心。无论你是做算法研究、智驾系统集成还是负责数据闭环看完应该能对这个方向的架构取舍和落地边界有个清晰判断。1. 从“视觉直出轨迹”到“语言插一脚”VLA到底改变了什么1.1 传统端到端模型的“能开但说不清”熟悉自动驾驶的朋友都清楚早几年的端到端方案大致长这样多路摄像头输入经过一个视觉骨干网络提取特征在Birds Eye ViewBEV空间里做特征融合然后接一个轨迹回归头直接输出未来几秒的路径点和控制量。这个方案能跑通在很多场景下也能开得像模像样但它有一个极其让人头疼的问题中间过程完全不可读。模型为什么在这个路口选择急刹为什么在虚线处没有变道这些问题在纯视觉端到端链路里基本是回答不了的。你只能看到一个高维向量它可能同时编码了“前车刹车灯亮了”“右侧车道有空间”“距离路口只有50米”这些语义信息但这些信息没有一种方式被显式地抽取出来。我见过不少工程师面对一个bad case手里密密麻麻堆着特征图、注意力热力图最后还是靠肉眼反复比对视频帧来猜原因效率极低。这类模型的第二个问题更麻烦它难以引入规则性约束。交通规则、驾驶员习惯、红绿灯逻辑这些信息本质上带有很强的符号性和逻辑性。视觉特征向量是连续值想在其中“加一条交规”几乎无处下手。你总不能在一个1280维的向量里强行塞进一句“红灯必须停车”吧。1.2 VLA的标准数据流图像、文本、动作怎么串起来VLA的思路是把驾驶决策重新组织成一个多模态序列问题。这里我给出一个比较通用的数据流框架各家实现会有差异但核心思路一致感知输入端多路摄像头图像、车载传感器数据速度、转向角、加速度、历史轨迹。语言输入/指令端导航意图“前方路口右转”、用户指令“靠边停车”、系统内置的交规提示、道路结构描述“前方两车道并一车道”。感知语言化用一个视觉语言模型VLMVision-Language Model把当前场景翻译成结构化的文本描述例如“前车在本车道内以低速行驶车距约8米”“右前方斑马线上有行人正在过马路”。语言推理把场景描述、交规、指令拼成一个prompt由语言模型LLMLarge Language Model进行推理输出行为决策例如“保持本车道减速至12km/h准备在路口停止线前停车”。动作头行为决策不直接是方向盘角度而是先输出语义动作再映射到轨迹或控制量。关键点在于“语言”在输入、中间表示、输出三个阶段都出现——输入是人的自然语言指令中间是场景的语言化描述输出是语言化的动作描述。传统端到端网络里的隐藏特征空间被替换成了一个“人类可读、模型可算”的语义空间。1.3 一个典型VLA样本长什么样给你一个我实际见过的训练样本简例方便建立直观印象系统提示你是一名自动驾驶规划模型请根据场景描述和交规输出决策。 场景描述晴日城市主干道自车速度45km/h。前方30米有信号灯路口当前绿灯已亮2秒。本车道前方有一辆白色轿车速度约35km/h。左侧车道空闲。 交规提示接近路口时如允许车道偏移可提前变道以更高效通过。 导航意图路口直行。 模型输出直行加速至48km/h保持本车道注意前车刹车灯。模型输出的这一段文本再经过一个轻量映射层转换成“目标速度车道保持”的控制指令。整个链路中任何一步出了问题工程师都能在文本层面上直接看到这就是语言给工程带来的质变。2. 感知层的“翻译官”语言把传感器读数变成可计算的人话2.1 为什么要多此一举做“语言化”这是新手最容易质疑的地方视觉模型不是已经能提取特征了吗为什么非要把视觉特征转成文字特征向量信息量明明更大啊。这个质疑有道理但忽略了一个核心问题特征向量不可交叉复用。一个视觉模型提取的BEV特征只能送给它对应的轨迹回归头很难直接送给另一个语言模型使用。你想用语言模型做交规推理语言模型的输入空间是token序列视觉特征向量和token序列之间没有一个天然的对应关系。与其硬做一个跨模态投影层不如直接把视觉信息翻译成文本。文本是最通用的“中间货币”——语言模型能读工程师能读逻辑规则也能读。另外还有一层不太明显的原因语言化描述天然做了信息筛选和压缩。驾驶场景里每一帧图像都包含大量与决策无关的像素比如路旁的招牌、树叶的阴影、远处建筑物的纹理。视觉特征抽取器往往会保留一些多余的细节而语言化过程强制模型把“当前场景中与驾驶决策最相关的要素”挑出来形成一句话。这个筛选动作本身就很有价值。2.2 场景描述怎么写才能被下游用起来说起来简单实际写清楚很难。我见过很多团队的第一版场景描述是这样的“一辆车在前面路有点堵。”这种描述信息密度太低运到下游推理模型根本没法用。好的场景描述至少要满足三个要求有空间关系物体在自车前方、左前、右侧、还是后方距离大致是多少相对速度如何有对象类别和状态是行人、轿车、卡车、骑行的人对方是在静止、匀速还是正在横穿有交通参与者的意图线索前车刹车灯是否亮起行人的朝向是否有过街倾向对向车辆是否在打转向灯我倾向于把场景描述拆成几个固定字段而不是自由长文本。比如“行人/位置/状态/意图”为一组“机动车/位置/速度/信号状态”为一组“道路结构/车道数/路口类型”为一组。固定字段的好处是训练稳定模型知道该往哪些槽位填内容而不至于自由发挥写小作文。再加上一句自然语言的总结性描述比如“整体判断当前路况较复杂存在多个潜在冲突点”供推理模型做全局感知。2.3 语言化感知的精度代价与兜底措施诚实地说把高维视觉特征转成语言描述不可避免地会丢信息。点云的精确距离、物体运动的微小加速度、路面接缝等细节语言描述很容易损失。VLA目前的工程定位也普遍不打算取代底层安全冗余。我见过的主流做法是分层兜底VLA负责长尾场景理解、复杂交互决策和用户交互而AEB自动紧急制动、ESC等底层安全系统完全独立运行不依赖VLA的语言化感知。就算VLA对场景描述出现偏差底盘安全网也不会被绕过。如果做的是L3以下的人机共驾还可以加入一条规则当VLA的场景描述置信度低于某个阈值时强制降级把控制权交还给传统规划模块或者提醒驾驶员接管。语言化感知的存在不是替代底层感知而是让系统多了一种“高层次理解”的能力两者互补着用。3. 推理层的“草稿纸”语言承载交规、常识和博弈预测3.1 交规和常识是显式注入还是隐式学习纯视觉模型学转换道、让行等行为靠的是海量驾驶数据里的隐式统计规律。模型看了一百万个“前车减速准备靠边”的样本慢慢学会了跟车和减速。但这种方式有几个死穴低频交规学不到、罕见场景没数据、环境的微妙变化容易引起误判。VLA的一条关键优势是交规和常识可以以文本形式显式注入。你不需要让模型从一百万帧视频里悟出“路口不能加塞”你只需要在system prompt里写清楚。这让我想起一个比喻——纯端到端模型像是一个靠大量刷题学会解题的考生如果考试题正好是训练集里见过的题型TA能做得很好一旦题目出现新的搭配方式就很容易翻车。VLA相当于给了这个考生一本“交规手册常识手册”虽然TA也会刷题但更重要的是学会了在推理时翻这本书。当然交规并不全是死板的“红灯停、绿灯行”。很多场景依赖不成文的默契右转车要让直行非机动车、在拥堵路口不要停在斑马线上、前车刹车灯亮起时预留更多车距。这些“软规则”纯靠文本一样列不全所以实际方案多半是文本规则大量驾驶数据微调两者结合让模型在语言空间里既能遵循显式规则又能保留统计学习来的驾驶风格。3.2 思维链如何参与决策推理传统规划算法里决策通常是一次性的输入状态输出行为。VLA可以用类似思维链的方式把推理过程拆成多步。举例来说一个复杂的路口左转决策可以被拆成当前场景中有哪些交通参与者和冲突点按交规和路权排序谁在我之前通过选择一个时间窗口确定我何时进入路口规划进路口后的轨迹并预设备选的急停方案。每一步都对应一段自然语言输出。这种显式推理在两大方面给系统加分第一模型在推理中途如果发现规则冲突可以退回重来而不是直接生成最终轨迹第二工程师可以审查“它为什么选择这个时机左转”拆解每一步的逻辑是否合理。我在实际项目里发现这类思维链输出对调试作用极大——很多bad case根本不需要逐帧看视频直接看模型自己写出来的推理文字就能发现它漏看了一个交通参与者或是对某一条交规产生了错误理解这会让修复和验证的周期大幅缩短。3.3 用一个左转场景拆解推理过程用一个典型的无保护左转场景说明一下。所谓无保护左转就是路口没有专门的左转箭头灯需要在直行和对向车流中寻找空档穿过去。传统规则算法在这个场景下往往会写得非常保守要么固定在某个最小间隙阈值导致在拥堵路口长时间等待要么阈值太激进对向车流稍微露个空档就冲出去结果被逼停。VLA的处理思路是通读整个场景描述“对向直行车道车辆密度中等间隔约4到5秒绿化带遮挡部分视野过街行人已基本通过本方向斑马线。”加上交规提示“无保护左转不得阻碍对向直行车辆正常通行。”然后模型推理出结论“在本车到达路口时对向车流的下一辆车预计距离路口约35米以50km/h速度行驶预计6秒后到达。判断存在3秒可用窗口可在窗口内完成左转并持续观察对向车流。”有趣的是这种推理并不需要多么复杂的逻辑更像把“人类驾驶员心中默念的决策过程”搬进了模型。每一次“默念”都是一段可回放的文字这让我觉得VLA其实不是“无人驾驶”而是把驾驶决策过程抽出来给了人一个观察窗口。4. 交互层的“方向盘”自然语言指令如何变成驾驶动作4.1 指令理解的两个层次语言在VLA里的另一大作用是作为用户与车交互的入口。传统的车载导航把交互压缩成了几个离散按钮目的地、路线偏好、是否靠边。但真实用车场景中人的指令远比这灵活。指令理解需要分两个层次处理。第一层是“意图识别”乘客说“前面路口右拐后找个地方停”系统要理解“右拐”是导航级操作“找个地方停”是一个带有不确定性的停靠任务可能需要系统自己寻找路边空位。第二层是“参数提取”从这句话中提取出“右拐”“路口”“停靠”这些结构化字段映射到VLA的动作空间中。比较理想的做法是指令不是直接变成最终轨迹而是变成约束条件。它们像一块块模板叠加在默认驾驶行为之上。比如“开慢一点”约束的是目标速度范围“超车后回到原车道”约束的是车道的切换时序“离前面的车远一点”约束的是跟车距离下限。这种“指令即约束”的设计比试图让模型“听懂一句话就直接开车”要稳定得多因为约束是显式的、可检查的而一句话直接生成轨迹的写法很难验证是否真的理解了语义。4.2 从“请靠边停车”到轨迹约束我拿“请靠边停车”这个指令举例完整看一遍映射过程。用户说完这句话后VLA先确认前方路边是否有可停靠区域通过场景描述检查前方200米内是否有公交港湾、硬路肩、临时停车区。然后检查停车区域是否被占用和道路交通法规是否允许停靠。再把“靠边”翻译成具体的几何约束目标横向位置贴近路沿但要避开人行道和自行车道目标纵向位置避开路口、斑马线和消防栓等禁止停车位置。模型给出的决策输出是一条“语义轨迹”先打右转向灯在100米内逐步减速到10km/h微调方向盘贴近路沿在指定区域停下挂P挡。这条语义轨迹再交给底层执行模块细化成具体控制命令。在这整个逻辑里语言不是玄学而是一种比鼠标键盘更接近人类表达习惯的指令协议。4.3 指代与模糊表达怎么处理自然语言交互避不开指代和模糊表达。“停在那辆车旁边”里的“那辆车”在人类对话中要靠上下文或手势判断在车机里就只能靠视觉锚定。对VLA来说处理方式是把指代对象描述回传视觉模块比如“右侧车道那辆白色SUV”视觉模块根据颜色、车型、车道位置去找匹配目标。把语言锚定到视觉目标上做一次“找目标”的闭环。模糊表达更考验系统设计。我认为关键是把“模糊”转化为“可确认的选项”。当系统不确定“停在那辆车旁边”的“旁边”是左侧还是右侧、距离多远时最好的是生成一个候选停靠位置让用户确认或用一个高置信度的默认策略。哪怕采不准也比闷头执行一个错误理解要好得多。我见过一些项目在交互环节加了“语言反馈”机制——系统把自己的理解说给人听“好的我会停在那辆白色SUV前方的空位。”用户听过觉得没问题系统再执行。这一步看起来笨拙却极大地降低了指令误解带来的安全事故概率。5. 工程侧的“探针”语言让黑盒模型第一次可以“被问责”5.1 决策解释不再是事后编故事传统端到端模型不是不能做可解释性而是解释起来非常痛苦。你可以用注意力图、用特征可视化、用输入梯度来分析模型关注了什么。但这些东西的正交性太差——梯度图鬼影一样注意力图又有很多层真正能定位到“模型是因为看到前车刹车灯才减速”的画面很少能干净地呈现出来。实际工作中算法工程师面对bad case往往只能靠猜。VLA让“问责”变得简单因为决策链路里多了一段可读的中间推理文本。查看bad case时第一步就是打开这个case对应的决策文本——场景描述里是否捕捉到了关键目标、交规推导是否正确、行为决策是否合理一眼就能看清。如果把模型比作一个转动的黑箱语言模型就是那个主动写工作日志的环节。不管日志内容是“真”还是“假”至少有一条可供追溯的线索。而这个追溯能力对自动驾驶这种安全攸关系统而言是落地的基本门槛。5.2 用语言标签给数据闭环做审计数据闭环是另一个语言价值密度极高的领域。一辆测试车跑一天会产生大量视频片段人工判定哪些片段“有意思”是一件极其费力的事。传统的做法是靠规则触发“是否触发了AEB”“方向盘转角是否超过阈值”“与前车距离是否小于阈值”。这些规则能捕捉异常但抓不到“语义级”的场景。用VLM给数据自动打语言标签后检索能力完全不同。你可以直接写一条文本查询“找一个雨天傍晚前车突然变道自车急刹同时右侧有电动车通过的片段。”系统用语言编码器把这条查询跟视频片段的语言标签做匹配直接返回该场景的数据。这个能力让“我要找某类场景”从一个具体的SQL查询任务变成一句大白话请求。我做了几年数据闭环工作负责任地讲这个改进带来的效率提升比上游模型涨两个点还值得高兴。5.3 从一条case反推模型失效的完整路径构建一个模型失效定位路径大概长这样发现测试车辆在某个路口行为异常展示当时的场景描述文本查判定为“描述文本漏掉了关键参与者”再看场景描述生成器是哪一层出了问题可能是视觉定位精度不够导致漏检也可能是语言模型生成描述时错误丢弃了低置信度目标如果描述文本正确但推理文本出错说明是推理模型对某条交规理解有误或下决策时权重偏向不对——这归因链路就能锁定到模型子模块。没有语言层时这类归因通常只能粗暴地归为“视觉特征有问题”或者“网络需要更多数据”方向太过模糊。有了语言层归因可以做得很细甚至能把问题精确到某个词——比如模型总是忽略“左侧”这个词。这种精细度在传统端到端架构里几乎不可想象。6. 泛化侧的“通用插头”语言如何带来跨场景、跨平台能力6.1 从感知特征空间到符号空间的跳跃纯视觉自动驾驶模型普遍有个痛点不同车型、不同摄像头布局、不同传感器配置视觉特征分布差异很大。A车的8路摄像头特征搬到B车的6路摄像头特征空间里基本需要重新训练。因为特征空间绑定设备。语言空间在一定程度上绕开这个问题。我可以用同一个VLA模型在不同车型上共用一套语言描述接口。无论传感器如何差异最后进模型的是“前方有车距离约10米正在减速”这种文字描述而不是某一种特定的图像特征。感知模块负责把各种传感器读数翻译成标准文本VLA只消费标准文本。这层抽象让模型在跨平台时多了很强的复用能力。当然汽车场景对实时性要求极高这条路还不够成熟但它确实是VLA能跨平台的重要想象空间。6.2 把互联网规模的知识搬进驾驶场景通用大语言模型学习了海量的人类知识这些知识里包含大量与驾驶相关的常识——比如“雨天路滑制动距离变长”“货车盲区大不要长时间在货车右侧并行”“学校附近常有儿童突然冲出”。传统驾驶数据里很难覆盖所有这些常识即使有数据也不知道要用多少样本才能让模型“悟”出这些规则。在VLA里这些常识天然存在于预训练语言模型的权重中只需要微调就能注入驾驶场景。重点在于自动驾驶难以靠堆数据穷尽所有场景但通用常识可以在语言层面迁移。我从实际效果看这类“常识迁移”对长尾场景的帮助是明显且不可替代的。6.3 统一动作词表与多模态指令对齐VLA还需要处理“语言指令”和“连续动作控制”之间的对齐。比较常见的做法是先定义一套统一动作词表比如“加速”“减速”“跟车”“变道”“超车”“靠边”“停车”“让行”等。这些动作词不会直接作为最终控制量但它们能把连续控制空间离散成一个更贴近人类理解的语义层——模型决策时先选动作动作头再输出具体的控制参数。这样设计的额外好处是动作标签天然可解释、可统计。你可以统计这一周测试里模型在哪个交叉路口高频输出“让行”就能定位出哪里存在博弈瓶颈。而且统一动作词表为多模态指令提供了锚点——用户说“慢一点”指令对齐模块把“慢一点”映射到动作词表里的“减速”再加上一个幅度参数。整个过程干净利落不会出现跑道抽象向量里随便改一个控制值的情况。7. 语言不是银弹VLA落地中必须正视的边界7.1 信息瓶颈描述再细也丢信息语言化感知会丢弃毫米波雷达里精确到厘米级的距离信息也会丢失像素级的障碍物边缘轮廓。对L4级别的全无人驾驶来说这种信息丢弃是不可接受的。因此我坚持认为VLA目前更适合做L2或者L3级别的人机共驾它的价值在“理解”和“交互”而不是替代传统规控做的硬安全保障。工程上还有一个常见的缓解手段是混合表示关键目标、关键事件的语义信息走语言通道底层连续控制的关键数值速度、距离、转角直接走向量通道两者在决策头做一个特征拼接。这既保住了语言的可解释性又不至于把所有连续信息都塞进一句话里。7.2 幻觉问题与过度解释风险大语言模型的幻觉问题是VLA落地无法回避的痛点。模型可能“看到”场景里本来不存在的行人也可能在推理时脑补一个并不成立的前因“因为前车刹车灯亮起所以自车需要减速”而实际上前车根本不在本车道。语言描述越流畅这种错误越隐蔽。我在实际调试中见过最头痛的一类问题就是模型一本正经地给出了错误的场景描述认为前方路口有大面积施工而画面上只是路障残影。这类幻觉处理通常要结合场景置信度评分、交叉验证多个视觉子模块的输出以及在训练时加入对抗样本。不要把语言当作最终事实语言只是模型内部状态的一条表达通道。如果模型内部状态错了表达得再流畅也是错的。7.3 评测体系容易被“语言指标”带偏VLA模型的指标设计很容易被“正确率”或“描述准确率”带偏——比如场景描述在语义上正确但车辆仍然可能撞上护栏。反过来模型做了一次保守但安全的刹车却被判为“错误理解场景”而扣分。语言概率和驾驶安全性不一定是严格正相关。所以VLA评测至少需要两套体系并行语义层指标查模型的理解质量行为安全指标查模型的最终驾驶效果。前者看描述准确度、决策合理性后者看碰撞率、接管率、舒适度、交规通过率。两套指标不一致时以行为安全指标为准因为最终车上路是冲着安全去的不是冲着“描述得像人话”去的。这种“双轨评测”听起来基础实际做起来相当考验团队尤其当语义层分数上涨但安全分数下降时要敢于定音“语义层有幻觉安全分数是根本标准”。7.4 算力、延迟和数据成本最后泼一盆冷水VLA的计算量确实比传统单网络高不止一个量级。视觉语言模型的推理本来就吃算力加上思维链多步推理延迟很容易超过几百毫秒。对一辆以120km/h行驶的车每100毫秒就多过30多米延迟是致命问题。目前业界的优化思路集中在模型蒸馏、量化、视觉token压缩、剪枝等技术上也有团队干脆把语言模型只用于“慢决策”场景比如复杂路口的博弈判断高速公路巡航仍然走传统规控不让语言模型参与每一个控制周期。数据成本也不容忽视。VLA的训练不再只是需要“图像轨迹”的配对而是需要“图像语言描述轨迹/动作标签”的三元组数据。语言标签不能全靠人工成本太高主流做法是用更强的通用VLM自动标注再用人工抽检和修正。即便如此整个数据链路的复杂度也比传统数据标注高了不少团队没有一定积累贸然上手容易翻车。写在最后的实操体会我自己在项目里跑过一段VLA原型最大的体会是别把VLA当成一个“更聪明的端到端模型”它有它自己的边界和适配位。它最舒服的位置是处理传统规控最不擅长的长尾理解、人机交互和跨场景泛化而最不合适的是替代底层安全机制和对延迟极其敏感的高速控制回路。如果现在有团队准备开始做VLA探索我个人会推荐一个相对保守的路径先在数据闭环里引入语言标签与检索用语言解释能力切入可解释性工程再做一个小范围的交互指令Demo验证语言在推理与交互层面的增益最后才考虑把VLA接入实际控制链路而且要保留传统模块兜底。这样一步一步来看到的坑会少很多。说回最初的问题——“自动驾驶VLA中的语言到底起什么作用”。我的回答是语言是贯穿感知、推理、交互、解释这条决策链路的共同语义底座它让自动驾驶不再是一堆只能看输入输出的黑盒函数而是一个可以阅读、可以对话、可以被问责的系统。哪怕现在它还有很多局限这个方向打开的可能性远比“让车听懂人话”这几个字广阔得多。