这两年我最大的感受是“大模型”在智能驾驶圈子里已经不再是一个宣传词而是实打实的技术底座。身边做感知的同事在研究BEV和占用网络做规控的开始讨论端到端和VLA做数据的整天琢磨怎么用生成式AI造场景——整条技术链路的工作方式都在被重写。这篇文章想聊的不是某个模型在榜单上刷了多少分而是大模型到底改写了智能驾驶的哪些环节、这些改动背后的逻辑是什么、以及量产落地时那些论文里不会写的问题。无论你是刚入行的算法工程师还是正在做技术选型的管理者这篇梳理应该能帮你建立起一张相对完整的作战地图。1. 为什么说这是一次“全链路”革新而不是某个环节的升级1.1 传统智驾链路的结构性瓶颈传统智驾系统的架构大家都很熟悉感知负责检测、分割、跟踪预测模块负责推测其他交通参与者的意图规划模块综合所有信息生成轨迹最后交给控制执行。这个“分模块级联”的架构在过去十几年是成立的因为它让每个模块都能独立开发、独立验证出了问题也好定位。但走到今天它积累了三个非常明显的结构性瓶颈而且这三个瓶颈不是靠某个模块内部优化能解决的。第一个瓶颈是误差逐级放大。感知模块漏检了一个远处的三轮车预测模块就拿不到这个输入规划模块以为前方一片空旷于是保持车速继续往前开等系统真正发现异常时已经只能急刹了。每一个模块单独看都“还行”但串起来之后体验就很差。第二个瓶颈是长尾场景靠人肉堆规则。每修一个corner case就加一条规则规则之间还会互相打架。最典型的是拥堵路口的加塞场景一条规则说“保持安全车距”另一条规则说“防止旁车加塞”两条规则在车流密集时反复冲突调参的人最崩溃。第三个瓶颈是信息损耗。检测框、车道线这类中间表征把原始传感器信息压缩得只剩骨架路面纹理、对方车辆转向灯这种弱信号根本进不到规划端而这些信息恰恰是很多复杂场景里决策的关键。1.2 大模型带来的三个范式变化大模型之所以叫“革新”而不是“升级”是因为它同时改变了三个底层范式。第一个变化是从“小模型加规则”变成“大模型加数据”。过去特征表达靠手工设计一个检测器要精心调anchor、调NMS阈值现在视觉基础模型直接从海量数据里学通用表征语义理解和几何理解放在同一个网络里下游任务只需要微调。第二个变化是从“级联优化”变成“联合优化”。感知、预测、规划可以放进同一个网络里反向传播损失函数直接对准最终驾驶目标。这个变化的意义不只是少几个模块接口而是让系统真正有机会学到“为了安全绕行感知应该更关注什么”这类跨环节的能力。第三个变化是从“人工定义场景”变成“模型生成场景”。数据闭环从被动等待corner case变成主动用生成式AI制造corner case这个问题后面我会专门展开。这三个变化是互相咬合的感知没有统一表征端到端就没有可微的条件数据引擎没有生成能力端到端就喂不饱。所以观察智驾技术栈必须站在全链路的角度看单看任何一个环节都会误判。2. 感知链路从“后处理拼装”到“BEV占用网络”的统一表征2.1 BEVTransformer如何解决多相机融合的老问题传统多相机3D检测的痛点做过量产的朋友一定深有体会。每个相机独立检测再在后处理阶段做融合和跟踪同一个目标经常被两个相机同时检出要靠NMS抑制单目测距本质上是“猜深度”误差随距离非线性放大车辆跨相机切换时跟踪ID很容易断目标轨迹一跳一跳的。BEVTransformer的思路是从根本上换了一种问题定义所有相机的图像特征先分别提取出来然后统一投射到车身坐标系下的鸟瞰图网格上。每个BEV网格单元作为一个query通过cross-attention去各相机的图像特征里“查找”这个位置到底有什么。空间几何关系由注意力机制自动学习不再依赖精确的外参标定和后处理对齐。时间维度也能融合——上一帧的BEV特征做空间变换后与当前帧融合相当于模型自带短期记忆这对遮挡目标的连续感知帮助很大。用个生活化的类比以前是多路摄像头各写各的“目击报告”最后拿报告拼现场图现在所有摄像头共同维护一个“沙盘”大家把看到的东西直接摆到沙盘上。因为大家都基于同一个坐标系交流拼错、重复这种问题天然就少。2.2 占用网络模型开始理解“空间”而不仅是“物体”检测框有一个天然缺陷——它假设世界是由“可枚举的物体类别”组成的。但真实路面上海量障碍物不属于任何预设类别异形施工车、倾倒的树干、掉落的纸箱、悬空的水马。这些目标检测框要么漏掉要么硬给一个错误的类别标签下游规划就不知道该怎么处理。占用网络把感知问题重新定义为“哪个体素被占据了”然后可选地给每个体素加上语义类别。模型输出的是一张三维占用栅格规划模块可以直接把它转化成代价地图来用。这里的关键价值不是“多了一个输出头”而是感知从“认物”进化成“懂空间”——模型不只回答“这是什么”还回答“这里能不能走”。工程上需要踩清楚几个点首先是分辨率和感知范围的权衡一个100米乘80米、高度8米的空间如果用0.4米的体素分辨率输出体素数量非常惊人输出头设计和稀疏化处理必须从一开始就规划其次是标签来源目前最靠谱的方式是用激光点云投影生成监督信号纯视觉自监督的占用网络质量还不够稳定第三是时序一致性单帧占用预测噪声很大不加时序融合的话下游规控会被“闪烁出现的障碍物”逼疯这一条我踩过很深的坑。2.3 感知模型化的工程代价换网络结构只是第一步真正的工程代价往往被低估。训练数据层面BEV监督需要多相机时序同步、联合标定、真值生成数据管线比重建一次前复杂很多。训练资源层面一个BEV感知模型的训练成本比原来的2D检测高一个数量级而且收敛行为对学习率、初始化、数据配比非常敏感经常出现“GPU上指标很好、一上车端就掉点”的情况。部署环节是重灾区。车端推理框架对BEV中的attention算子支持往往不完善量化后注意力分布容易漂移导致模型在实车上表现和离线评测差一大截。我的经验是结构设计阶段就要把车端编译的同学拉进来让模型结构迁就推理引擎的算子能力而不是等训练完再丢给部署团队去“变魔术”。3. 决策与规划链路端到端、VLA与LLM推理的三条路线3.1 端到端规划从“分模块级联”到“全栈可微”端到端规划想解决的核心问题就是第一节说的误差累积。做法是把感知、预测、规划放在同一个优化目标下让误差在整条链路上共同回传而不是各管一段。目前实现上大体分两个流派。一个流派保留中间监督信号——依然输出检测框、占用栅格、目标轨迹预测只不过这些输出和最终规划轨迹在同一个网络里联合训练。好处是每个环节仍然有可解释的输出调试和兜底都方便量产上更容易接受。另一个流派更激进直接从传感器原始输入到轨迹点或者控制指令中间不保留任何语义输出数据和算力的门槛高得多可解释性也更难。训练范式目前以模仿学习为主用大量人类驾驶数据学习“在什么场景下应该怎么开”。扩散模型在轨迹生成这个任务上潜力很大因为驾驶行为天然是多模态的——同样是汇入主路有人选择加速抢在货车前有人选择减速跟在后面扩散模型能比单峰回归更好地建模这种多样性生成更自然的轨迹分布。3.2 VLA模型语言为什么能帮车做决策VLA视觉-语言-动作模型是近两年很受关注的方向。基本结构是视觉编码器负责把场景转成视觉特征语言模型负责场景理解和推理最后通过一个动作头输出驾驶决策。有人觉得语言在这里是个噱头但实际它解决了三个很现实的问题。第一是指令理解。用户说“停到那个蓝色牌子前面”“从第三个出口出环岛”语言能让车理解自然语言里的目标位置这比让用户在地图上戳点自然得多。第二是复杂场景的语义推理。“前方有一辆逆行的三轮车正在往我这边变道”这件事检测框表达不了但语言可以。第三是开放世界的先验知识。模型就算没见过某种异形器械也能借助语言模型训练时积累的常识推断“这东西大概率是施工设备、不会突然启动”从而采取保守策略。VLA在封闭园区、港口、低速物流这些场景已经有不少试点因为速度慢、场景边界清晰、出事后果可控。在高速开放道路上语言模型的幻觉问题还很难接受车不能因为模型“一本正经地胡说八道”就跟着犯傻。3.3 大模型规划的现实约束延迟、幻觉与安全兜底纯LLM直接输出方向盘转角现阶段量产基本不可能原因非常朴素延迟上一个LLM推理动辄几百毫秒而控制回路要求的是几十毫秒级别可靠性上红绿灯、车道线这类安全关键信息容不得半点猜测可验证性上神经网络输出无法做形式化的安全证明。所以我认为接下来几年最现实的落地形态是混合架构大模型做“上层参谋”负责判断该不该变道、为什么需要减速这类策略性问题轻量级模型或者传统控制器做“底层执行”负责具体的轨迹生成和横纵向控制安全层独立于这条AI决策链一旦检测到异常就强制接管。翻译成人话就是大模型拿主意但保险丝始终握在执行层和安全层手里。技术路线中间表征主要优势现阶段最大瓶颈分模块增强检测框/轨迹预测可解释、易兜底误差逐级累积全栈端到端统一隐特征联合优化、上限高数据需求大、可解释性弱VLA模型语言视觉特征指令理解、常识推理幻觉风险、算力开销LLM作为决策参考场景语义描述策略灵活、可交互延迟高只能做上层建议4. 数据链路生成式AI让数据闭环第一次真正“转起来”4.1 场景挖掘用大模型在亿公里回传里“捞针”数据闭环的瓶颈从来不是数据总量不够而是“值得学习的片段太少”。车队一天回传几十万公里数据其中真正需要精细标注的corner case可能只有几百个比例低到万分之一。以前靠规则筛选比如急刹、大曲率转弯、出现特定目标类型后来升级成学习式筛选用模型的不确定性、预测误差、感知loss作为筛子。现在更高效的手段是让多模态大模型直接做语义检索——你给它一句话“找被加塞且对方没打灯的片段”它能在海量回传视频里快速捞出来。检索成本比写规则低一个量级而且新增需求只需改一句话不用重新设计规则集这对团队迭代速度的提升是质变。4.2 自动标注与生成式仿真把数据成本打下来标注成本直接决定了大模型能不能规模化。当前主流是teacher模型先生成初始标注人工只做校验和修正。BEV感知模型本身就可以充当标注器生成的伪标签配合时序平滑质量已经能超过一部分人工标注。一个视觉团队的产能瓶颈慢慢从“标注人力”转移到“抽样策略和校验流程设计”上。生成式仿真则是另一个大杀器。用NeRF或者3D高斯溅射重建真实路口就能支持任意视角渲染再叠加天气、光照、纹理编辑可以批量制造“雨夜路面反光加对向远光”“黄昏逆光下的横穿行人”这类难组合场景。交通流模拟也在升级——用学习模型驱动虚拟车辆主动制造“集体加塞”“连续鬼探头”这类高压力交互让被测系统在仿真里反复脱层皮而不是等到路上出事才发现问题。4.3 评测体系的升级开环指标如何误导人这是我认为数据链路里最容易被忽视、却影响最大的部分。开环指标比如检测mAP、预测ADE跟最终驾驶体验的相关性其实远没有想象中高。有时候感知mAP涨了两个点规划体验毫无变化反过来某个预测指标变差了但规划端因为不确定性建模更准实际接管率反而下降。更靠谱的评估维度有三个第一是闭环仿真整条链路在仿真环境里跑完整的驾驶任务统计接管率、碰撞率、舒适性指标第二是影子模式新模型在量产车上旁路运行、只输出不执行和真实人类驾驶员在同一段路上对比第三是基于干预的指标比如平均干预里程以及每次干预的原因分类——是感知漏了、预测偏了还是规划太怂这个归因结果才是算法团队真正该盯的看板。5. 量产落地算力、安全与可解释性的平衡术5.1 车端部署的硬约束论文里的大模型动辄十亿百亿参数车端可没有这么奢侈的环境。我梳理了一张容易踩坑的约束表约束项典型量级对大模型的影响可用算力几十到几百TOPSINT8决定参数量上限attention是否需要稀疏化端到端延迟感知到规划需控制在百毫秒内必须蒸馏小模型、做算子融合内存带宽几十GB/s级别BEV/占用网络的中间特征极易塞满带宽功耗整车几十瓦预算限制芯片选型和模型并行策略量产上最成熟的套路是“先训大、再蒸馏小”。大teacher模型负责刷能力上限小student模型通过logit蒸馏、特征蒸馏、轨迹蒸馏把能力压到车端跑得动的规模。这里要特别提醒蒸馏不是拿小模型拟合大模型的输出就完事关键是让小模型学到teacher的不确定性估计和长尾行为否则小模型只会学到“平均驾驶风格”一到corner case就露馅。5.2 安全兜底与影子模式大模型上车之后安全体系不能还是“死守规则”那一套。我个人建议三道防线并行。第一道是实时监控网络专门检测输入分布漂移、模型置信度崩坏、感知一致性异常——一句话让系统“知道自己不知道”。第二道是功能安全冗余独立于AI决策链的紧急制动、车道保持这类功能保留着大模型真“发疯”了它们能物理兜底。第三道是影子模式迭代任何新模型先跑大量真实路测的影子数据积累“如果当时交给它开”的表现跟人类司机对比之后再决定能不能扩大权限。5.3 可解释性拿什么说服监管和用户用户和监管不会因为“大模型很聪明”就接受黑盒开车。工程上现在能落地的做法有三件套一是决策日志记录每个关键决策对应的场景证据——触发了哪些目标、哪种占位、哪条规则二是置信度出口加分布外检测模型判断自己把握不足时主动降级或者请求接管三是场景级回归测试每个版本上线前跑固定场景库保证老场景不退步、新场景有实打实的改进。数据合规和信息安全是底座工程训练数据怎么采集、怎么匿名化、怎么存储流转每一环都要在架构设计阶段就预留能力而不是上线前突击补课。6. 给想上车的团队几条实在建议如果是一支正在做量产智驾的团队我不建议一上来就搞全栈端到端。更稳的路径是先选一个能从数据闭环直接获益的环节切开比如数据挖掘或者感知换代把“数据—模型—评测”的正循环先转起来积累经验和组织能力再逐步往规划端渗透。第二个建议是尽早建立闭环评测体系。开环指标只配做初筛最终取舍必须看闭环仿真里的接管率和干预原因分类。没有这套东西团队很容易被某个指标的大幅上涨带偏白白消耗几个月算力。第三把数据工程师放到核心位置。大模型时代算法团队的一半产能应该花在数据流水线上而不是反复改loss函数。谁能更高效地把海量数据变成有效训练样本谁就掌握了迭代速度。最后对纯LLM控制保持敬畏。混合架构是未来几年最现实的路——先让大模型当“副驾驶参谋”在仿真和影子模式里积累可信度再一步步扩大它的决策权限。我在实际项目中反复体会到一句话大模型不是银弹但它是放大器你的数据质量、工程能力和评测体系全都会被它放大十倍。底座没打好就上模型等于在豆腐上盖高楼底座扎实了大模型带来的体验跃迁是传统架构怎么追都追不上的。