AD: Autonomous DrivingFSDFull Self-DrivingE2EEnd to End简单的说FSD的数据源端主要来自云端训练大模型教师模型 Teacher Model 仿真环境 Dojo 超算集群车上面跑的是轻量化学生模型部署模型。完整流程确实是实车捕捉失效场景→场景复现仿真→云端调优模型→重新训练→OTA 下发回车辆验证。但是调试不是只针对数据源端闭环是「云端训练环境」与「海量分布式实车车队」双向迭代。下面按照 FSD V12/V14 端到端架构像素→执行器完整梳理数据流、调试闭环、故障修复全链路同时区分传统模块化智驾 vs 特斯拉端到端 FSD两种调试思路一、FSD 车端完整链路传感器输入 → 车辆执行输出FSD V12 之后抛弃传统感知 / 预测 / 决策 / 规划显式模块统一为端到端策略网络 Policy Network输入层 8 路摄像头原始图像 IMU 车身状态 导航路线指令 神经网络主干4D 主干、占用网络、时序 Transformer 内部隐式完成环境感知、动态目标预测、行为决策、轨迹生成一体化 传统方案感知→预测→【决策模块 (FSM / 行为树)】→运动规划→控制 FSD 端到端没有人工手写的状态机决策代码决策蕴含在网络权重中重大区别 网络输出 期望方向盘转角、油门、刹车指令直接下发车辆底盘控制 底盘执行层 ESP、转向电机执行指令同时持续回传车辆真实运动反馈。 重点区分你之前关心的【决策模块】 传统模块化智驾决策 独立软件层多用 FSM / 行为树实现离散行为选择 FSD 端到端不存在独立显式决策代码决策能力被神经网络隐式编码在权重中无法直接修改逻辑分支只能依靠数据重训练调优。二、整套调试闭环数据飞轮 / Data Engine先给完整闭环链条对应你说的场景复现、仿真、调优、强化训练量产实车影子模式采集失效场景 → 数据上云清洗标注 → 仿真环境高精度场景复现 → 云端Dojo训练 / 微调模型 → 仿真大规模回归测试 → Beta 车队灰度推送验证 → 正式 OTA 全量下发FSD数据闭环流程图1第一步实车如何捕捉问题场景影子模式 Shadow Mode核心采集手段每一台特斯拉都是分布式采集节点即使驾驶员手动开车FSD 策略网络在后台静默并行推理影子运行不控制车辆 触发上传条件 ① FSD 开启时人类接管 ② 网络输出决策与人类驾驶员操作出现明显分歧 ③ AEB 险触发、危险逼近、识别异常等故障 case。 触发后打包前后若干秒完整原始数据流多路视频、IMU、CAN 信号、导航信息上传云端。 你设想的“母机产生训练数据” 不完全准确 训练数据主体来自全球百万真实车辆仿真只负责扩充长尾极端场景不是主要数据源。2第二步云端 —— 故障场景重建场景复现工程师拿到失效 clip 之后做两件事开环回放原始视频喂给旧版模型复现错误行为复现 bug 三维场景重建利用多目视觉重建动态 3D 世界导入神经世界模拟器 World Sim NN。3第三步仿真环境的作用你说的数据仿真特斯拉仿真分为两类用途回归测试 所有历史故障场景构成测试库每次新版本模型训练完成自动批量跑一遍所有 case检验旧 bug 会不会复现。 场景泛化扩充强化训练素材 基于真实事故场景批量生成变体 改变车速、行人位置、光照、来车时机生成上千种相似边缘工况 解决真实世界罕见场景数量不足的问题。 关键仿真生成的数据作为补充训练集主力训练仍然依靠真实道路采集片段。世界模型闭环仿真架构4第四步云端 Dojo 教师模型调优与训练教师大模型Teacher Model运行在 Dojo 超算参数量大算力不受车端限制 训练、微调、强化学习全部在这套云端集群完成 训练完成后使用模型蒸馏把教师模型能力压缩、量化得到轻量化学生模型适配车端 FSD 芯片推理。调试的流程找到问题场景 → 仿真扩充样本 → 送入 Dojo 集群重新训练 / 微调网络权重云端调优。重大差异传统 FSM / 规则式决策出问题 → 工程师直接修改代码逻辑、调整阈值、修改状态跳转条件FSD 端到端没有代码逻辑可以直接改不能手动写 “遇到鬼探头必须减速”。修复方式只能增加大量同类正确样本让网络在训练中自发学到正确行为。5第五步验证下发形成闭环仿真大规模测试通过 → 推送给内部测试车队、FSD Beta 用户灰度验证 道路实测确认失效场景被修复没有引入新 bug OTA 推送新版本模型权重到所有车辆 新模型上路继续通过影子模式采集新问题循环往复。三、关键概念辨析解答你几个潜在疑问1.云端数据源是不是调试唯一对象不是。云端 Dojo 集群是训练载体但有效性最终必须落地到真实车辆验证。只在仿真 / 云端调好的模型很容易出现仿真到现实的 gap现实域差距必须实车闭环校验。2. 和传统模块化智驾调试方式巨大区别方案 A传统模块化感知 预测 【FSM 决策】 规划 控制故障调试路径实车出问题 → 定位模块感知漏检 / 决策状态跳转逻辑错误 / 规划避障参数不合理→ 人工修改代码、规则、阈值、状态机转移条件 → 编译新版本 → 仿真 实车测试。决策模块FSM可以人工直接修改逻辑不需要大规模重训练。方案 BFSD 端到端神经网络故障调试路径实车出问题 → 收集 case → 扩充同类样本 → 送入超算重新训练神经网络权重 → 蒸馏得到新车端模型 → 验证 OTA。不存在独立状态机决策代码决策行为完全由数据驱动。3. 强化学习在这套流程里扮演什么角色特斯拉主模型训练主体是模仿学习行为克隆学习人类驾驶员强化学习主要在仿真环境内使用在虚拟世界不断试错优化长期驾驶收益安全、舒适、通行效率极少直接用 RL 训练主网络真实世界无法做危险试错。四、一句话浓缩总结FSD 车端由多路传感器输入端到端神经网络直接输出车辆控制指令完成驾驶整套迭代依靠分布式实车影子模式采集失效场景上传云端完成三维场景重建与仿真泛化其数据源端本质是以 Dojo 超算为载体的云端训练集群负责模型微调、模仿 / 强化学习训练训练后的大模型经过蒸馏轻量化部署至车载芯片整套链路构成「实车采集→场景复现仿真→云端模型调优训练→灰度验证→OTA 下发」的数据闭环。传统带独立决策模块FSM / 行为树的自动驾驶可以人工修改决策逻辑而 FSD 端到端架构无显式决策代码所有驾驶行为、决策策略只能依靠数据重训练完成优化。