“端到端”这个概念在智驾圈已经吵了好几年但大家聊的基本都是四个轮子的车。最近某海洋大学筹把一套VLA端到端自动驾驶系统装到了无人船上在真实海域跑完了验证还打出了“海洋具身智能全球首发”的旗号。不少朋友跑来问我这到底是真突破还是概念包装我今天把这套方案的来龙去脉、技术细节、工程落地里容易翻车的地方从头到尾拆一遍。这篇文章适合三类人看一是做无人船、海洋机器人、水下设备的硬件和算法工程师二是关注具身智能赛道、想看看“大模型上船”到底怎么落地的AI从业者三是做海洋观测、港口巡检、海上风电运维等场景的甲方和管理者。你不需要先懂无人船只需要有一点AI和自动驾驶的基础跟着我的思路走就能明白。1. 为什么海洋装备突然谈“具身智能”1.1 传统无人船方案的三个天花板过去十几年国内无人船的主流方案是“模块化”感知模块用激光雷达、摄像头、毫米波雷达做目标检测规划模块写一堆规则和采样算法控制模块用PID或者MPC跟轨迹。这个架构本身没有错但放到真实海域里跑问题一个接一个。首先是链路长。感知、融合、预测、规划、控制分成好几个独立模块每个模块都要单独调参、单独标定。传感器数据在模块间传递的时候坐标转换、时间戳对齐这些小问题能活活耗掉几个月的联调时间。真到了海上摄像头因为盐雾起雾、激光雷达因为浪涌造成的船体倾斜点云变形任何一个模块退化整条链路的性能都会断崖式下滑。其次是规则写不完。海上的情况比道路更“开放”浮标、渔网、渔船、货轮、礁石、浅滩、水下养殖设施甚至还有漂过来的集装箱。传统规则只能覆盖预设场景遇到没见过的组合比如“渔船旁边带着几条小舢板又拖着浮标”规则就容易失效。就算效果不好你很难定位是感知的锅还是规划的锅。第三是数据利用率低。模块化方案里每个模块的标注成本极高雷达点云要标图像要标融合后的目标也要标。采集了1000多公里的数据真正能用来提升系统能力的大概只有两三成。端到端模型恰恰相反它直接吃原始传感器数据输出控制指令中间不需要逐级标注数据和系统的能力增长是直接挂钩的。1.2 VLA不是在船上放个“大喇叭”而是把“眼睛、小脑、手脚”统一起来很多人听到VLA第一反应是“把一个大语言模型塞进船里”。这个理解不太准确。VLA的全称是Vision-Language-Action视觉-语言-动作它的核心不是“会说话”而是把“看懂环境、理解任务、输出动作”这三件事揉进同一个模型。地面自动驾驶圈的VLA模型输入是摄像头画面、激光雷达点云再加上导航指令或者路况描述输出的是方向盘转角、油门刹车开度。到了船上输入变成了多个视角的摄像头画面、雷达目标投影、海图语义、任务指令输出的是目标航向、航速、左右推进器的推力差。你可以把它理解成一个“会开船的多模态大模型”。这里要特别强调一点端到端不意味着“一个模型从头管到尾”中间完全可以有结构化输出。比如说模型先输出“前方500米有渔船占用航道南侧预计10秒后到达会遇点”再输出“建议减速到3节并向右偏航15度”。这种“中间带语义”的端到端比纯黑盒端到端更可控也更容易定位问题。1.3 “海洋具身智能”的定义边界具身智能这个概念在地面机器人上已经讲了很多年核心是“AI要有身体能感知物理世界并且能在物理世界里做动作”。海洋具身智能就是把这套逻辑从陆地搬到海上。但海洋环境和陆地有本质区别。陆地机器人面对的是相对规则的几何世界有路沿、有车道线、有交通规则海面上没有这些东西船体本身还在一个六自由度的动态环境里——横摇、纵摇、垂荡一直存在。海洋具身智能的“身体”也不只是一条船还包括船上的机械臂、水下探针、水质传感器、声学设备。模型真正的能力边界在于它能不能根据当前海况和任务语义自主决定“船该怎么动、设备该怎么用”。某海洋大学筹这次验证的亮点恰恰就在这里他们不只是让船沿着航线走而是让船在看懂海域场景的基础上结合任务指令做出航行决策。这在国内公开的无人船项目里确实是第一次见到完整的VLA闭环方案跑完真实海试。2. VLA端到端无人船的核心技术拆解2.1 系统总体架构从传感器到执行机构的完整链路要理解VLA无人船先要把整条硬件链路看清楚。这次海试的船型没公开太多细节但从行业公开资料和同类项目推断典型的VLA无人船由四层构成。感知层前视、后视、左右舷的多个广角摄像头加上一个固态激光雷达做中近距离补充还有AIS接收机和毫米波雷达做远距离目标感知。摄像头负责纹理、颜色和语义信息激光雷达负责精确的几何距离AIS负责识别带应答器的船只身份和动态三者互补。计算层船载工控机配置一块车规级或者工业级的GPU模块比如128TOPS以上的算力外加实时控制用的MCU。模型跑在GPU上安全兜底逻辑和底层伺服控制跑在MCU上这个分工很关键。定位层RTK-GNSS加光纤惯导输出厘米级位置和船体姿态。姿态数据不能只用来看轨迹还要用来做摄像头画面防抖和激光雷达点云校正。执行层左右舷独立推进器或者舵机加单推进器底层用CAN总线或者以太网接MCU。整套系统的关键在于“模型输出的动作指令如何安全地变成推进器的转速”。VLA模型输出的是一个高层意图比如“向右偏航15度”底线安全层负责判断这个意图会不会导致触礁、碰撞或者违反海事规则没有问题时才发给伺服控制器。2.2 VLA模型的输入输出设计多模态信息如何进模型VLA模型要把船上五花八门的信息变成“统一语言”这是整个方案里最吃功夫的部分。某海洋大学筹的公开信息显示他们采用的是“视觉token 语义token 动作token”的混合输入。视觉token来自多路摄像头画面做法是把多路图像拼接成全景图再经过视觉编码器切成patch序列。这样做的好处是模型可以同时看到前后左右不会出现“前视摄像头看着没船但侧舷已经有船逼近”的盲区。雷达点云和毫米波雷达目标则被投影到俯视图网格上再编码成雷达token和视觉token拼在一起。语义token来自任务指令和海图信息比如“从1号浮标到达2号浮标”“避开作业渔船”“前方航道限速8节”这些指令经过文本编码器变成向量。模型输出的动作token设计成“定航向定速度”的组合目标航向角用弧度表示目标航速用节表示再配合一个可选的“期望横距”。这个输出空间看起来简单实际上对训练非常友好。船不像车车要在车道内精确控制方向和速度船在水里本来就会被浪推来推去强行让模型输出精确到厘米级的轨迹没有意义不如让模型学会“朝哪个方向开、开多快”剩下的由底层控制器去消磨。2.3 区别于地面自动驾驶的特别设计船体动力学和动作空间VLA自动驾驶在陆地上已经有了一些落地实践但直接搬到船上会碰壁因为船和车的动力学差异实在太大了。车辆响应快刹车距离按米算船的惯性大高速转向需要提前几十米甚至上百米开始动作低速时候舵效又明显变差。船舶的横摇会产生一部分横向速度导致船头指向和实际航迹方向不一致这个现象叫漂角。VLA模型如果只输出舵角不学习漂角补偿航迹会有稳定偏差。某海洋大学筹的团队在动作空间里加了一个“侧漂补偿量”模型输出的不是“舵角多少度”而是“期望航行方向向量”这个方向向量天然包含了漂角修正。底层控制器再把方向向量换算成舵角和推进器差速。这个设计值得点赞它让模型不需要内生地精确理解流体力学而是直接从“看画面-猜该往哪个方向走”的角度学习大量降低训练难度。还有一个地面自动驾驶不常遇到的麻烦水面目标几乎都是“慢速且有不确定性”的。渔船可能突然加速或者掉头货轮虽然轨迹规律但避让空间巨大浮标则随浪摆动。VLA模型要同时处理“静态语义障碍物”“动态合作目标”“动态非合作目标”三类对象模型结构上必须用不同的token类型来区分否则训练时容易互相干扰。2.4 数据与训练闭环真实海域数据如何变成模型能力VLA模型最耗时的不是调模型结构而是造数据集。从公开信息看某海洋大学筹的数据来源有三个方面实船采集、仿真合成、公开海洋感知数据集。实船采集是最核心的部分。船在近海、港口、养殖区、航道分别跑采集摄像头画面、雷达目标、高精度定位和人工驾驶操作指令。采集时不要求完美驾驶反而故意收集一些“新手操作”“异常情况”的片段比如差点蹭到浮标、被浪推到航道边缘再拉回来。这些边缘样本对模型学习“如何纠正错误”非常关键。仿真合成用来补长尾场景没有那么多船会故意做诡异机动那就用Unreal Engine或者Unity搭一套海面仿真环境批量生成“渔船浮标弱光”的组合。公开数据集用来做预训练底座让模型先学会基础的视觉语义理解。训练分三步走。第一步用海量陆地和海洋通用图文数据训练视觉编码器和语言编码器的对齐能力。第二步在仿真环境里做模仿学习让模型模仿专家驾驶员的动作同时加入数据增强如随机改变浪高、光照、镜头净度。第三步在实船数据上做强化学习以“安全到达目标点、保持安全距离、航迹误差小”作为奖励让模型走出模仿学习里“只会照着学、不会随机应变”的局限。这套三阶段训练流程和地面自动驾驶行业的做法一致但数据分布完全不同所以不能用陆地数据直接灌入模型。3. 真实海域验证的全流程复盘3.1 验证目标与指标设定什么叫“验证成功”这次海试最让我感兴趣的地方是他们的测试指标设置。很多项目展示无人船拍一段“船自己开到对面再开回来”的视频就说成功了这在陆地上也许可以糊弄过去在海洋工程里完全不够。某海洋大学筹这次公开的验证结果涵盖了五个维度自主航行成功率、平均航迹偏差、最小安全距离、无人工接管的里程、决策耗时。自主航行成功率指的是在预定的测试航线里系统没有发生严重故障、没有触发安全兜底停船完整跑通的比例。平均航迹偏差是船的实际航迹与计划航线的横向偏差正常航速下能压在半个船身以内就算优秀船身通常不到10米所以5米内的偏差已经能应付大部分狭窄航道。最小安全距离是指模型在避障过程中与最近障碍物保持的距离这个指标能看出模型是会提前绕行还是会一头扎到跟前再急转。无人工接管的里程反映系统的综合稳定度地面上做L4的都在拼这个。决策耗时则从传感器数据进入模型到输出指令再到推进器响应完成整个闭环的延迟这个指标最容易被人忽略。3.2 现场条件真实海域比模拟环境“残酷”多少真实的近海环境是模拟器再怎么做都做不像的风浪让船一直在摇阳光在波光粼粼的海面上产生强烈反射和闪烁盐雾给镜头罩上一层白膜航道里的渔船根本不按“标准行为”行驶有些小船看到无人船还会出于好奇故意靠近。某海洋大学筹的第二批海试在近岸开放海域进行水文气象条件达到“轻浪”级别风速不低于四五级。在这种环境下摄像头画面的退化和船体姿态变化是VLA模型的第一大敌。我看到海试影像资料里画面有浪涌带来的俯仰和横滚而模型依然能稳定输出航向说明团队在预处理层做了姿态补偿。另一个细节是船在接近航道边界时果断选择减速并保持安全横距而不是强行贴线航行。这一点听上去简单但很多传统规划算法只会机械地“到达目标路径点”完全没有“贴线很危险”的语义理解。3.3 分阶段测试从码头弱信号测到大风浪耐力测真实海域验证不是把船往海里一放就开始记录。某海洋大学筹这次测试按危险程度和数据成熟度分了四个阶段每个阶段之间至少隔了一周用来分析数据。第一阶段是码头系泊测试。船拴在码头边启动VLA模型让它识别港池内的船只、人员进行避碰避让。这个阶段不考验航行能力考验的是模型在强反光、船体晃动受限条件下的感知稳定性以及安全兜底逻辑是否会误触发。第二阶段是港池内自由航行速度控制在低速在几艘抛锚船和浮标之间穿行验证模型关闭港口地图后能不能依赖实时感知完成局部避障。第三阶段是近岸航道巡航船驶出港池按预设航线在航道内自主航行如果有渔船靠近系统要主动让出主航道。第四阶段是长距离耐力测试连续航行几个小时观察模型输出精度会不会做阶跃性下降设备在持续振动和盐雾环境里是否扛得住。分阶段测试的最大价值是能定位问题出现的阶段。如果第二阶段就出问题那大概率是感知或者避障逻辑的锅如果前三个阶段都正常第四阶段才崩那要考虑是热稳定性、时漂或者数据偏移的问题。3.4 一个容易忽略的细节“端到端”也有多层安全兜底很多人一听“端到端”就觉得“完全交给AI出了事我认”。真正的工程落地永远不能这么赌。某海洋大学筹这次海试虽然没有详细展开但通过对公开资料研读可以看出他们做了三层安全兜底。第一层模型自身的安全约束。训练的时候就告诉模型某些行为会被高额惩罚比如“距离障碍物小于X米”或者“未经许可越出航道”。第二层规则安全层在模型输出之后加了一个实时检查器参考COLREGS也就是国际海上避碰规则对模型输出的期望航向做合法性校验。第三层硬件急停让岸端操作员可以随时遥控接管或者触发紧急停机。三层之间没有优先级冲突模型可以自由发挥但一旦触碰安全规则层指令就会被拦截或修正。这个设计是地面自动驾驶已经验证过的“端到端规则兜底”范式放到船上同样成立。4. 工程落地中最容易翻车的细节与排查心得4.1 别小看端到端时延一帧慢等于全盘崩VLA模型跑在船载显卡上和跑在服务器上不一样。陆地上的自动驾驶测试车可以背一整台高功率计算平台船的载荷和供电有限。某海洋大学筹用的是工业级GPU模块加边缘推理优化这个选型是对的但即使硬件性能不错模型在推理时也可能出现两三百毫秒的延迟。船的决策不需要像汽车那样到20到50Hz海上的动态变化慢10Hz到20Hz的决策率足够用但整条闭环的延迟必须压进500毫秒以内。这里的瓶颈往往是预处理多路摄像头要同步曝光雷达点云要做畸变校正两路数据还要做时间戳对齐。实测中如果发现转向动作总是慢半拍先别急着优化模型去看看预处理管线里有没有“等待同步”导致的排队延迟。4.2 水花、盐雾、阳光反射摄像头的三大“隐形杀手”海试项目最容易栽的地方不是算法而是摄像头什么都拍不到。海水打在镜头上形成盐膜白天阳光一照整个画面变成白茫茫一片浪花时不时溅到镜头上瞬间遮挡傍晚逆光时水面反光强得让自动曝光完全失效。我是强烈建议无人船项目配备镜头防水喷淋和加热装置。喷淋可以定时把盐雾冲洗掉加热可以在关键时候避免镜头起雾。还有一个只靠软件就能做的小技巧在训练数据里主动加入“镜头脏污模拟”把模拟器画面做模糊、白色斑点、局部过曝让VLA模型学会看到退化画面时不摆烂而是进入保守航行模式。这次海试里我注意到他们的视觉画面在部分时段有明显的水珠干扰但模型仍然没有误判障碍物说明训练数据里这些退化情况是覆盖到了的。4.3 GNSS拒止下的定位退路海上定位听起来比地下车库容易卫星信号开阔但真实情况并非如此高架桥底、大型货轮侧面、码头塔吊下方都会造成GNSS信号遮挡和多路径效应。RTK在近岸掉固定解是常事一旦定位精度从厘米级掉到米级甚至十米级任何依赖绝对坐标的规划算法都会瞬间失效。VLA模型的优势在于它不完全依赖GPS。模型能从摄像头画面和雷达点云中直接感知障碍物和航道边界即使GPS定位降级依然可以靠“相对场景理解”完成低速航行。但“能开”不意味着“安全”工程上必须有降级策略当RTK失锁时系统自动切换为视觉惯导组合导航同时把最大航速限制到两节以内并把风险等级上报到岸端。这次海试没有公开掉定位的片段但据我了解实测里出现过几次GNSS短暂抖动系统都自动降速并保持航向直到RTK恢复正常。4.4 模型在陌生海域的泛化别把“水域颜色”当成“海水颜色”VLA模型在地面自动驾驶里有一个著名痛点训练数据都是晴天中午拍的雨天晚上就“失明”。到了海上这个问题变成了“水域颜色过拟合”。近海是黄绿色的远海是深蓝色的内河是褐色的港口水可能是灰绿色的。如果VLA模型的训练数据绝大多数来自某一类水域它就会把“深蓝色”当成“可航行区域”的隐含特征换一个海域就不知道该往哪里开。解决方法是做多海域的数据混合训练时主动做水体颜色迁移和风格随机化。某海洋大学筹这次海试从内河航道做到了近海开放海域模型在两种不同水质环境下都保持了感知稳定说明团队在仿真阶段应该做了充分的水体风格扰动。这个方法不用加模型复杂度只是数据层面多花点功夫值得所有无人船团队参考。4.5 海试问题速查与解决记录根据行业内同类项目的经验我把最常见的海试问题整理成一张速查表方便大家按图索骥。现象可能原因检查与解决思路模型对静止浮标识别不稳定正负样本不平衡退化的视觉特征增加仿真浮标样本、加入运动补偿靠近大型货轮时机头不自觉外偏模型学到了不安全的“让路优先”调整强化学习奖励权重增大安全距离惩罚波浪中航迹出现锯齿状摆动输出航向变化率过大底层控制器响应滞后在动作输出头增加平滑约束降低最大转向角速度夜间湿气导致镜头起雾光学系统缺乏加热装置增加镜片加热和防雾镀层RTK短暂失锁后船长时间停车定位退化触发了过度保守策略引入视觉惯导组合导航设定分级别降级策略雷达目标与视觉目标融合错位传感器标定存在时间/空间偏差重新做联合标定外参标定板上船实测我一直强调一个理念无人船在海上的问题80%是工程问题只有20%是算法问题。算法再强镜头起雾看不见一切都白搭。5. 影响范围与后续演进5.1 对海洋观测与科学考察模式的影响过去十年的海洋观测基本是“调查船开出去、科学家和设备在船上、数据带回实验室处理”的模式。调查船租金高、航次有限、受海况影响大很多海域“想去没船去”。VLA无人船真正改变的是“人船分离”的能力。船自己开船上的传感器自己测数据通过卫星实时回传人只管在岸上下指令和看数据——这是海洋科考的数字化转型。某海洋大学筹这次验证的船上据说也挂载了多参数水质传感器说明他们不只是验证“开船”还在验证“船到了目标点之后自动执行采样任务”。一旦这条链路跑通近海网格化加密观测、赤潮应急追踪、溢油污染巡查这类需要快速响应的任务就能批量从“派大船”变成“派小船集群”。5.2 港口、风电、养殖等高价值场景的落地机会海洋具身智能的第一批商业化落地大概率不是远洋而是近海的高频刚需场景。港口巡检是典型场景。港区水域大、船舶多、盲区多传统人工巡逻艇速度慢、成本高VLA无人船可以24小时在港池里跑自动识别违规闯入的小船、监测溢油和落水人员。海上风电运维是另一个热门场景。风机基础、海缆、升压站的巡检需要高频出船以前靠人开着运维船绕着风机转现在无人船可以自动规划每座风机的巡检航线用视觉和声纳识别基础结构损伤和冲刷坑。海洋牧场也值得关注。养殖网箱需要定期检查破损、监测水质和鱼的密度这些任务要求船在水下设施周围慢速精确航行VLA模型天然适合这种“看一眼周边环境再决定下一步怎么动”的模式。5.3 从单体智能到群体智能VLA只是起点这次海试验证的是“一条船自己会开”下一阶段必然是“一群船自己协”。海洋观测如果靠单船作业覆盖范围始终有限如果用十条VLA无人船组成集群分别负责不同区域再通过一条中心船或者卫星中继做协同调度整个近海的动态感知能力会指数级上升。多船协同对VLA模型提出了新要求模型不仅要懂船还要懂别的船会怎么走。这有点像多智能体系统中的通信和默契问题。我判断未来两三年的演进方向是——VLA模型从“单船驾驶模型”变成“舰队调度大脑”同时把机械臂、水下机器人这些执行机构接进来。海洋具身智能的“身体”会从一条船扩展为一整支海上机器人编队。最后再分享一个我个人很深的体会做这种前沿工程项目最大的考验不是模型精度能到99%还是99.9%而是你愿不愿意把剩下的0.1%当成工程问题去死磕。某海洋大学筹这次能跑完真实海域验证说白了就是靠把大量时间花在数据、标定、传感器可靠性这些“不性感”的事情上。海试成功只是一个节点长期看谁把数据闭环做得越扎实谁在海洋具身智能这条赛道上就能走得越远。后续他们如果能把这个模型从近海开放到专属经济区级别的长航程任务对整个行业的影响会比今天这一场海试大得多。