做具身智能的朋友们这两天应该都被同一个消息刷屏了千寻Spirit v1.5 在 RoboChallenge 榜单上的综合排名直接登顶把过去很长一段时间稳坐开源头把交椅的 Pi0.5 给拉了下来。说实话看到这个结果我第一反应不是惊讶而是终于来了。过去一年多开源具身基础模型这个赛道虽然热闹但真正能在统一评测体系下和闭源方案掰手腕的其实就那一两个名字。这次排名变动意味着开源 VLA 模型正式从一个主流方案走到了多强竞争的格局。这篇文章我会以一个长期跟进具身开源模型、亲手在真机上部署过不下五版 VLA 模型的从业者视角拆一拆这次登顶背后的技术信号、RoboChallenge 这个榜单的含金量以及对我们这些真正做机器人落地的开发者来说哪些变化值得关注哪些坑还需要继续趟。1. 先看门道RoboChallenge 到底考什么很多朋友看到登顶两个字就激动但先别急着下结论。咱得先搞清楚这个榜单考的是什么、怎么考的才知道这次登顶的技术分量。1.1 榜单任务的构成RoboChallenge 是业内几家实验室和公司联合推动的具身智能评测基准核心思路是统一平台、统一任务、统一评分。它不像传统 CV 榜单一堆静态图片让你刷分而是要求在仿真环境甚至真实机器人上进行闭环操作也就是说模型必须真正控制机器人完成任务而不是只做图像识别。从我拿到的公开任务清单来看榜单大致覆盖这几类能力桌面抓取与放置从不同形状、材质的物体中准确抓取并放置到目标区域重点考察视觉定位和动作精度。工具使用比如用铲子舀东西、用锤子敲钉子需要模型理解工具的功能语义而不是单纯的位置匹配。长程多步操作把开抽屉、取物、关门、放到指定位置这类多阶段任务串起来考察记忆和任务分解能力。双臂协同需要两个机械臂配合完成的操作对动作预测的协调性要求很高。移动操作底盘移动加机械臂抓取的组合考察导航和操作两种能力的融合。这里面每一类任务背后都对应着一套独立的评分逻辑。比如抓取任务按成功率算长程任务按分阶段完成度算。总榜则是各类任务的加权汇总权重偏向长程和工具使用这类更有实际价值的场景。1.2 为什么开源模型也必须上榜单我见过不少做研究的朋友对榜单嗤之以鼻觉得刷榜没有意义。但在具身智能这个领域我的看法完全不同。具身模型和纯语言模型有个本质区别你无法通过 vibe check 来判断模型好坏。语言模型你还能跟它聊几句感受一下但一个 VLA 模型你光看它在 2D 图片上的输出根本不知道它在真机上会不会抖、会不会抓着东西半路松开。所以一个相对标准的、包含仿真和真机任务的榜单就成了社区对模型能力形成共识的最低成本方式。RoboChallenge 目前已经有不少高校和公司采用它的标准接口来提交模型这意味着模型拿到的分数不是自报的而是在统一环境下跑出来的。这本身就比很多我们自己测了下成功率 90%的民间评测要可信得多。1.3 终结领跑时代这句话的分量再说说 Pi0.5。这个模型是上一阶段开源社区公认的标杆它把视觉-语言-动作三个模态在统一的 Transformer 架构里做了较好的融合动作头用扩散模型来生成在桌面操作这类任务上的表现长期领先。很多团队包括我自己拿它做过基线模型效果确实稳。但也正因为用得久我也清楚它的几个痛点第一高频动作控制能力偏弱有些场景需要 20Hz 以上的控制频率它跑起来经常掉帧第二对没见过的新物体、新布局泛化能力衰减明显第三微调到自己的机械臂上时需要的示范数据量偏大小团队很难喂饱它。所以终结领跑时代这句评价说的不只是排行榜上的分数超过了 Pi0.5更是指在架构思路和数据策略上有后来者找到了突破旧方案天花板的路线。作为用户我们最关心的就是这个新方案能不能让我更省数据、更好部署、更稳控制。2. 千寻Spirit v1.5 凭什么登顶核心能力拆解榜单分数只是结果我们得从结果倒推看看千寻Spirit v1.5 在技术层面到底做了哪些不一样的事情。2.1 从评测项反推模型能力我仔细对照了它公布的单项得分和几个失败案例分析有几个信号非常明显。首先是长程任务的成功率提升幅度最大。长程任务是最考验动作预测累积误差的场景——每一步的小误差会不断放大最后导致任务失败。千寻Spirit v1.5 能在长程任务上大幅拉开差距说明它在动作预测的时间一致性上做了针对性优化很可能采用了更长的动作预测窗口action chunk同时在跨阶段切换时引入了显式的条件重置机制。其次是工具使用类的泛化能力。工具使用任务和普通抓取最大的不同是工具和物体的相对位姿变化很大模型不能只记住抓这里而要理解抓这个工具的哪个部位才能起到作用。这说明它的训练数据里应该加入了大量带有工具交互标注的跨域数据而不是纯粹的抓取示范。第三是双臂协同任务没有拖后腿。双臂任务难在左右臂的动作耦合很多模型在这类任务上直接崩盘但它在榜单上的双臂得分保持在第一梯队说明动作头可以同时输出多臂控制序列且训练时使用了双臂并行的数据采集方案。2.2 和 Pi0.5 的对比差异到底在哪把两个模型放在同一张表里看会更直观一些。这里的数据我综合了公开榜单、技术报告和部分实验室复现时反馈的信息对比维度千寻Spirit v1.5Pi0.5参数量级约 2B主打轻量高效约 3B偏重动作头设计扩散 显式动作片段预测扩散动作头最大控制频率实测稳定 25Hz 以上常见 10-15Hz长程任务成功率榜单第一梯队显著领先中上水平新物体泛化未见过的物体类别成功率较高对域外物体衰减明显微调数据需求单任务约 50-100 条示范即可见效通常需要 200 条部署硬件门槛单张消费级显卡可推理需要更高显存余量注意最后一行这个差异对普通开发者来说是致命的。我做落地项目时最怕遇到那种效果很好但只有实验室才跑得动的模型。千寻Spirit v1.5 官方宣称的部署门槛是消费级显卡可跑如果属实那意味着小型创业团队和高校实验室都能自己玩起来这比分数提升的意义大得多。2.3 登顶背后的三个支点结合公开的技术博客和我在复现过程中的理解我认为这次登顶不是单点突破而是三个支点同时发力。支点一统一了视觉编码器和动作预测的训练节奏。过去很多 VLA 模型是视觉部分先用海量互联网数据预训练好再冻结着训练动作头这会导致一个经典问题视觉特征是为看图说话优化的而不是为看位置并决定怎么动优化的。千寻Spirit v1.5 的做法更像是把视觉编码器和动作头放在同一个损失函数下联合微调训练后期视觉表征会主动向操作友好的方向偏移。支点二数据采集的多样性策略。多源数据的配比直接决定泛化能力。从训练数据说明来看它融合了遥操作示范、仿真 rollout 数据和部分互联网视频中的动作语义信息比例大概在 6:3:1。这个配比目前看是合理的遥操作示范保证动作质量仿真数据提供数量规模互联网数据则提供了对工具怎么用、物体是什么这类常识的理解。支点三推理时的高频控制优化。模型在仿真里跑得再好上了真机如果推理延迟超过控制周期那就是废的。它通过动作片段预测和分层执行的方式把决策频率和实际推理频率解耦——每 50ms 推理一次但预测出的是一段 250ms 的动作序列让底层控制器按更细的步长执行。这个思路不算新但它把执行器的平滑性和推理负载做到了更好的平衡。3. 别急着欢呼评估具身模型的正确姿势作为从业者我见过太多团队被一张榜单截图带偏追热点追了三个月最后发现模型在自己的场景里根本不行。这里分享一套我自己的评测方法论供参考。3.1 榜单之外你必须自己补测四件事第一件事域外物品测试。榜单上的物体是固定的但你的应用场景里可能有各种各样的物体。我会专门准备一个奇怪物体集包括不同颜色、材质、形变的物品比如软胶玩具、透明玻璃杯、反光金属件。透明和反光物体对视觉编码器是天然的陷阱很多模型在彩色实心物体上 95% 成功率一遇透明物体直接掉到 60%。我拿千寻Spirit v1.5 在透明物体上实测表现确实比旧模型好但也没有好到让人放心的程度。第二件事光照鲁棒性。实验室的灯光是恒定的但真实工厂和家庭的光照变化很大。我会在三种光照条件各跑十次成功率明亮均匀光、单侧强光、阴天自然光。单侧强光容易让机械臂产生自遮挡阴影很考验模型的视觉不变性。第三件事动作频率的抖动测试。这个很多人忽略。模型在理想条件下能达到 25Hz但是 CPU 负载上来之后推理时间会抖动。我会用脚本记录连续 5 分钟内的推理延迟分布看 P95 延迟和平均延迟的差距。差距越大说明模型在真实部署时越容易出现突然卡一下的问题而这在精密装配里是不可接受的。第四件事被扰动恢复测试。任务执行到一半手动把物体拨偏 5 厘米看模型能不能自己纠正。具身模型和传统机械臂最大的差别就在这里——传统方案需要外部视觉伺服来纠偏而 VLA 模型应该具备看到偏差并在下一步动作中修正的能力。这个测试能筛选出真正理解当前状态的模型而不是只会照着训练数据死记硬背的模型。3.2 一套可抄作业的评测流程我自己这套流程已经跑了好几个模型现在整理出来分享基线确定先用官方预训练权重不做任何微调跑一遍目标任务的官方测试场景记录成功率和平均任务时长。分级评测把测试集分为三个等级——Easy与训练分布一致、Medium物体位姿有一定扰动、Hard新物体、新布局、光照变化。数据量曲线分别用 20、50、100、200 条示范微调画出数据量-成功率曲线。这一步能看出模型的数据效率也能决定你在自己项目里需要攒多少数据。真机验证仿真指标再好最后必须上真机跑 50 次以上统计成功率、平均操作时长、人为干预次数三个指标。定制报告按自己的应用场景权重把上面这些指标做成一份加权报告这才是你能用来跟老板和客户沟通的评估依据。我特别建议把评测记录做成视频存档别只记数字。因为具身任务失败的原因往往是多因素耦合的回头看视频才能定位是视觉识别错了、动作规划错了还是执行器物理打滑了。数字只能告诉你失败了视频才能告诉你为什么失败。3.3 仿真评测和真机评测的关系RoboChallenge 的仿真任务占比不低这就会引出一个所有人都绕不开的问题仿真里拿高分真机一定行吗我的态度是仿真分数是必要条件不是充分条件。仿真环境的价值在于可控可复现能快速筛掉明显不行的模型。但仿真到真机的 gap 是实打实的——仿真里没有线缆缠绕、没有摩擦力突变、没有视觉传感器的噪声。所以团队在立项时一定要把真机验证作为时间表里的硬节点而不是可选项。我之前见过一个团队用仿真分数很高的模型直接上产线做上下料结果第一天就被工件的反光表面搞得连连失误最后不得不花两周时间重新做域适应。这个教训后来成了我们评估流程里的一条铁律所有模型都要过一遍真机冒烟测试才谈得上后续。4. 部署与适配实操我在复现这类模型时踩过的坑既然千寻Spirit v1.5 主打开源那肯定有不少朋友会想拿它来跑自己的机器人。这部分我把部署和适配过程中的硬件配置、软件链路和那些文档里不会写的坑一并说清楚。4.1 硬件配置的底线和推荐先定个硬件预期。以 2B 参数量级的 VLA 模型为例做推理测试的话我实测下来最低能跑一张 12GB 显存的消费级显卡需要开启显存优化和半精度推理控制频率会打折。推荐配置一张 24GB 显存的显卡可以稳定跑满官方宣称的控制频率还能同时跑视觉编码服务。训练/微调配置单卡 24GB 只能做轻量 LoRA 微调如果要全参数微调建议至少两张 48GB 卡或者用混合精度加梯度累积凑合。除了显卡还有个常被忽视的瓶颈是 CPU 和内存带宽。VLA 模型的前处理不只是图像还包括把文本指令、历史状态、传感器数据全部拼成输入序列。我遇到过一个情况GPU 利用率只有 30%原因是 CPU 端的数据预处理成了瓶颈。后来我优化了数据加载管线把图像缩放、归一化、拼接这些操作并行化整体推理吞吐直接翻了一倍。4.2 从模型输出到机械臂运动的完整链路很多人第一次接触 VLA 模型会以为模型输出的就是关节角度其实不是。模型输出的通常是末端执行器位姿增量或动作片段你需要自己写一层控制转换。我的标准链路是这样的视觉采集用深度相机实时获取 RGB-D 图像统一分辨率比如 224×224 或 320×240并做相机内参对齐。状态组装将当前图像、机器人的关节角度、末端位姿、语言指令打包成模型的输入格式。注意关节角度的数值范围一定要和训练时保持一致否则模型会懵。模型推理输入到模型得到未来 N 步的动作片段N 通常在 8 到 32 之间。动作转换把模型输出的末端位姿增量通过运动学逆解换算成关节速度指令。平滑执行采用目标位置过滤或低通滤波避免相邻动作片段的跳变导致机械臂抖动。安全监控加入力传感器阈值和关节限位检查一旦超过阈值立即急停。这里我特别想强调第 5 步。VLA 模型输出的是离散的动作片段如果直接硬切换机械臂会像得了帕金森一样高频抖动。我自己常用的是一阶低通滤波加最小加加速度轨迹规划抖动问题基本解决。这个细节不写在任何模型卡上但几乎所有真机部署都绕不开。4.3 常见问题速查表我把这段时间在部署千寻Spirit v1.5 和同类模型时遇到的典型问题整理成了表格每一步都是真金白银踩出来的现象可能原因排查/解决方法机械臂高频抖动动作片段切换不平滑在动作序列之间加入滤波和插值抓取位置偏上/偏下固定偏差相机外参标定不准重新手眼标定验证误差小于 2mm新场景表现暴跌训练数据和现实差异大采集 20-50 条目标场景数据做 LoRA 微调推理延迟不稳定CPU 预处理瓶颈并行化数据加载预取下一帧图像长程任务中途断掉动作窗口过长或阶段切换条件缺失缩短动作片段长度增加阶段条件判断对透明/反光物体失效视觉编码器特征不足在训练数据中增加深度通道或专门的域适应数据怎么微调都过拟合数据多样性不够更换场景/物体/光照采集增加数据增强语言指令理解不准确指令太口语化归一化指令模板用固定的动作意图短语4.4 微调数据的采集规范既然提到微调我多说几句数据采集。VLA 模型的微调效果七分靠数据三分靠参数。我发现千寻Spirit v1.5 在数据效率上确实有进步50 条精心采集的示范就能看到明显的成功率提升但精心采集四个字很关键。我自己总结了几条采集纪律每条示范必须包含完整的任务状态变化不要在动作中间截断。同一个任务至少采集5 种不同的初始布局避免模型记住位置而不是学会操作。动作执行速度要接近真实部署速度别用慢速演示否则模型学会的是慢动作模板上线后快不起来。错误修正过程也要录进去也就是人为制造偏移、模型纠正回来的轨迹这能增强抗扰动能力。这四条纪律看起来简单但能严格执行的团队不多。很多微调效果差的团队问题都出在数据太干净太单一。5. 开源格局变化对我们这些开发者意味着什么最后聊点宏观的。千寻Spirit v1.5 登顶不只是技术事件它反映的是整个开源具身生态的底层变化。5.1 从单极依赖到多强竞争过去很长一段时间开源具身模型的选择空间不大大家翻来覆去就是那两三个模型想换个方案都找不到替代品。现在排行榜上出现了能够正面击败旧标杆的新模型而且不止一个团队在做类似的事这意味着我们作为下游开发者终于有了选择权。选择权带来的是议价能力和稳定性。再也不用担心上游模型团队停止维护导致我们的整个技术栈跟着停摆。多强竞争也会促使各家团队更重视开发者体验——部署文档、微调脚本、社区支持这些软实力会越来越成为模型竞争的重要组成部分。5.2 未来半年我建议你重点盯这三个方向方向一更细的物理交互能力。目前的 VLA 模型大多还停留在位姿控制层面对力控、阻抗控制的支持很弱。下一阶段的模型如果能直接输出力控目标装配、插拔这类精密操作的应用空间会大很多。方向二多模态传感器的融合。现在的主力模型以 RGB-D 为主但力觉、触觉、听觉这些传感器数据还没被充分利用。我接触过几个案例加上力觉反馈之后插拔任务的可靠性能从 80% 提升到 95% 以上。谁先在这个方向做出通用方案谁就有机会定义下一代标准。方向三更低的微调门槛。现在的 LoRA 微调已经很方便了但数据采集仍然是最大的门槛。后续如果出现更成熟的自动数据生成方案比如用大模型做任务规划、用仿真自动采集示范并迁移到真机小团队搭一个定制化具身应用的成本会直线下降。5.3 我的一个实际建议如果你现在正准备在某个具体场景里引入具身 VLA 模型我的建议是别急着全盘切换到新模型先拿你的核心任务做一轮 3.2 节说的那套评测。榜单分数高不代表在你的场景里一定好但一套完整的评测能让你一周之内就知道这个模型值不值得押注。我个人已经在两个项目的预研阶段跑了千寻Spirit v1.5 的快速验证结论是在桌面操作、中小物体抓取、单臂工具使用这几类任务上它的上手速度和微调数据效率确实比旧方案有可感知的提升但在重负载精密装配、多机协同这类需要强物理感知的场景它跟专用方案还有差距。最后再分享一个小技巧也是我用了好几个模型总结出来的经验部署任何 VLA 模型之前先花半天时间把官方示例跑通再用你实际任务的 10 条示范做个最简单的微调对比实验。这一件事做下来你对这个模型的理解深度会比看十篇技术报告都有用。机器人这东西永远是在真机上见真章。