TOC你好这里是 晓雨的笔记本在所有感兴趣的领域扩展知识感谢你的陪伴与支持~ 欢迎添加好友 is_yu_ei不定期掉落福利资讯写在最前面版权声明本文为原创遵循 CC 4.0 BY-SA 协议。转载请注明出处。让机器人把桌上的杯子收进柜子看起来只是一句指令。真正执行时它却要不断回答新问题从哪一侧接近杯子抬多高才不会碰到柜门杯子滑了一下要不要重新抓松开夹爪以后怎样确认已经放稳。语言理解给出了任务的起点物理世界会在后续每一步提出新的约束。对照今年的论文和企业进展我的判断是具身智能的竞争正在扩展到整个任务过程。模型既要产生可执行的动作也要利用执行中的变化判断什么时候继续、什么时候纠正以及什么证据足以说明任务完成。三维动作表示、动作块调度、验证器和恢复策略分别在补上这条链路中的不同环节。[1–5]这也改变了观察产业的角度。除了关注模型本身还需要看企业是否提供可重复的测试条件开发者是否能把一次失败转化为下一轮改进。下文沿着一个物理任务的执行过程把研究成果、企业布局和启元开发者生态放在一起分析。1 三维动作表示正在连接理解与执行先看“抬起杯子”这一步。在图像上画出一条向上的轨迹并没有完全说清机械臂应该怎样移动屏幕上的“向上”受相机视角影响同一个像素也可能对应不同深度。尤其当航点位于杯子上方的空中直接读取该像素的深度读到的可能是背景表面而非机械臂真正需要经过的位置。今年 10 月正式上线的 ECCV 2026 论文 3DWay给出了一种明确的中间表示。它让经过微调的视觉语言模型预测多个视角下相互对应的二维航点再利用相机参数做三角化恢复三维航点。得到的空间路径可配合预设抓取与运动规划执行简单任务也可在视觉语言动作模型VLA微调时作为局部几何引导。[1]3DWay 展示的一个变化是把模糊的能力问题变成可以检查的接口问题。开发者能够分别检查目标是否识别正确、视图中的点是否对应、三维路径是否合理再定位执行偏差。这里的价值来自语义和几何之间更明确的连接。三维表示本身仍有工程条件。3DWay 依赖多视角和相机参数位置航点也没有包办夹持力、接触状态和全部姿态控制。对于企业这意味着模型能力的复用还要配合相机标定、坐标约定和本体适配。所谓通用能力最终要经过这些具体接口才能落到不同机器人上。[1]图 1 多视图对应如何帮助确定空间航点。橙色点表示同一航点在不同视图中的投影结合相机参数才能恢复其三维位置。根据 3DWay 方法原创绘制杯子与轨迹为概念示意。[1]2 动作需要合适的执行时间尺度空间位置确定以后时间又成为问题。机器人常会一次预测一段连续动作即“动作块”。搬运途中连续执行较长一段可能更平顺接近柜门边缘时新的接触或遮挡就值得尽快重新观察。一次预测多长、实际执行多长直接影响系统何时有机会纠偏。Mixture of HorizonsMoH在 2025 年 11 月公开预印本并发表于 ICML 2026研究的就是这一取舍。它在预先设定的多个预测时域上生成动作通过学习到的门控权重融合信息推理时再根据跨时域预测的分歧动态确定实际执行的动作前缀长度。这让“预测看多远”和“当前先执行多少步”可以分别设计和调整。[2]从工程角度看反馈的价值取决于能否及时进入下一次决策。即使相机一直在采集图像如果执行端迟迟不接收新的状态控制仍会依据旧判断继续。值得观察的进展因此包括推理延迟、重新观察的时机以及高层子任务变化后低层动作怎样平滑地跟上。这些问题会直接影响长流程任务能否连续进行。3 验证能力开始沿着执行过程分工“验证”在机器人系统里有几种不同含义。准备动作时需要检查候选方案是否符合指令动作进行中需要识别偏差并恢复有效状态动作结束后则要用新观测确认目标条件是否满足。把这些问题分开才能看懂今年不同论文究竟补上了什么。3.1 执行前挑选更符合指令的动作CoVer-VLAECCV 2026关注指令与动作之间的偏差。它为指令生成多种重述再产生候选动作块使用经过训练的对比验证器进行筛选。研究表明在其基准和真机设置中把额外计算分配给候选比较可以改善指令跟随。[3]它带来的产业启发是推理预算可以用来比较执行方案。代价也很明确候选越多采样与筛选的开销越大系统需要结合动作速度安排这部分计算。候选获得高分只说明验证器认为它更符合指令物理执行的结果还需要后续观察。3.2 执行中把恢复动作接回主任务FLARECVPR 2026把常见偏差区分为可重试的动作偏移以及需要先恢复物体状态的错误。前一种由训练后的主策略处理后一种调用物体级恢复技能例如先把倒下的物体扶正再继续原任务。在线多模态模型负责监测并在主任务与恢复技能之间切换。[4]这让恢复成为系统中有明确入口和退出条件的一部分。它仍依赖已训练的恢复技能真机评估也有具体任务范围。对开发者更有用的启发是在设计任务时就准备好可能的中间失败状态并明确恢复到什么状态之后才能继续。3.3 执行后用实际状态确认完成回到收杯子的例子一次控制调用结束并不能单独证明杯子已正确归位。任务验收需要重新观察目标是否仍是那只杯子是否位于指定柜格放开以后是否保持稳定夹爪是否已退出。根据设备和场景可以结合视觉、夹爪状态或接触反馈让每条证据承担明确的判断责任。因此闭环验证要形成有用的决策观察到偏差后系统应当继续、调整、恢复还是请求接管获得新的完成证据后才进入下一项任务。连接这些判断的状态和接口正成为模型之外的重要研发内容。图 2 执行前筛选、执行中恢复与执行后验收分别回答不同问题。CoVer-VLA 和 FLARE 作为前两类研究的例子右侧收杯子的验收条件是本文分析示例。流程为原创概念图。[3–4]4 自动反馈的价值要用恢复后的结果检验一个容易被忽略的问题是增加一个判断模型是否一定能帮助机器人完成任务。ICML 2026 的这项工作提出 VLA-FixBench 故障数据集及 FaultEval 评测框架用于检查视觉语言模型的静态诊断、动态干预和真机恢复能力。[5]在论文两项真机任务中自动辅助采用执行一秒后暂停检查的协议。结果显示GR00T-N1.5-3B 独立执行的成功率为 30%最佳自动 VLM 辅助配置 Gemini-2.5-Flash 为 25%人工专家干预上界为 65%。这里 30% 到 65% 的 35 个百分点差距来自人工干预自动配置并没有取得这项提升。[5]这组结果把一个很具体的研发目标摆了出来判断模型要找对出错时刻、选对回退位置还要给出空间上可执行的修正。误判会打断原本可能成功的轨迹纠正方向不准也会产生新的失败。评价反馈系统时最终应当检查干预之后的任务结果并统计误干预带来的损失。对行业而言这说明诊断能力和恢复能力值得分别投入。能解释一段失败视频可以帮助离线排查要把这种能力接入机器人运行过程还需要在时序定位、三维动作和干预代价之间建立可靠联系。图 3 VLA-FixBench 的真机任务成功率。数据来自论文 Table 3 及作者说明统一基础策略为 GR00T-N1.5-3B任务为泡茶与充电插头插入。自动辅助采用执行一秒后暂停检查的协议。本文据公开数据绘制结果仅对应该评测设置人工一栏表示干预上界。[5]5 企业正在把验证做成模型能力与开发设施论文把问题拆开以后企业的布局也更容易理解。今年几项有代表性的进展分别落在评估基础设施、运行中的进度判断、工厂流程集成和开发者迭代服务上。它们没有使用完全相同的技术路线却都在增加模型接受实际任务检验的机会。NVIDIA Isaac Lab-Arena 将成功判据、终止逻辑和指标纳入任务定义再让策略在可控变化的环境中接受重复评估。[6] 这类设施的价值是帮助研发团队知道一次模型更新改善了什么、又在哪些场景引入了退步。仿真评测承担开发阶段的筛查接触、材质和真实传感误差仍需要通过真机检查。Google 把进度理解细分为进度分类与关键时刻定位并让 ER 2 编排低层 VLA 或机器人 API。[7] 同期发布的系列仍区分具身推理模型、动作模型和端侧动作模型访问范围也不同。[8] 对产业最有价值的信号是“什么时候算做完”已经成为明确的模型能力和评测对象。它能否在特定场景中判断准确仍要接受任务级检验。表 1 2026 年与任务验证相关的企业进展时间与主体公开进展材料中的阶段1 月 5 日NVIDIAIsaac Lab-Arena 组合对象、场景、本体与任务提供策略评估流程。[6]发布时为开源 pre-alpha6 月 25 日BMW × FigureFigure 03 在 Spartanburg 推进零件排序与物流接力新用例。[9]工厂新项目与演示7 月 30 日Google DeepMindGemini Robotics ER 2 利用连续视频跟踪进度、检测失败并编排动作工具。[7–8]ER 2 开放 API企业平台为私有预览10 月 13 日Physical IntelligencePi API 提供数据上传、托管微调和推理开发者用失败记录指导补采与迭代。[10]API beta 测试版BMW 的 Figure 03 项目则把评价放进生产工作流。零件从无序容器进入排序推车之后还要与自动牵引车或智能运输机器人接力。[9] 在这样的场景里抓取动作必须满足下游工位的顺序和交付要求。机器人是否有用要连同合格产出、运行节拍和异常处理一起看。Physical Intelligence 的 Pi API beta 提供数据上传、托管微调与推理服务。开发者结合示范采集和真机测试再用失败结果决定下一轮补采内容。[10] 这反映了模型服务的一种发展方向提供可适配的基础能力让应用团队把精力放到自己的物体、工艺和场景差异上。开放模型服务与完成现场部署之间仍然需要持续的工程工作。6 启元的生态价值落在持续真机实践上把视角移到上纬启元PRIMEBOT[12]它在这条链路中的位置更接近本体、开发工具与试验条件的连接处。 对开发者来说最直接的入口包括 Q1/T1 的 SDK、仿真描述资源以及可以看日志、看视频和调试动作的 PrimeConsole。[13]这些公开资源提供了观察设备状态、执行控制和排查问题的基础。PrimeConsole 的 Skill 验证服务于开发与调试。[13] 开发者可以进一步围绕具体场景定义成功条件例如结合观测判断柜子里的杯子是否放稳。校企真机实践更能体现生态作用。哈尔滨工程大学 8 月 29 日公开的启元 H1 家政任务案例中学生承担数采链路、VLA 训练、大脑决策与算法适配企业提供本体、配套软硬件、算力和场地。[14] 10 月 13 日双方又签署共建具身智能产教融合创新实践平台的备忘录。[15]H1 是这项校企项目的具体平台其任务表现不能直接移植为 Q1/T1 的产品结论。这个案例对行业的启发在于一项算法能否走到真机上取决于模型代码之外是否还有稳定的试验资源以及能共同排查问题的研发团队。生态建设可以为这些条件提供组织方式。我的判断是启元这类平台接下来的生态价值将更多体现在能否支持开发者留下可复现的任务成果在什么条件下成功在哪一步失败恢复以后是否完成换一组物体和环境能否重现。这样的经验积累会让后来者更容易判断一个能力是否适合自己的场景也让平台有依据选择下一轮需要完善的接口与工具。图 4 按公开案例归纳的开发者生态角色。模型服务、评估工具与本体试验条件共同服务于具体任务的开发。所列为代表案例并非完整名单。根据官方资料原创绘制。[6–8,10,13–15]7 行业评价需要计入现场投入当机器人进入真实工作流数据量、模型速度和单次成功率都需要补上时间与人力口径。Physical Intelligence 3 月发布的 RLT 研究就是一个具体例子它借助紧凑的 RL token让较小的强化学习模块改进精密接触阶段。在已有 VLA 的基础上RLT 对网线插入的精密阶段进行在线强化学习。作者报告这一过程使用约 15 分钟机器人交互数据训练过程共耗时两小时其中还包含复位等开销。[11]这类细节会改变对部署效率的判断。采样更高效确实可能减少所需数据现场团队仍要安排试验、恢复环境、检查结果并处理失败。评估一套机器人方案时我会把下面几项放在同一张记录表里。它们是本文建议的观察口径。表 2 从任务结果出发观察部署价值观察项建议记录什么帮助回答的问题合格任务吞吐同一测试时段内真正完成并验收通过的任务数持续运行是否有用人工与复位负担接管次数、每次耗时、重新摆放物体和恢复设备的时间自动化节省了多少现场工作恢复收益与误干预干预后成功情况以及错误介入打断正常执行的次数反馈是否实际改善结果场景适配投入换物体、机位或本体需要的数据量、标定和工程时间能力能否经济地复用同时要区分三个层次的闭环。控制闭环利用传感反馈调整身体运动任务闭环根据进度和结果决定下一步研发闭环把测试失败带回数据、训练和复测。它们通过不同的时间尺度连接起来。接口调用成功、模型判断成功和实际任务成功也应当分别记录才能判断改进发生在哪一层。8 未来一年值得跟踪的变化基于上述证据我更看好具身智能在具体环节上的持续改进。首先中间表示会继续影响系统的可复用性。三维航点、动作块和任务状态把问题拆成可检查的接口有助于连接通用模型与不同本体。效果最好的表示形式仍会随任务和硬件而变化。[1–2]其次验证与恢复会成为可以单独迭代的能力。CoVer-VLA、FLARE 和 ER 2 已分别展示候选筛选、运行恢复和进度判断的不同路径。[3–4,7] 接下来更有说服力的成果应当同时报告恢复收益、误干预和额外延迟让使用者知道新增判断环节在什么条件下值得启用。开发者生态也会更重视任务本身的可复现性。模型服务让适配更容易开始评估工具让比较更容易进行本体和校企平台让算法有机会接受真机检验。[6,10,13–15] 对启元而言把这些条件转化为可重复的场景实践会比单纯增加案例数量更有长期价值。这是本文依据公开进展提出的判断。再回到那只杯子。机械臂松开夹爪以后机器人能否发现杯子没有放稳选择合适的调整再用新的观察确认完成沿着这样的具体问题跟踪研究与产品我们更容易看清具身智能正在怎样一步步形成可以依赖的物理任务能力。参考文献与资料下列链接对应文中的编号。论文以正式收录页及作者原文为依据企业进展以官方发布材料为依据。[1]Huang 等. 3DWay: Generalizing Robot Manipulation via 3D Consistent Waypoints. ECCV 2026正式在线 2026-10-03arXiv 26.09编号 2609.08224。正式论文 | 作者项目与实验 | 预印本[2]Jing 等. Mixture of Horizons in Action Chunking. ICML 2026PMLR 306arXiv 25.11编号 2511.19433。正式论文 | 方法与动态推理[3]Kwok 等. Scaling Verification Can Be More Effective than Scaling Policy Learning for Vision-Language-Action Alignment. ECCV 2026arXiv 26.02编号 2602.12281。正式论文 | 论文全文[4]Zhao 等. FLARE: A Failure-Aware Framework for Autonomous Correction and Recovery in Visual-Language Robotic Manipulation. CVPR 202622391–22401arXiv 26.08编号 2608.26645。CVF 正式收录 | 论文全文[5]Yan 等. Can VLMs Diagnose and Recover from VLA Manipulation Faults? ICML 2026。真机结果见 Table 3评测协议见 Section 5.4。正式论文 | 作者结果说明[6]NVIDIA. Simplify Generalist Robot Policy Evaluation in Simulation with NVIDIA Isaac Lab-Arena. 2026-01-05。官方技术文章[7]Google. Introducing Gemini Robotics ER 2. 2026-07-30。进度分类、关键时刻定位、视频失败检测与工具编排。官方发布[8]Google DeepMind. Gemini Robotics 2 brings whole body intelligence to robots. 2026-07-30。模型分工与发布时的访问状态。官方说明[9]BMW Group. BMW Group advances the use of Physical AI in production with Figure 03 project in Spartanburg. 2026-06-25。客户方公告[10]Physical Intelligence. Frontier Models for Every Robot: Announcing our API beta. 2026-10-13。官方发布[11]Physical Intelligence. Precise Manipulation with Efficient Online RL. 2026-03-19。网线任务的机器人数据时长与总训练耗时见原文。RLT 研究说明[12]启元机器人. 启元新创落户上海浦东助力打造全球最大消费级机器人企业总部基地. 2026-07-27。启元官网[13]启元机器人开发者社区. PrimeConsole 与资料下载页。查阅日期 2026-10-18。工具与 SDK 资料[14]哈尔滨工程大学. 全国亚军哈工程—上纬新材“启元机器人”亮相世界人形机器人运动会. 2026-08-29。校方报道[15]哈尔滨工程大学. 哈工程与启元机器人共建“具身智能产教融合创新实践平台”启动仪式举行. 2026-10-15活动日期 2026-10-13。校方报道启元机器人开发者社区欢迎访问启元机器人开发者社区进一步了解启元机器人开放 SDK、Skill 开发及应用实践结合社区资料把文中的技术思路延伸到具体机器人场景中。hello这里是 晓雨的笔记本。如果你喜欢我的文章欢迎三连给我鼓励和支持点赞 关注 评论我会给大家带来更多有用有趣的文章。欢迎大家点开下面名片添加好友交流。