从技术演进看近年的沉浸式设备如 VR 头显与精确动作追踪已显著拓展遥操作的可能操作者能在远程环境中获得“在场感”用自然的身体动作直接控制机械臂而非下发抽象指令。同时协作机器人cobot内置的安全机制与易编程特性也把遥操作推向家庭与辅助场景。在此基础上双机械臂平台进一步扩展了行为范围物体可在两臂间传递、可选用位形更合适的手臂、可在操作时由另一臂稳定或支撑物体。遥操作teleoperation一直是把人类“延伸”到核电站、深海、太空等危险或不便现场的关键技术。早期接口大多基于二维显示屏与手柄只提供单目视频反馈缺乏深度线索操作者需要凭经验在脑中重建三维结构。熟练用户尚能靠经验弥补非专业用户则常在深度估计和精细运动控制上受挫可用性下降、任务负担上升。与此同时许多日常动作——够取物体、使用工具、应对杂乱环境——至今难以全自动。更务实的思路转向共享控制shared control由人提供高层意图与监督由机器人处理低层运动细节、保证安全、过滤噪声与延迟。值得注意的是遥操作的价值已不止于“远程执行”。当熟练的人通过遥操作示范复杂任务时系统可同步记录传感器输入与动作生成高质量示范数据用于模仿学习或强化学习——遥操作由此成为通往更大机器人自主性的桥梁。然而既往研究多集中于单臂机器人、固定桌面与结构化场景双臂拟人构型的遥操作研究相对较少。论文来自 Intuitive bimanual teleoperation in mixed reality with assisted grasp autonomy混合现实下的直观双臂遥操作与辅助抓取自主。为加速抓取评估同时保留真实末端执行器的物理约束论文把夹爪近似为“底座两平行指”的三块长方体组合。抓取位姿由其局部坐标系的三条主轴定义Z轴为接近方向手指向物体移动的路径X轴沿手指闭合方向夹持力轴Y轴平行于掌面、自腕部向上。这一抽象让碰撞检测与接触判断都能在几何层面快速完成。系统由两部分计算单元构成。VR头显端Meta Quest 3连接一台工作站RTX 3090运行基于 Unity 的混合现实界面负责场景渲染与人机交互机器人端NVIDIA Jetson Orin AGX运行 ROS 与 MoveIt负责状态发布、轨迹生成与底层控制。两端经 TCP/IP 桥实时双向通信Unity 订阅机器人状态与传感器数据同时把用户输入发布回 ROS 执行。视觉感知采用一台 ZED Mini 立体 RGB-D 相机为场景可视化、分割与抓取规划提供对齐的 RGB 与深度数据。系统提供两种可切换模式。手动模式基于微分运动学操作者手的笛卡尔速度经雅可比伪逆映射为关节速度并在发送前用指数加权移动平均EWMAα0.9平滑抑制抖动与微动作命令仅在按住控制键时发送静止时才允许切换夹爪开合避免指令冲突。辅助模式保留手动控制同时允许用户额外指定目标物体触发自主抓取。视觉反馈上系统实现三种模态2D 视频流画面清晰但缺深度线索、点云渲染提供度量深度却伴随噪声与遮挡、立体视觉左右眼独立成像模拟双目深度感知。三者是后续用户实验的核心自变量。在采样前系统先对初始位姿做碰撞修正若与场景点云冲突先绕局部 Z 轴以 5° 步长预旋转仍冲突则沿表面法向以 5mm 步长后退最大后退 4cm。每个候选随后沿接近方向前伸至接触并以“与场景无碰撞、夹取体积内包含目标点、且不包含其他场景点”三条硬条件判定是否有效全部满足才进入打分环节。辅助抓取的核心是一条几何驱动的 Point-and-Grasp 流水线用户用控制器射线“指向”目标物体并指定接触区域分割模块采用 SAM/ViT-L从 RGB-D 图切出目标掩码结合深度图重建物体点云与场景点云以用户选择点为基准估计表面法向与惯性主轴生成初始抓取位姿经碰撞修正后在局部邻域采样 525 个候选位姿绕 Z 轴 7 档、绕 X/Y 轴各 5 档、沿 Y 轴 3 档平移对每个候选做碰撞剔除、沿接近方向前伸至接触依六项几何标准打分排序最后将最优位姿经手眼标定变换到机器人基座系由 MoveIt 生成轨迹执行。打分函数融合六项准则夹爪两侧受力平衡、抓取体积内内部占据率、接触覆盖度、物体厚度投影、边缘居中度以及姿态高度、与重力/物体法向的对齐、惯性主轴对齐与接近深度。权重通过单因子分析与留一消融实验标定单因子分析显示“与物体法向对齐”和“接近深度”区分力最强消融显示移除它们导致成功率下降最大分别 −38%、−21%。惯性项被条件放大——仅在物体存在显著主轴各向异性阈值 fI0.8时激活此时对齐主轴可达到 100% 成功率。加权后的打分把调参场景成功率从 76.5%均权基线提升至 97.1%。与主流端到端深度抓取方法不同这套打分是显式几何规则可解释、可复现抓取排序不依赖 GPU 推理。统计上完成时间、尝试次数、NASA-TLX 与 SUS 四个指标的条件主效应均显著重复测量 ANOVAp0.001偏 η² 介于 0.49–0.77事后 Bonferroni 校正显示立体视觉显著优于 2D 与点云而 2D 与点云之间多数指标无显著差异。辅助与手动的配对 t 检验也全部显著p0.05Hedges’ g 达 1.45说明增益并非随机波动。实验包含三块。几何打分项分析23 件日常物品盒状、柱状、球状、不规则摆成 34 个桌面场景验证各打分项的独立与联合贡献并标定权重。视觉模态用户实验20 名非专业被试21–61 岁7 女 13 男完成取放、旋转、精细叠杯、双臂移交四项任务采用拉丁方设计平衡顺序以重复测量 ANOVA 与 Bonferroni 校正统计。立体视觉在完成时间、尝试次数、NASA-TLX 负荷与 SUS 可用性上全面领先完成时间 19–35 秒2D 为 30–66 秒、SUS 87.32D 68.8、点云仅 49.8、NASA-TLX 17.12D 33.8、点云 41.5。点云虽提供“正确深度”却因视觉噪声与遮挡成为最差模态这提示直观、连贯的画面比“精确但难读”的数据更重要。辅助 vs 手动立体视觉下开启辅助系统平均 6.24 秒完成“识别执行”一次稳定抓取四项任务完成时间普遍缩短、负荷更低SUS 升至 91.6。抓取成功率对比在 40 个此前未见过的杂乱桌面场景、目标条件协议下与 GPD、Contact-GraspNet、HGGD、GraspGen 四个代表方法均用公开预训练权重、不做场景微调比较。Point-and-Grasp 成功率 92.5%高于 GPD 87.5%、GraspGen 82.5%、Contact-GraspNet 80.0%、HGGD 70.0%。小、薄、贴近支撑面的物体笔、叉、勺是所有方法的共同难点几何方法在目标指向场景下表现更稳定、更可预测。总体而言这项工作的贡献在于把可视化、手动控制与抓取规划整合为一条统一工作流并在真实双臂平台上完成验证。它没有把人类从控制回路中移除而是保留用户对目标选择与任务监督的主导权只将抓取这一低层环节委托给机器人——这一“保留人在环中”的设计也是其可解释性与可信度的重要来源。局限单一 RGB-D 视角只能重建物体可见侧可能抓在“看不见的一侧”论文 Fig.10 给出典型失败案例无触觉/力反馈夹爪闭合时物体滑动或变形无法在线纠偏工具类连续旋转如螺丝刀需反复重新对位、协调双臂复杂度显著上升辅助仅覆盖抓取阶段放置、旋转、移交仍依赖手动操作整体任务表现取决于操作者后续控制能力。研究以真实平台验证沉浸式感知立体视觉与选择性自主辅助抓取能显著降低非专业用户的远程操控负担在不引入黑箱模型的前提下可解释的几何规则在目标条件协议下取得了更高、更可预测的抓取成功率。未来方向包括引入力/触觉/力反馈等多模态感知以在接触中自适应采用多视角或主动感知以更完整重建物体攻克接触密集的工具使用任务。