工业可直接用、能部署到 ModelZoo、能对接机械臂的全套方案包含原理、训练、推理、3D 解算、抓取姿态生成全程一步到位。一、核心方案最稳、最常用硬件双目工业相机 / 深度相机输出RGB 图 深度图 点云模型YOLO-3D / YOLOv8-3D检测物体 输出 3D 框中心输出物体 3D 坐标 (X,Y,Z) 抓取姿态 (Roll,Pitch,Yaw) 夹爪宽度直接发给机器人抓取。二、整体流程5 步搞定双目相机输出 RGB 深度图 点云YOLO-3D识别物体输出 2D 框 3D 中心偏移深度图 / 点云获取物体真实 Z 距离相机内参 外参 →解算 3D 世界坐标计算最优抓取姿态角度 方向 夹爪宽度三、训练 YOLO-3D 模型生成 ModelZoo 推理模型1. 安装环境bash运行pip install ultralytics # YOLOv8-3D 官方支持2. 数据集双目 / 深度相机采集每张图需要RGB 图像对应深度图标注物体类别 2D 框 3D 中心点数据集格式YOLO-3Dplaintextimages/ train/001.jpg labels/ train/001.txt 格式class_id x y z w h d x,yz为3D中心相对值3. 训练 YOLO-3Dpython运行from ultralytics import YOLO # 加载YOLOv8-3D预训练模型 model YOLO(yolov8-3d.pt) # 训练 model.train( datayour_3d_data.yaml, epochs100, imgsz640, batch4, device0 )4. 导出 ModelZoo 推理模型python运行model.export(formatonnx, simplifyTrue, imgsz640) # 导出ONNX通用模型得到yolo3d.onnx→ 可在相机、地平线、嵌入式直接推理。四、推理获取物体 3D 真实坐标核心代码python运行import cv2 import numpy as np from ultralytics import YOLO # # 1. 加载模型 相机参数 # model YOLO(yolo3d.onnx) fx, fy 500, 500 # 相机内参 cx, cy 320, 240 # # 2. 读取双目/深度相机数据 # rgb cv2.imread(rgb.jpg) depth cv2.imread(depth.png, cv2.IMREAD_UNCHANGED) # 16位深度图 # # 3. YOLO-3D 推理 # results model(rgb) boxes_3d results[0].boxes_3d # 3D检测框 # # 4. 解算真实3D坐标 # for obj in boxes_3d: # 像素中心 u, v obj.center[0], obj.center[1] # 深度Z单位米 Z depth[int(v), int(u)] / 1000.0 # 3D坐标相机坐标系 X (u - cx) * Z / fx Y (v - cy) * Z / fy print(f3D位置X{X:.3f}, Y{Y:.3f}, Z{Z:.3f})五、自动生成抓取姿态机械臂直接可用抓取姿态 3D 位置 (XYZ) 旋转角 (RPY)python运行# # 生成抓取位姿最终可发给机器人 # def get_grasp_pose(X, Y, Z, obj_w, obj_h): 输入物体3D坐标 宽高 输出抓取位姿 XYZ RPY 夹爪宽度 # 抓取点物体中心上方5mm grasp_x X grasp_y Y grasp_z Z 0.005 # 姿态垂直向下抓取可根据物体调整角度 roll 0.0 pitch 3.14159 yaw 0.0 # 夹爪开合宽度物体宽度 5mm余量 gripper_width obj_w 0.005 return [grasp_x, grasp_y, grasp_z, roll, pitch, yaw, gripper_width]六、最终输出机器人可直接执行plaintext抓取位姿 X: 0.235 m Y: 0.120 m Z: 0.450 m Roll: 0.0° Pitch: 180° Yaw: 0.0° 夹爪宽度: 0.08 m七、这套方案优势✅双目相机 YOLO-3D 工业最稳组合✅ 输出3D 坐标 抓取姿态直接抓✅ 模型导出 ONNX可放入ModelZoo✅ 支持相机 / 地平线 / 嵌入式部署✅ 抗干扰、速度快、精度高