欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022104095289
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于视觉的机器人抓取数据采集方法,其特征在于:包含如下步骤:步骤1:收集操作员在完整抓取过程随时间变化的第一人称视角与第三人称视角图像序列;

步骤2:从收集的第一人称视角图像序列中估计抓取运动轨迹;

步骤3:从收集的第三人称视角图像序列中估计手部关节姿态信息;具体包括:

3.1):首先利用基于机器学习的MediaPipe Hands检测方法得到每张抓取第三人称视角图像中的手掌信息;

3.2):从得到的手掌信息中提取21个手掌关节点的三维坐标信息;

3.3):利用手掌各关节点之间的约束关系得到每个关节的弯曲角度信息;

其中,Vec(n)代表手掌平面的法向量,Vec(a,b)代表从关节点a到关节点b的向量,Ax代表关节点弯曲角度,x代表关节点标号;

3.4):重复步骤3.2、3.3生成一次完整抓取中随时间变化的手掌姿态信息;

步骤4:将随时间变化的双视角图像组与对应的抓取运动轨迹和手部关节姿态信息合并为机器人抓取训练数据。

2.根据权利要求1所述的基于视觉的机器人抓取数据采集方法,其特征在于:步骤1具体包括:步骤1-1:首先利用硬性材料搭建一个立方骨架作为图像收集空间,在立方体的各面围上绿布,屏蔽收集环境影响;

步骤1-2:将一个深度相机相对于操作员固定在正上方,使用相机腕带将另一个深度相机固定在操作员的手腕上;将被抓取物体放置在操作空间底面中心,完成抓取环境的准备;

步骤1-3:在开始录制后,操作员完成一次完整的抓取过程后,停止录制;两个相机分别采集抓取过程的随时间变换的不同视角图像序列。

3.根据权利要求1所述的基于视觉的机器人抓取数据采集方法,其特征在于:所述步骤2具体包括:

2.1):首先使用SURF算法检测每张抓取第一人称视角图像的特征点,图像中的像素表示为I(x,y),x为像素横坐标,y为像素纵坐标,方框滤波模板尺寸为N×N,对应尺度为σ=1.2×9/N,像素的Hessian矩阵定义如下:式中Lxx(x,σ)是高斯滤波二阶导数Lxy(x,σ)、Lyy(x,σ)定义类似;求出Hessian矩阵的尺度极值,极值点即为候选特征点,再在尺度空间和图像空间中进行插值运算,得到稳定的特征点;

2.2):使用FLANN算法得到相邻两帧图像特征点的点匹配映射集合;首先针对前一帧图像的SIFT关键点,找到后一帧图像中与该点欧式距离最近的两个关键点,将更近的距离除以次近的距离,当比率低于阈值0.4时,关键点匹配成功;

2.3):使用最小二乘算法计算匹配关键点之间的刚性变换,得到两帧图像之间发生的刚性变换矩阵;

2.4):重复步骤2.2、2.3得到一次完整抓取所有图像之间的刚性变换矩阵组;

2.5):将手掌与深度相机之间的刚性变换矩阵与步骤2.4中得到的刚性变换矩阵组相乘,得到抓取过程中随时间变化的手掌运动轨迹。