1.一种同型号多目标工件的抓取位姿估计方法,其特征在于,所述方法包括:S1、搭建抓取位姿预测网络,该网络包括依次连接的特征提取增强模块、场景分割模块和解码预测模块;
S2、在目标工件的CAD模型表面均匀采样,得到目标工件的模型点云,使用3D相机扫描真实场景下同型号的多个目标工件,得到多个目标工件的场景点云;
S3、使用特征提取增强模块对模型点云与场景点云分别进行特征提取和特征增强,相应得到第一模型点云特征、第一场景点云特征、第二模型点云特征和第二场景点云特征;
S4、将第一模型点云特征和第一场景点云特征输入到场景分割模块中处理,从第一场景点云特征中提取出同型号多个目标工件对应的点云特征;
S5、将第二模型点云特征、第二场景点云特征和分割出的同型号多个目标工件对应的点云特征输入到解码预测模块中处理,得到同型号多个目标工件对应的预测位姿,对预测位姿使用非极大值抑制,为每个目标工件选取出一个最优预测位姿,由此得到同型号多个目标工件对应的估计抓取位姿;
S1中的特征提取增强模块包括并行连接的两个分支,第一分支包括并行连接的第一全连接网络和第一动态图卷积网络,第二分支包括第二全连接网络、第二动态卷积网络以及第一自注意力网络,其中第二全连接网路与第二动态卷积网络并行连接,第二动态卷积网络与第一自注意力网络顺序连接,第一全连接网络和第二全连接网络的网络结构和参数均相同,第一动态图卷积网络和第二动态图卷积网络的网络结构和参数也均相同;
S3具体过程如下:
S31、使用体素降采样法分别对模型点云与场景点云进行降采样,得到降采样处理后的模型点云与场景点云;
S32、特征提取增强模块中的第一全连接网络和第二全连接网络分别将降采样处理后的模型点云与场景点云的坐标信息提取到更高维度,得到模型点云高维坐标和场景点云高维坐标;
S33、特征提取增强模块中的第一动态图卷积网络和第二动态图卷积网络分别对降采样处理后的模型点云和场景点云进行高维特征提取,相应得到模型点云高维特征与第一场景点云特征;
S34、特征提取增强模块中的第一自注意力网络对模型点云高维特征进行特征增强,得到具有全局特征的第一模型点云特征;
S35、将模型点云高维坐标嵌入到第一模型点云特征,得到第二模型点云特征,将场景点云高维坐标嵌入到第一场景点云特征,得到第二场景点云特征;
S1中的场景分割模块包依次连接的第一交叉注意力网络和第三全连接网络,S4具体过程如下:S41、将第一模型点云特征和第一场景点云特征输入到第一交叉注意力网络处理,得到分类特征;
S42、将分类特征输入到第三全连接网络处理,得到预测的点云分类;
S43、使用预测的点云分类从分类特征中提取出同型号多个目标工件对应的点云特征;
S1中的解码预测模块包括依次连接的第二自注意力网络、第二交叉注意力网络、第一前馈网络、第三自注意力网络、第三交叉注意力网络、第二前馈网络以及解码器;
S5中将第二模型点云特征、第二场景点云特征和分割出的同型号多个目标工件对应的点云特征输入到解码预测模块中处理,得到同型号多个目标工件对应的预测位姿,具体过程如下:S51、第二自注意力网络接收同型号多个目标工件对应的点云特征并处理,得到第一特征;
S52、第二交叉注意力网络接收第二场景点云特征与第一特征并处理,得到第二特征,将第二特征输入至第一前馈网络处理,得到第三特征,将第三特征输入至第三自注意力网络处理,得到第四特征;
S53、将第四特征与第二模型点云特征输入至第三交叉注意力网络处理,得到第五特征,将第五特征输入至第二前馈网络处理,得到解码特征,将解码特征输入至解码器,得到同型号多目标工件对应的预测位姿;
S54、用解码特征替换同型号多个目标工件对应的点云特征,并重复执行S51至S53,直到达到预设的循环次数,输出最后一次得到的同型号多目标工件对应的预测位姿。
2.如权利要求1所述的同型号多目标工件的抓取位姿估计方法,其特征在于,S2具体过程如下:S21、预设目标工件CAD模型点云的采样密度,使用三角形网格将目标工件的CAD模型转换为三维网格,通过在三维网格的每个三角形上以预设的采样密度均匀采样,由此生成目标工件的模型点云;
S22、通过3D相机拍摄真实场景下包含了待抓取的同型号多个目标工件的深度图像;
S23、通过深度图像的深度值将深度图像中的每个像素点转换为相应的三维坐标并进行滤波处理,得到每个像素点滤波后的坐标,深度图像中所有像素点滤波后的坐标构成多个目标工件的场景点云。
3.如权利要求2所述的同型号多目标工件的抓取位姿估计方法,其特征在于,S23中通过深度图像的深度值将深度图像中的每个像素点转换为相应的三维坐标并进行滤波处理,得到每个像素点滤波后的坐标,具体可用公式表示为:其中,
4.如权利要求1所述的同型号多目标工件的抓取位姿估计方法,其特征在于,S33中特征提取增强模块中的第一动态图卷积网络对降采样处理后的模型点云进行高维特征提取,相应得到模型点云高维特征,具体过程如下:S331、对降采样处理后的模型点云进行b点最近邻搜索,然后进行第一次二维卷积、激活处理,得到第一激活特征,在第一激活特征的最后一个维度上取最大值,得到第一局部特征;
S332、对第一激活特征进行第二次二维卷积、激活处理,得到第二激活特征,在第二激活特征的最后一个维度上取最大值,得到第二局部特征;
S333、对第二激活特征进行第三次二维卷积、激活处理,得到第三激活特征,在第三激活特征的最后一个维度上取最大值,得到第三局部特征;
S334、对第三激活特征进行第四次二维卷积、激活处理,得到第四激活特征,在第四激活特征的最后一个维度上取最大值,得到第四局部特征;
S335、将第一局部特征、第二局部特征、第三局部特征和第四局部特征进行融合,得到降采样处理后的模型点云对应的高维特征。
5.一种同型号多目标工件的抓取系统,其特征在于,该系统包括图像采集模块、机械臂、抓取位姿预测网络、目标工件的CAD模型以及计算机系统,抓取位姿预测网络和目标工件的CAD模型均设置在计算机系统中,图像采集模块和机械臂分别与计算机系统连接,其中:图像采集模块用于获取真实场景下包含同型号多个目标工件的图像,并将图像发送至计算机系统;
计算机系统用于接收图像进行处理,得到同型号多个目标工件的场景点云;还用于从目标工件的CAD模型中获取目标工件的模型点云;
抓取位姿预测网络用于接收同型号多个目标工件的场景点云和模型点云,并采用如权利要求1至4任一项所述的一种同型号多目标工件的抓取位姿估计方法进行位姿估计,得到多个目标工件中的每个目标工件的估计抓取位姿;
机械臂接收多个目标工件的估计抓取位姿并通过机械臂的末端执行机构完成对多个目标的抓取。