1.基于深度学习的机器人连接件六自由度位姿估计系统,其特征在于,包括如下步骤:
步骤1、利用虚拟现实技术制作数据集,包括如下步骤:
步骤11、采用虚幻引擎4为基础,导入物体模型全自动生成6D位姿估计的虚拟数据集从而对数量较少的现实数据进行扩展,形成混合数据集;
步骤12、对单目视觉机器人连接件分拣场景,采用随机掩模局部处理方法对数据集进行改进,优化网络在处理物体遮挡情况时的准确度,通过实验比较相同网络在混合数据集中训练结果,在物体6D位姿检测中常用的评价标准是平均模型点的3D距离,将估计位姿下的3D模型点和真值位姿下的3D模型点计算平均距离偏差,如果偏差小于物体直径的10%则为位姿估计正确,即阈值为0.1m,其评价公式如下:式中,Rest为预测旋转矩阵,Test为预测的平移矩阵,R为真值的旋转矩阵,T为真值的平移矩阵,Pi为物体中的3D点;
步骤13、将阈值设定为0.1m,当ADD值小于该阈值时认为姿态估计正确,若ADD值大于该阈值则认为检测失败,将每类物体各个阈值下的ADD值进行计算,然后计算在各阈值下的ADD通过率如下式所示:其中,TP为正确检出位姿,FN即检测错位位姿;
运行环境为Python环境,通过混合数据集训练60个epoch后的网络预测效果好于现实数据集;
步骤2、改进DOPE算法对连接件进行6D位姿估计,包括如下步骤:
步骤21、采用了VGG19的前10个卷积层进行特征提取,后面拼接两个卷积层将特征维度控制在128,使用ImageNet的预训练模型为初始参数,相比于其他算法使用语义分割后的感兴趣区域进行特征提取,DOPE算法使用完整图片进行训练,并添加前景和背景信息;
步骤22、DOPE算法的位姿估计思路是不对物体的旋转矩阵R和平移矩阵T进行直接预测,而是估计物体3D最小包围盒8个顶点在2D图像中的投影点坐标加物体形心在2D图像中的投影坐标,将原本的6D位姿估计问题转换为9个关键点检测问题,通过这种转换可以仅通过RGB图像完成对物体位姿的估计而不需要输入点云数据,在位姿估计模型中,一是对于物体3D最小包围框8个顶点以及1个物体形心位置共9个点的预测,该预测结果为置信图;二是对于最小包围盒8个顶点指向物体质心位置的矢量预测,该预测结果为矢量场;在置信图中数据维度为batchsize*9*50*50,其中9代表顶点数,而50*50代表置信图大小,每个顶点分别存储在一个50*50大小的图像中,其中每个像素值代表顶点在该处的概率大小,将置信图通过上述采样与图像对齐,置信图中每个像素存储的像素值为0≤x≤1,数值含义为存在顶点的概率值,此放大为0≤x≤255,置信图的预测过程可用公式表示:{P1,P2,....,P9}=f(F,φ) (3)
式中,{P1,P2....,P9}为预测出的顶点的位置,f为置信网络预测图,F为输入特征图,φ为置信图预测网络参数;
步骤3、搭建机器人连接件位姿估计抓取平台,将算法作为一个节点在ROS上运行,在进行抓取工作前,需进行工作台的标定和工具的标定,之后进行手眼标定,在重复进行抓取实验中,通过网络估计处待抓取零件位姿,根据转换矩阵计算,将相机坐标系下位姿转换成机械臂坐标系下位姿,将结果输入示教器中进行自动路径规划对零件进行抓取,成功抓取零件则为通过。