1.一种融合点云局部特征的6D位姿估计方法,其特征在于,包括以下步骤:步骤S1:通过三维相机获取对象的图像,对象的图像分为RGB图像与深度图像;提取RGB图像的特征信息;
步骤S2:将RGB图像的特征信息输入一个四级金字塔场景解析网络,解析得到RGB图像的场景颜色信息;
步骤S3:将深度图像转化为深度点云信息,将深度点云信息输入到一个局部点云网络,局部点云网络通过将局部区域中的点密集连接为局部点网,从而解析得到深度图像的深度信息;
步骤S4:将得到的场景颜色信息和深度图像的深度信息进行局部逐像素密集融合,之后再结合密集融合的全局特征,生成每个像素点的估计位姿;
步骤S5:将所有像素点的估计位姿输入最终的多层感知机,再对置信度进行平均最大池化,采用回归的方式预测得到对象的6D位姿。
2.如权利要求1所述的融合点云局部特征的6D位姿估计方法,其特征在于,所述步骤S1包括如下步骤:
首先,使用三维相机分别获取对象的RGB图像与深度图像,再将RGB图像输入到一个预先训练好的ResNet18网络,提取RGB图像的特征信息。
3.如权利要求1所述的融合点云局部特征的6D位姿估计方法,其特征在于,所述步骤S2包括如下步骤:
步骤S201:将步骤S1获取的特征信息输入一个拥有四级模块的金字塔场景解析网络,其各级大小分别为1×1、2×2、3×3和6×6。该网络首先逐级对输入信息进行自适应平均池化,随后将池化结果均输入一个1*1的卷积神经网络,再对其进行上采样,最后得到与原始特征相同大小的特征。
步骤S202:将金字塔场景解析网络四级模块输出的多级信息与步骤S1获取的特征信息进行融合,获取输入场景的颜色信息。
4.如权利要求1所述的融合点云局部特征的6D位姿估计方法,其特征在于,所述步骤S3包括如下步骤:
步骤S301:将步骤S1获取的场景深度信息输入一个局部点云网络中,将局部区域中的点密集连接为局部点网;
步骤S302:对于每个选定的局部区域X及局部区域的特征集Y={Y1,Y2,…,YM},建立一个组合特征的函数f(Yi,Yj),其中,M表示局部区域中所采样的总点数,Yi表示局部区域中第i个采样点的特征向量,Yj表示局部区域中第j个采样点的特征向量;
将两个特征向量之间的差值组合为两个特征向量相互之间的影响,公式表示为:f(Yi,Yj)=Yi‑Yj
步骤S303:使用多层感知机来计算影响函数Feft,计算公式表示为:Feft(Yi,Yj)=MLP(f(Yi,Yj));
式中,MLP()表示多层感知机;Feft(Yi,Yj)表示Yj对Yi的最终影响指标;
步骤S304:建立一个特征关联函数Flink(Yi,Yj),并且在特征关联函数中包含Yi的自影响,计算公式表示为:
步骤S305:构建一个特征调制器Fm(),因各个选定的局部区域的不同特征对Yi的影响不同,通过Adam优化器自适应地学习Y中每个特征对每个Yi的影响量来交换和整合特征集Y中的信息;特征调制器Fm()计算公式表示为:其中,Fm(Yi,Y)表示其余特征对Yi影响的特征调制器;
步骤S306:构建一种自适应特征调整模块,通过学习局部邻域内的上下文信息来增强Y中的点特征,以获取每个点对其它点的影响,从而调整每个点的特征,计算公式为:式中Y′i是Yi调整后的特征,ΔYi是通过特征调制器Fm从Y中学习而来的变量;
步骤S307:将调整后的特征Y′i输入进多层共享感知机,之后进行最大池化,在每个局部区域的整个空间和所有通道中进行进一步的信息融合,最终得到融合点云局部特征的深度信息。
5.如权利要求1所述的融合点云局部特征的6D位姿估计方法,其特征在于,所述步骤S4包括如下步骤:
步骤S401:将场景颜色信息、深度图像的深度信息进行局部逐像素密集融合,生成逐像素的密集融合特征。
步骤S402:将逐像素点的密集融合特征输入多层感知机,随后再进行平均池化,得到逐像素密集融合后的全局特征;
步骤S403:将逐像素密集融合后的特征与全局特征结合起来,生成逐像素点的估计位姿;
步骤S404:若对象为非对称物体,则对象的位姿估计损失函数 为采样点的地面真实位姿与预测位姿之间的平均欧式距离,计算公式表示为:式中 为采样点的地面真实位姿与预测位姿之间的平均欧式距离,M表示采样的总点数,xj表示采样的M个点中的第j个点,(Rxj+t)为第j个点的真实位姿,(R′ixj+t′i)为其第j个点中的预测位姿,R表示世界坐标系到相机坐标系转换的真实旋转矩阵,t表示世界坐标系到相机坐标系转换的真实平移矩阵,R′i表示世界坐标系到相机坐标系转换的估计旋转矩阵,t′i表示世界坐标系到相机坐标系转换的估计平移矩阵;
步骤S405:若对象为对称物体,则位姿估计损失函数 为采样点的地面真实位姿与预测位姿之间的欧式距离最小值的平均值,计算公式表示为:式中M表示采样的总点数,xj表示采样的M个点中的第j个点,(Rxj+t)为第j个点的真实位姿,(R′ixk+t′i)为从第k个点中预测的预测位姿,其余解释同S404;
步骤S406:之后通过训练学习,不断降低损失函数的值,最终选择损失函数值最小的作为逐像素点的预测位姿。
6.如权利要求5所述的融合点云局部特征的6D位姿估计方法,其特征在于,所述步骤S5包括如下步骤:
步骤S501:得到逐像素点的预测位姿后,将其输入最终的共享感知机,回归输出对象整体的预测6D位姿与所预测6D位姿的置信度分数。
步骤S502:将对象的位姿估计损失函数与置信度分数结合形成对象整体6D位姿估计的损失函数,整体损失函数L的计算公式表示为:式中α是一个平衡超参数, 为位姿估计的损失函数,si为每个预测位姿的置信度分数,K是从分割的P个元素中随机抽取的密集像素特征的个数;
步骤S503:过训练学习,不断降低对象整体损失函数的值,最终选择整体损失函数值最小的输出作为对象的整体估计位姿。