1.一种融合RGB-D视觉特征的目标位姿估计方法,其特征在于,包括如下步骤:步骤S1:获取包含目标物体的RGB图像和深度图像;
步骤S2:将RGB图像输入至主干网络进行RGB特征提取和实例分割,获得多通道卷积特征图像和目标物体分割掩码;
步骤S3:利用目标分割掩码裁剪多通道卷积特征图像和深度图像,得到每个目标物体的图像卷积特征块和深度图像块;
步骤S4:对目标物体任意尺寸的图像卷积特征块进行空间金字塔池化,得到规范大小的目标RGB特征向量;
步骤S5、从深度图像块获取目标物体点云,并提取点云特征,获得点云特征向量;
步骤S6:融合目标RGB特征向量和点云特征向量,通过位姿回归网络进行目标位置估计和姿态估计,输出每个对应目标的类别C和6维位姿P。
2.根据权利要求1所述的一种融合RGB-D视觉特征的目标位姿估计方法,其特征在于,所述步骤S2具体包括如下步骤:步骤S21、利用主干网络对RGB图像进行特征提取,获得多个不同尺寸和通道的特征图;
步骤S22、利用步骤S21中得到的特征图进行实例分割,利用上采样、特征融合操作,获得目标在RGB图像中的实例分割掩码;
步骤S23、对步骤S21中得到的特征图进行上采样、特征融合操作,获得与输入的RGB图像相同尺寸的多通道卷积特征图像。
3.根据权利要求1所述的一种融合RGB-D视觉特征的目标位姿估计方法,其特征在于,步骤S5具体为:根据小孔成像模型,利用相机内参从包含目标的深度图像块中计算出三维点云,计算过程中通过随机采样或填充策略对点云数量进行删增,确保每个目标点云数量相同,最后利用一个点云特征网络获得目标规范大小的点云特征向量。
4.根据权利要求2所述的一种融合RGB-D视觉特征的目标位姿估计方法,其特征在于,所述步骤S21具体为:主干网络基于ResNet18卷积神经网络,舍弃网络层中的"layer4"与"fc"层,输出"layer2"和"layer3"层作为图像的卷积特征,其尺寸大小分别为输入图像的 和 特征通道数分别为128和256。
5.根据权利要求2所述的一种融合RGB-D视觉特征的目标位姿估计方法,其特征在于,所述步骤S22中的目标实例分割及所述S23中的多通道卷积特征图像的获取采用类似的网络结构,仅输出特征通道数不同,F1、F2、F3和F4为网络卷积处理过程中不同阶段特征图像的张量形式,其步骤如下:步骤S2231:从主干网络获取两种不同尺寸的卷积特征,数据张量形式分别为F1:F2: 其中H、W为输入图像的高度和宽度;
步骤S2232:对F2进行一倍上采样至 接着进行一个1×1卷积以融合各通道特征信息,并降低特征通道,输出一个特征层F3:步骤S2233:融合F1和F3,依次进行8倍上采样、1×1卷积特征融合,获得与输入图像尺寸一致的特征层F4:[128,H,W];
步骤S2234:采用不同的卷积策略完成多通道卷积特征图像获取与目标实例分割,多通道卷积特征图像获取保持F4的张量形式,目标实例分割降低特征通道至目标类别总数,获取类别C和分割掩码。
6.根据权利要求1所述的一种融合RGB-D视觉特征的目标位姿估计方法,其特征在于,所述步骤S3中,场景中各目标裁剪出的RGB特征形状、大小各异,对此构造一个目标边界框大小的矩形特征空间,填入裁剪后的目标RGB特征,对其余空间用0填充,具体为:利用获取的目标分割掩码从所述多通道卷积特征图像和输入深度图像中分别裁剪出与目标相同大小的图像卷积特征块和深度图像块。
7.根据权利要求1所述的一种融合RGB-D视觉特征的目标位姿估计方法,其特征在于,所述步骤S5、从深度图像块获取目标物体点云,并提取点云特征,获得点云特征向量,具体为:裁剪后的目标深度图像块表述为Di∈(ui,vi,I(ui,vi)),i=1,2,...,m,其中u,v为图像坐标,ui为目标物体点云的横向坐标,vi为目标物体点云的纵向坐标,I(u,v)为该点深度值,首先利用最远点采样或复制方法确保各目标m一致,其次利用相机内参和小孔成像模型从深度图像中获取点云(Xi,Yi,Zi):其中 构成相机内参K,fx、fy为透视模式下相机在x、y方向
上的等效焦距,cx、cy为相机光轴在图像坐标系x、y方向上的偏移;
点云特征网络采用PointNet结构,通过全局池化输出固定大小的点云特征向量。
8.根据权利要求1所述的一种融合RGB-D视觉特征的目标位姿估计方法,其特征在于,所述步骤S6具体为:融合目标RGB特征向量与点云特征向量后,分别输入位置和通过两个独立位姿回归网络估计出目标的位置信息和姿态信息,得到位置向量t和姿态矩阵R,最终组合成目标位姿矩阵T=[R|t;0,1],输出每个对应目标的类别C和6维位姿P,6维位姿P的输出包括目标位姿矩阵T=[R|t;0,1]的输出。
9.根据权利要求1所述的一种融合RGB-D视觉特征的目标位姿估计方法,其特征在于,还包括:步骤S7:利用目标位姿估计数据集中提供的RGB-D图像、图像中各目标物体分割掩码和位姿参数对步骤S6中提出的位姿回归网络进行训练。
10.根据权利要求9所述的一种融合RGB-D视觉特征的目标位姿估计方法,其特征在于,所述步骤S7中位姿估计网络训练方法具体为:步骤S71:实例分割网络学习,获取数据集中的RGB图像和对应目标分割掩码输入到网络中,学习主干网络、实例分割模块及对应上采样模块的网络层参数,所采用损失函数为逐像素的交叉熵(Cross Entropy)计算,先利用SoftMax函数对分割结果中各像素进行类别概率估计:其中,(u,v)为输出特征像素坐标,j为通道数量,也即目标类别总数,特别的,w=0表示类别为背景的概率,为索引变量;通过计算输出概率与分割掩码的交叉熵作为损失:LossCE=-∑(u,v)cwlog(Pw)
其中,wi=1,w为分割掩码中(u,v)处所属类别,Pi为上述式子P(w,u,v)计算得到,遍历了整个图像,其求和范围直接用(u,v)表示;
步骤S72:固定主干网络和实例分割网络参数,输入RGB-D图像,利用各目标物体位置参数和姿态参数对网络剩余部分进行训练,采用的损失函数计算如下:Loss=Losst+αLossR
其中, 和 分别为网络预测位姿和数据集中位姿真实值,α为权重因子,用于调节两种不同损失函数对网络的影响。