1.一种抓取可供性改进Q网络的推动-抓取奖励设计方法,其特征在于,所述方法包括:S1、采集工作场景的RGB-D图像信息经投影变换获取彩色高度图像、深度高度图像;
S2、将彩色高度图像和深度高度图像作为输入,分别输入到推动网络FCNpush和抓取网络FCNgrasp以及预训练好的抓取可供性网络内,依次产生像素级别的累积奖励期望值、、和可供性值 ;
S3、判断推动动作执行后可供性变化量是否超过设定阈值:若是,则给予该推动动作正向奖励;
若否,则不给予动作奖励;
选取场景中最小抓取对象像素值占比计算出的抓取可供性数值为设定阈值,进一步判断是否存在可供性数值不小于1的像素数量超过设定阈值的情况:若存在,那么优先对场景中可供抓取的物体采取抓取操作;反之执行推动动作;
步骤S2中:
对推动动作前后场景的16个方向的可供性图像进行累加并作差与设定阈值比较,来构建推动动作的奖励函数;对于推动动作前后抓取可供性数值变化量大于可供性设定阈值的推动动作,其奖励设为0.5,其他为0,推动动作奖励函数的计算公式为:;
其中,i为可供性图像对应的方向索引,为推动动作前的彩色高度图,为推动动作前的深度高度图,为推动动作后的彩色高度图,为推动动作后的深度高度图,为执行推动动作后的第i个方向的可供性图像,为执行推动动作前的第i个方向的可供性图像,为可供性阈值;
步骤S3中实现推动和抓取协同策略的公式为:
;
其中建模为当前时刻t场景下的RGB-D高度图图像,是Q网络的参数,为推动动作累计奖励期望,为抓取动作累计奖励期望,为可供性图像数值不小于1的像素个数,为抓取可供性阈值。
2.根据权利要求1所述的一种抓取可供性改进Q网络的推动-抓取奖励设计方法,其特征在于:所述抓取可供性网络的构建方式为:在ImageNet上预训练一个并行的121层DenseNet网络;
进行通道联级,再加上2个额外的1×1卷积层与非线性激活函数(ReLU)和空间批归一化处理后进行上采样;
通过一个DenseNet网络将高度图的颜色通道作为输入,另一个DenseNet网络将高度图的深度通道作为输入。
3.根据权利要求1所述的一种抓取可供性改进Q网络的推动-抓取奖励设计方法,其特征在于:所述抓取可供性网络的预训练方式为:对VPG训练过程中的不少于3000次操作进行数据收集,收集彩色高度图像和深度高度图像以及执行动作的角度和像素位置信息,创建与输入图像大小相同的零矩阵,建立抓取动作可供性的标签;
对于抓取动作:如果机器人夹爪手指之间对端距离超过设定阈值,那么该抓取动作的像素位置点标签设置为1;
将抓取动作可供性标签、抓取动作的彩色高度图像和深度高度图像以及像素位置信息分别输入搭建好的网络模型内;
提取图像相关特征进行特征拼接后经过归一化和卷积处理,然后上采样获取抓取可供性预测数值,并使用Huber损失函数进行迭代训练;
损失函数计算公式为:
;
其中,是迭代i次时神经网络的参数,为目标网络参数且在每次更新时保持固定;只通过单个像素p在网络中反向传递梯度,通过网络前向传播计算执行动作的可供性数值预测;所有其他像素在迭代i次时反向传播损失为0。
4.根据权利要求1所述的一种抓取可供性改进Q网络的推动-抓取奖励设计方法,其特征在于:所述步骤S1中彩色高度图像、深度高度图像的获取方式为:在当前时刻t下,由深度相机采集工作场景的RGB-D图像,将彩色图像与深度图像的每个像素通过内外参矩阵从相机坐标系转换到机械臂坐标系下,得到一系列点云,然后将属于工作环境内的点云沿重力方向映射到二维平面,得到彩色图像高度图与深度图像高度图。
5.根据权利要求1所述的一种抓取可供性改进Q网络的推动-抓取奖励设计方法,其特征在于,还包括:对抓取动作的奖励函数的设计:对于抓取动作而言,采用稀疏的奖励函数,计算公式为:
。
6.根据权利要求1-5任一项所述的一种抓取可供性改进Q网络的推动-抓取奖励设计方法,其特征在于,基于所述方法设置了推动动作的奖励函数和推动与抓取策略的协同机制模型,所述模型包括基于深度Q网络的视觉推动抓取模块和预训练好的抓取可供性网络模块。