1.一种灵巧手自适应抓取方法,其特征在于,包括:
获取多模态感知数据,其中,所述多模态感知数据包括:从抓取动作相对应的RGB-D图像中获取的抓取目标所对应的点云数据、灵巧手对抓取目标的触觉贴片信息;
在对所述点云数据进行处理,生成抓取目标对应的点云全局特征向量之后,将所述触觉贴片信息映射至灵巧手工作空间,生成模拟触觉信号;
利用Glow-CVAE条件生成模型,处理所述点云全局特征向量和所述模拟触觉信号,生成包括关节姿态和位姿参数的候选抓取手势集;其中,所述候选抓取手势集的每个候选抓取手势对应一个所述关节姿态和一个所述位姿参数,所述Glow-CVAE条件生成模型是根据预设训练模板图像的点云数据和所述预设训练模板图像对应的真实抓取手势信息训练生成的;
确定每个所述候选抓取手势所对应的稳定度,并根据所述稳定度,从所述候选抓取手势集的所有所述候选抓取手势中选取目标抓取手势,并以所述目标抓取手势对抓取目标进行抓取,其中,所述稳定度是根据灵巧手与抓取目标的接触匹配度、表面包络度、抓取穿透与自碰撞程度所确定的;
其中,利用Glow-CVAE条件生成模型,处理所述点云全局特征向量和模拟触觉信号,生成包括关节姿态和位姿参数的候选抓取手势集,包括:利用CVAE生成网络,将所述点云全局特征向量与所述模拟触觉信号进行向量拼接,生成第一联合特征;
利用所述Glow-CVAE条件生成模型的变分自编码器,对所述第一联合特征进行推断,生成后验分布参数,其中,所述后验分布参数包括分布参数均值向量和分布参数方差向量;
对所述分布参数均值向量和所述分布参数方差向量,进行重参数采样,生成隐变量;
在将所述隐变量和所述点云全局特征向量进行拼接,生成联合潜在特征向量后,利用所述Glow-CVAE条件生成模型的解码器对所述联合潜在特征向量进行解码,生成所述候选抓取手势集;
其中,利用CVAE生成网络,将所述点云全局特征向量与所述模拟触觉信号进行向量拼接,生成第一联合特征,包括:利用PointNet网络,将所述点云全局特征向量处理为抓取目标对应的物体特征向量,并利用所述PointNet网络,从所述模拟触觉信号中提取灵巧手对应的当前姿态特征向量;
将所述物体特征向量和所述当前姿态特征向量进行串联,生成多维向量,并通过所述CVAE生成网络的目标全连接层,从所述多维向量中提取联合分布信息,得到所述第一联合特征。
2.根据权利要求1所述的灵巧手自适应抓取方法,其特征在于,对所述点云数据进行处理,生成抓取目标对应的点云全局特征向量,包括:在对所述点云数据进行坐标规范化处理,生成规范化点云数据后,对所述规范化点云数据进行归一化处理,生成位于预设单位球内的归一化点云坐标,其中,一个所述归一化点云坐标表征一个所述点云数据对应的三维坐标,所述归一化处理包括以下处理:平移对齐、坐标尺度标准化;
利用与PointNet网络对应的多层感知机,将所有所述归一化点云坐标进行特征提取,得到对应的所述点云全局特征向量。
3.根据权利要求1所述的灵巧手自适应抓取方法,其特征在于,将所述触觉贴片信息映射至灵巧手工作空间,生成模拟触觉信号,包括:基于高斯核函数将所述触觉贴片信息映射至灵巧手工作空间,得到所述模拟触觉信号。
4.根据权利要求1所述的灵巧手自适应抓取方法,其特征在于,确定每个所述候选抓取手势所对应的稳定度,并根据所述稳定度,从所述候选抓取手势集的所有所述候选抓取手势中选取目标抓取手势,包括:基于按预设的目标函数所构建的改进型ContactNet网络,对每个所述候选抓取手势进行评估,得到与每个所述候选抓取手势所对应的多种抓取损失参数,其中,所述抓取损失参数至少包括以下之一:接触匹配度误差参数、表面包络度惩罚参数、抓取穿透损失参数、自碰撞损失,所述目标函数是基于多种所述抓取损失参数所对应的子函数所确定的;
将每个所述候选抓取手势所对应的所有所述抓取损失参数依次进行归一化处理和加权,得到每个所述候选抓取手势对应的总抓取损失值,其中,所述稳定度包括所述总抓取损失值;
从所述候选抓取手势集的所有所述候选抓取手势中,选取所述总抓取损失值最小的所述候选抓取手势,得到所述目标抓取手势。
5.根据权利要求4所述的灵巧手自适应抓取方法,其特征在于,利用所述改进型ContactNet网络对每个所述候选抓取手势进行评估,包括:基于抓取目标对应的所述点云数据,利用所述改进型ContactNet网络,预测所述点云数据中每个点所对应的期望接触分布概率;
根据所述点云数据和所述候选抓取手势,计算所述点云数据中每个点所对应的当前接触分布概率;
基于所述点云数据中所有点对应的所述期望接触分布概率和所述当前接触分布概率,进行均方误差计算,得到每个所述候选抓取手势所对应的接触匹配度误差,其中,所述接触匹配度误差参数包括所述接触匹配度误差。
6.根据权利要求4所述的灵巧手自适应抓取方法,其特征在于,利用所述改进型ContactNet网络对每个所述候选抓取手势进行评估,包括:利用所述改进型ContactNet网络,预测与每个所述候选抓取手势所对应的优化抓取手势;
计算所述点云数据的每个点与对应的所述优化抓取手势所对应的符号距离,并基于所述点云数据的所有点所对应的所述符号距离,确定所述优化抓取手势与抓取目标的签距场,得到对应的所述候选抓取手势所对应的抓取穿透损失参数。
7.一种灵巧手控制系统,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至6中任一项所述的灵巧手自适应抓取方法。
8.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的灵巧手自适应抓取方法。