欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024119453562
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种多尺度零部件抓取姿态估计方法,其特征在于,所述方法包括以下步骤:S100:获取若干张包含目标零部件的场景图像并分别标注每个像素坐标作为抓取矩形中心时有效抓取姿态的抓取质量、夹爪宽度以及旋转数值矩阵,得到数据集;

S200:搭建姿态估计神经网络模型,包括依次连接的图像切块编码模块、滑动窗口保留注意力特征编码模块、多尺度空间金字塔感知模块以及窗口保留注意力特征解码模块;其中,窗口保留注意力特征解码模块和滑动窗口保留注意力特征编码模块还采用跳跃形式连接;

S300:将数据集输入至图像切块编码模块进行卷积编码,输出编码特征序列;

S400:滑动窗口保留注意力特征编码模块接收编码特征序列,分别以不同大小的感知窗口进行序列分割,相邻滑动窗口间距小于感知窗口的尺寸,切割后的编码特征序列以窗口为单位分别应用保留注意力机制,并将处理后的特征序列恢复到分割前位置,重叠部分采用加权平均的形式处理,得到不同窗口感知到的特征信息;

滑动窗口保留注意力特征编码模块包括第一个归一层、滑动窗口多头保留注意力层、第二个归一层和多层感知机,滑动窗口多头保留注意力层输入大小为,编码输出大小为,卷积核大小为,卷积核步长为,S400包括:S410:滑动窗口保留注意力特征编码模块接收编码特征序列,将编码特征序列拆分为二维序列,经过第一个归一化层后输入到滑动窗口多头保留注意力层,并以窗口大小对二维编码特征序列进行切割,相邻窗口间距为,切割后的编码特征序列以窗口为单位分别应用保留注意力机制,并将处理后的特征序列恢复到拆分前位置,重叠部分采用加权平均的形式处理,并展开至一维序列形式,展开后的序列输入到第二个归一层进行归一化,归一后的特征序列输入多层感知机进行特征优化,具体为:;

;

;

;

;

;

;

式中表示滑动窗口切割操作,表示切割后窗口个数,为切割窗口大小,表示保留注意力机制,表示归一层归一化操作,表示多层感知机,表示滑动窗口保留注意力特征编码模块的高维特征输出,、、均为保留注意力计算过程中产生的可学习参数矩阵,表示归一化的特征序列,表示滑动窗口切割后的特征序列,表示经过保留注意力优化后的特征序列,为注意力分数的权重矩阵,与分别代表特征矩阵的行与列,表示编码特征序列,表示编码特征维度,表示输入的图像数据;

S420:重复上述步骤,改变切割窗口大小,使其产生不同感知窗口大小的特征信息,对于增大感知窗口造成产生序列变短情况进行补零对齐,以此搭建多尺度金字塔特征序列;

S500:多尺度空间金字塔感知模块接收并融合多窗口感知到的特征信息,不同感知视野的特征信息相互补充,输出优化后兼具全局与局部的优化特征序列;

S600:窗口保留注意力特征解码模块接收优化特征序列进行解码,输出抓取姿态,其中,抓取姿态包括抓取质量、抓取角度和抓取宽度;

S700:设置损失函数计算训练姿态估计损失值并依据梯度情况更新网络参数,得到训练好的姿态估计神经网络模型,完成工业真实抓取作业场景图像的抓取姿态估计,依据估计的抓取姿态完成抓取作业任务。

2.根据权利要求1所述的方法,其特征在于,抓取姿态表示为以抓取宽度为长,夹爪固定宽度为宽,以图像坐标系轴与抓取矩形长边最小锐角为旋转角度的形式,其中,夹爪固定宽度取决于夹爪物理特性,为固定值,不参与姿态估计,抓取姿态具体用公式表示为:;

;

式中为场景内目标物体抓取姿态集合,分别为以标注的每个像素坐标为抓取矩形中心时有效抓取姿态的抓取质量、抓取宽度以及抓取角度,与分别表示输入图像的高与宽。

3.根据权利要求2所述的方法,其特征在于,图像切块编码模块包括一个二维卷积层,卷积层输入大小为输入图像通道,编码输出大小为,卷积核大小和步长为图像切块大小,S300包括:从数据集中任意选取一幅图像,使用固定尺寸的卷积核对图像进行卷积编码,得到编码特征序列,序列维度为一;其中,卷积核尺寸可整除图像尺寸,卷积核前进步长与卷积核大小一致,具体为:;

式中,表示输入的图像数据,表示一次卷积操作,表示编码特征序列,表示编码特征维度。

4.根据权利要求3所述的方法,其特征在于,多尺度空间金字塔感知模块包括保留注意力计算层,S500包括:对搭建的多尺度金字塔特征序列应用保留注意力,对同一层的序列,即同一感知窗口大小产生的序列应用通道保留注意力;此后,拼接不同层的序列,即不同感知窗口大小分别产生的序列并应用空间保留注意力,得到优化后的特征序列,具体为:;

;

;

;

式中表示序列通道间保留注意力,用于计算特征维度间的权重系数并优化特征表示,表示第次窗口大小改变,表示特征序列间保留注意力,用于计算序列通道间的权重系数并优化特征表示,表示特征序列拼接操作,表示多尺度金字塔感知模块的输出,即优化后的特征序列,表示应用通道保留注意力之后的特征序列,表示多感知窗口产生的特征序列的拼接序列。

5.根据权利要求4所述的方法,其特征在于,窗口保留注意力特征解码模块包括第一个归一层、窗口多头保留注意力层、第二个归一层、多层感知机和特征映射层,多尺度金字塔感知模块产生的输入经过第一个归一层归一化后输入到窗口多头保留注意力层中分别进行切割与保留注意力优化,优化后产生的特征序列输入到第二个归一层进行归一化,归一化后的特征序列与上一层窗口注意力层输出以及对称的滑动窗口注意力层输出加权后通过多层感知机进行特征细化,细化后的特征输入映射层映射出抓取姿态,S600包括:;

;

;

;

;

;

;

;

式中表示窗口切割操作,表示第层窗口注意力层输出,表示第层滑动窗口注意力层输出,表示特征映射层, 与分别表示窗口的高和宽,表示窗口个数,表示归一化后的特征序列,表示窗口切割操作后产生的特征序列,表示保留注意力优化后特征序列,表示多层感知机,表示多层感知机的输出。

6.根据权利要求5所述的方法,其特征在于,S400中损失函数为均方误差损失函数,具体为:;

;

;

;

;

;

式中、、分别表示检测器预测抓取分数、抓取宽度、抓取角度与真实值之间的损失,表示预测值,表示真实值,分别表示加权系数。

7.一种多尺度零部件抓取姿态估计系统,其特征在于,包括数据集获取模块、姿态估计神经网络模型搭建模块、图像切块编码模块、滑动窗口保留注意力特征编码模块、多尺度空间金字塔感知模块、窗口保留注意力特征解码模块以及模型训练和抓取姿态估计模块;

数据集获取模块,用于获取若干张包含目标零部件的场景图像并分别标注每个像素坐标作为抓取矩形中心时有效抓取姿态的抓取质量、夹爪宽度以及旋转数值矩阵,得到数据集;

姿态估计神经网络模型搭建模块,用于搭建姿态估计神经网络模型,包括依次连接的图像切块编码模块、滑动窗口保留注意力特征编码模块、多尺度空间金字塔感知模块以及窗口保留注意力特征解码模块;其中,窗口保留注意力特征解码模块和滑动窗口保留注意力特征编码模块还采用跳跃形式连接;

图像切块编码模块,用于接收数据集并进行卷积编码,输出编码特征序列;

滑动窗口保留注意力特征编码模块接收编码特征序列,分别以不同大小的感知窗口进行序列分割,相邻滑动窗口间距小于感知窗口的尺寸,切割后的编码特征序列以窗口为单位分别应用保留注意力机制,并将处理后的特征序列恢复到分割前位置,重叠部分采用加权平均的形式处理,得到不同窗口感知到的特征信息;滑动窗口保留注意力特征编码模块包括第一个归一层、滑动窗口多头保留注意力层、第二个归一层和多层感知机,滑动窗口多头保留注意力层输入大小为,编码输出大小为,卷积核大小为,卷积核步长为,滑动窗口保留注意力特征编码模块包括:接收编码特征序列,将编码特征序列拆分为二维序列,经过第一个归一化层后输入到滑动窗口多头保留注意力层,并以窗口大小对二维编码特征序列进行切割,相邻窗口间距为,切割后的编码特征序列以窗口为单位分别应用保留注意力机制,并将处理后的特征序列恢复到拆分前位置,重叠部分采用加权平均的形式处理,并展开至一维序列形式,展开后的序列输入到第二个归一层进行归一化,归一后的特征序列输入多层感知机进行特征优化,具体为:;

;

;

;

;

;

;

式中表示滑动窗口切割操作,表示切割后窗口个数,为切割窗口大小,表示保留注意力机制,表示归一层归一化操作,表示多层感知机,表示滑动窗口保留注意力特征编码模块的高维特征输出,、、均为保留注意力计算过程中产生的可学习参数矩阵,表示归一化的特征序列,表示滑动窗口切割后的特征序列,表示经过保留注意力优化后的特征序列,为注意力分数的权重矩阵,与分别代表特征矩阵的行与列,表示编码特征序列,表示编码特征维度,表示输入的图像数据;

重复上述步骤,改变切割窗口大小,使其产生不同感知窗口大小的特征信息,对于增大感知窗口造成产生序列变短情况进行补零对齐,以此搭建多尺度金字塔特征序列;

多尺度空间金字塔感知模块接收并融合多窗口感知到的特征信息,不同感知视野的特征信息相互补充,输出优化后兼具全局与局部的优化特征序列;

窗口保留注意力特征解码模块接收优化特征序列进行解码,输出抓取姿态,其中,抓取姿态包括抓取质量、抓取角度和抓取宽度;

模型训练和抓取姿态估计模块,用于设置损失函数计算训练姿态估计损失值并依据梯度情况更新网络参数,得到训练好的姿态估计神经网络模型,完成工业真实抓取作业场景图像的抓取姿态估计,依据估计的抓取姿态完成抓取作业任务。