1.一种单目红外热成像视觉机械手抓取物体姿态估计装置,其特征在于,所述装置搭载于烟雾、燃爆环境下工作的特种机器人所负载的机械手上,所述装置包括:单目红外热成像摄像头,用于在烟雾、燃爆环境中成像,采集红外热成像视觉图像;
激光测距模块,搭载于单目红外热成像摄像头底端并配准其测距点和红外图像中心点相重合,用于对抓取物体进行测距;
边缘计算平台,用于根据红外成像视觉图像以及测距结果,对抓取的物体进行检测定位、姿态估计以及提取坐标参数,并进行机械手运动路径规划;
所述边缘计算平台包括:
标定子模块,用于对单目红外热成像摄像头与机械手进行手眼标定,确定单目红外热成像摄像头与机械手夹持器的位置坐标关系;
目标检测子模块,用于基于位置坐标关系,利用红外能量分布注意力红外显著检测网络对机械手所面对的可抓取红外显著性目标进行检测、定位与分割,得到若干个红外显著性目标检测结果;
所述红外能量分布注意力红外显著检测网络包括编码器和解码器;
所述编码器分为第一特征提取阶段、第二特征提取阶段、第三特征提取阶段和第四特征提取阶段4个特征提取阶段,并利用特征图下采样机制,提取4个不同尺度与感受野的红外特征图,在每个特征提取阶段的编码器与解码器中插入红外能量分布增强注意力单元,增强提取的红外特征,得到红外能量分布注意增强特征图,并通过全尺度聚合构架输入解码器的增强红外特征图进行多尺度复用;
所述解码器采用第一特征复用融合单元、第二特征复用融合单元、第三特征复用融合单元以及第四特征复用融合单元4个特征复用融合单元融合多尺度增强红外特征图,并通过逐级上采样机制恢复特征图分辨率,得到若干个红外显著性目标检测结果;
所述融合多尺度增强红外特征的表达式如下:
其中,Ffi′表示解码器中第i′阶段的多尺度融合特征图,i′∈[1..4],Fused(·)表示解码器中融合模块的融合操作,Fei′、Fej和Fer分别表示第i′、r和j阶段的红外能量分布注意力增强特征图,i′,r,j∈[1..4],Sj(·)表示第j阶段的上采样操作,Dr(·)表示第r阶段的下采样操作;
选定目标子模块,用于基于若干个红外显著性目标检测结果,选定当前的抓取目标;
所述选定目标子模块包括:
第一判断单元,用于基于若干个红外显著性目标检测结果,判断若为手动指定抓取目标,则利用手动选定当前的抓取目标;
第二判断单元,用于基于若干个红外显著性目标检测结果,判断若为自动选择抓取目标,则对分割出的显著性区域进行测量,并选定区域温度最高的目标进行抓取;
第三判断单元,用于判断抓取目标前方是否存在遮挡物,若是,则抓取遮挡物放至旁边,并选定当前的抓取目标,否则,直接选定当前的抓取目标;
坐标提取子模块,用于根据选定的当前抓取目标进行物体姿态估计,获取抓取目标对单目红外摄像头的坐标关系;
所述坐标提取子模块包括:
抓取目标形心确定单元,用于根据选定的当前抓取目标,确定该抓取目标形心,并以该抓取目标形心为中心点做水平与垂直方向上相交的垂线;
抓取点确定单元,用于旋转所述垂线,并计算水平方向垂线到分割边缘的距离,选取其中最小距离的两个边缘点为物体抓取点,得到抓取目标对红外摄像头的坐标关系;
所述物体抓取点的表达式如下:
Dxmin=Min(Dx(θ))θ∈(0,360)
Gl(x,y)=(xl,yl)Dx=Dxmin
Gr(x,y)=xr,yr)Dx=Dxmin
其中,Dxmin表示水平垂线上抓取目标形心到水平方向两个边缘点的最小距离,Min(·)表示最小值操作,Dx(θ)表示以θ角进行旋转每次水平垂线上抓取目标形心到水平方向两个边缘点的距离,Gl(x,y)和Gr(x,y)分别表示抓取目标的左边抓取点与右边抓取点,(xl,yl)和xr,yr)分别表示抓取目标的左边抓取点坐标与右边抓取点坐标,Dx表示水平垂线上形心到水平方向两个边缘点的距离,当抓取目标以θ角进行旋转的过程中,左右抓取点(Gl(x,y),Gr(x,y))之间水平垂线上形心到水平方向两个边缘点的距离Dx达到Dxmin情况下的左抓取点坐标(xl,yl)和右抓取点坐标(xr,yr)即确定为抓取目标的两个抓取点坐标;
运动规划子模块,用于根据获取的坐标关系与测距结果进行机械手抓取目标的运动规划;
所述坐标提取子模块包括:
平面转动角度参数获取单元,用于根据选定的当前抓取目标,以单目红外热成像摄像头图像中心点(x0,y0)建立平面坐标,并计算平面坐标中心点与抓取物体形心坐标(xs,ys)的差值,得到平面转动角度参数:Xt=x0-xs
Yt=y0-ys
其中,Xt为负数表示抓取物体位置相对红外热成像摄像头中心点偏右,机械手需向右平移Xt绝对值个像素,Xt为正数表示抓取物体位置相对红外热成像摄像头中心点偏左,机械手需向左平移Xt绝对值个像素,Yt为负数表示抓取物体位置相对红外热成像摄像头中心点偏上,机械手需向上平移Yt绝对值个像素,Yt为正数,表示抓取物体位置相对红外热成像摄像头中心点偏下,机械手需向下平移Yt绝对值个像素;
第一对齐单元,用于基于平面转动角度参数,将抓取物体形心坐标与红外摄像头图像中心坐标重合,使机械手的平面位置与抓取物体对齐;
极坐标转动角度参数计算单元,用于基于机械手的平面位置与抓取物体对齐,以单目红外热成像摄像头图像中心(θ,R)建立第一极坐标,并以抓取物体形心与抓取点建立第二极坐标(θs,Rs),并计算第一极坐标和第二极坐标角度差值,得到极坐标转动角度参数θt:θt=θ0-θs
其中,θt为负数表示机械手夹持器需要逆时针转动θt的绝对值度,θt为正数表示机械手夹持器需要顺时针转动θt的绝对值度,θ0第一极坐标当前角度,θs表示第二极坐标当前角度;
第二对齐单元,用于基于极坐标转动角度参数θt,将机械手夹持器抓取角度与抓取物体抓取点对齐,完成抓取目标对红外摄像头坐标关系的获取;
嵌入式微控制器,用于根据运动规划路径产生控制信号,控制机械手抓取物体。
2.根据权利要求1所述的单目红外热成像视觉机械手抓取物体姿态估计装置,其特征在于,所述第一特征提取阶段包括两个卷积核为3、步长分别为2和1的第一残差块和第二残差块,所述第二残差块带有压缩激发注意力单元;
所述第二特征提取阶段包括1个卷积核尺寸为3、步长为1的第三残差块以及1个卷积核尺寸为5、步长为2的第四残差块,所述第四残差块带有压缩激发注意力单元;
所述第三特征提取阶段包括2个卷积核尺寸为3、步长为1的第五残差块,以及1个卷积核尺寸为5、步长为2的第六残差块构成,所述第五残差块和第六残差块均带有压缩激发注意力单元;
所述第四特征提取阶段包括5个卷积核尺寸为3、步长为1的第七残差块,以及1个核尺寸为5、步长为2的第八残差块,所述第七残差块和第八残差块均带有压缩激发注意力单元。
3.根据权利要求2所述的单目红外热成像视觉机械手抓取物体姿态估计装置,其特征在于,所述红外能量分布增强注意力单元包括:小波变换特征能量分布系数计算子单元,用于通过对提取的红外特征图进行小波变换,分别得到红外特征图的低频分量特征图、水平高频分量特征图、垂直高频分量特征图以及对角线高频分量特征图,并根据所述低频分量特征图、水平高频分量特征图、垂直高频分量特征图以及对角线高频分量特征图,计算得到红外能量分布系数;
所述低频分量特征图、水平高频分量特征图、垂直高频分量特征图以及对角线高频分量特征图的表达式分别如下:FLi=dwt2_L(Fi)
FHi=dwt2_H(Fi)
FVi=dwt2_V(Fi)
FDi=dwt2_D(Fi)
其中,FLi表示第i个通道特征图的小波变换低频分量,dwt2_L表示以Haar算子为小波基的2D小波变换提取低频分量操作,Fi表示第i个通道的特征图,FHi表示第i个通道特征图的小波变换水平高频分量,dwt2_H表示以Haar算子为小波基的2D小波变换提取水平高频分量操作,FVi表示第i个通道特征图的小波变换垂直高频分量,dwt2_V表示以Haar算子为小波基的2D小波变换提取垂直高频分量操作,FDi表示第i个通道特征图的小波变换对角线高频分量,dwt2_D表示以Haar算子为小波基的2D小波变换提取对角线高频分量操作;
所述红外能量分布系数的表达式如下:
其中,W表示小波变换分量上特征图能量总和,Norm(·)表示归一化操作,N表示特征通道数目,Sum(·)表示像素求和,WL、WH、WV和WD分别表示低频、水平、垂直与对角线分量的红外能量分布系数;
红外特征图增强重建子单元,用于根据红外能量分布系数进行红外特征图增强重建,得到红外能量分布注意增强特征图:Fe=RelU(FdwR+Fc)
Fc=1×1Conv(ReLU(1×1Conv(F)))
其中,Fe表示红外能量分布注意增强特征图,ReLU(·)表示ReLU激活函数,FdwR表示小波重构红外特征图,Fc表示经过卷积层与激活函数处理的原始红外特征图,FL、FH、FV和FD分别表示低频、水平、垂直与对角线分量的小波变换红外特征图,1×1Conv表示卷积核尺寸为1、步长为1的卷积层,Idwt2表示以Haar算子为小波基的2D小波逆变换。
4.根据权利要求3所述的单目红外热成像视觉机械手抓取物体姿态估计装置,其特征在于,各所述特征复用融合单元的结构相同,均包括输入端、分别与输入端连接的拼接路径和累加路径、分别与拼接路径和累加路径连接的ReLU激活函数层以及与所述ReLU激活函数层连接的输出端;
所述输入端,用于接收4个尺度的红外能量分布注意力增强特征;
所述拼接路径,用于将输出的融合特征图通道数量对应于编码器在该阶段提取的特征通道,并将获取的拼接路径融合特征表征为全局语义特征,所述拼接路径包括拼接层、2个卷积核尺寸为3、步长为1的卷积层、2个批归一化层以及1个ReLU激活函数;
所述累加路径,用于调整特征图通道至该阶段编码器提取红外特征的通道数目,将输出的融合特征图通道数量对应于编码器在该阶段提取的特征通道,并利用获取累加路径的融合特征表征局部细节特征;
所述ReLU激活函数层,用于将拼接路径融合特征与累加路径融合特征相加,得到自适应融合特征:Ff=ReLU(Fcat+Facc)
Fcat=BN(3×3Conv(ReLU(BN(3×3Conv(Fin(n)))))其中,Ff表示自适应融合特征,ReLU(·)表示ReLU激活函数,Fcat表示拼接路径获取的融合特征,Facc表示累加路径获取的融合特征,BN(·)表示批归一化操作,3×3Conv表示卷积核尺寸为3,步长为1的卷积操作,Fin(n)表示输入的n个尺度的红外能量分布注意力增强特征,n=4;
所述输出层,用于基于自适应融合特征,输出融合多尺度增强红外特征图。
5.一种如权利要求1-4任一所述的单目红外热成像视觉机械手抓取物体姿态估计装置的估计方法,其特征在于,所述装置搭载于烟雾、燃爆环境下工作的特种机器人所负载的机械手上,所述估计方法包括以下步骤:S1、利用单目红外热成像摄像头在烟雾、燃爆环境中成像,采集红外热成像视觉图像;
S2、根据红外成像视觉图像,利用边缘计算平台对抓取的物体进行检测定位、姿态估计以及提取坐标参数;
S3、利用搭载于单目红外热成像摄像头底端并配准其测距点和红外图像中心点相重合的激光测距模块,对抓取物体进行测距,根据提取的坐标参数与获取的距离,进行机械手运动规划;
S4、根据运动规划路径产生控制信号,利用嵌入式微控制器控制机械手抓取物体。