1.作业机器人多视图立体目标检测方法,其特征在于,所述方法包括以下步骤:S100:在装配机器人上安装图像传感器,采集被检测对象的多视角图像,从不同角度、不同位置对高压设备进行拍摄获取多视角图像,并对多视角图像进行标注,得到数据集,对数据集进行数据增强处理,得到处理后的数据集;
S200:基于深度学习网络构建多视角立体目标检测网络,包括图像特征提取模块、空间特征提取模块和检测头;
S300:将处理后的数据集输入至图像特征提取模块提取图像特征信息得到2D的图像特征图,利用相机的反投影计算将2D的图像特征图变换成3D特征图,并输入至空间特征提取模块进行不同尺寸立体目标的空间特征提取得到空间特征图,将空间特征图输入至检测头进行检测,输出检测边界框和分类结果;
S400:设计损失函数,基于损失函数对多视角立体目标检测网络进行有监督训练方式训练,当达到预设的训练结束条件时,得到训练后的多视角立体目标检测网络;其中,损失函数具体为:;
其中,表示3D位置的数量,表示目标位置回归,表示分类的焦点损失,表示中心度的交叉熵损失;
损失函数的定义为:
;
其中表示真实位置,表示预测的位置,表示平滑函数,N代表预测的目标总量,i表示第i个预测的目标,表示第i个预测的目标的真实位置,表示第i个预测的目标的预测的位置;
损失函数的定义为:
;
其中表示标注真实值,表示模型对真实标签的预测概率,表示一个调节因子,用于平衡正负样本的影响,表示一个调节参数,控制易分类样本的影响程度;
损失函数的定义为:
;
其由中心度损失与交叉熵损失组成,分别定义为:;
其中,是目标框的中心到目标边缘的最短距离,是目标框的中心到目标框的最长距离;
;
其中,是真实标签,是预测概率;
S500:将实时采集的图像通过网络传输至远程服务器,以使远程服务器利用双目视觉原理计算图像视差获得深度信息,深度信息用于生成三维点云模型,将三维点云模型与实时采集的图像对齐并输入至训练后的多视角立体目标检测网络中,输出装配工件与作业环境的立体目标的类别和边界框。
2.根据权利要求1所述的方法,其特征在于,图像特征提取模块包括残差主干网络和特征金字塔,S300中将处理后的数据集输入至图像特征提取模块提取图像特征信息得到2D的图像特征图,包括:S310:将输入的数据集中的多视角图像分别送入残差主干网络提取多尺度特征信息,具体为:;
其中,表示通过残差块提取的特征信息,表示上一残差块输出,表示当前层残差块的运算;
S320:将得到的多尺度特征信息输入至特征金字塔进行融合后输出2D的图像特征图。
3.根据权利要求2所述的方法,其特征在于,空间特征提取模块包括多尺度灵活感知模块和特征金字塔,多尺度灵活感知模块包括第一灵活卷积模块、下采样、第二灵活卷积模块和上采样,第一灵活卷积模块的输出进行下采样后输出至第二灵活卷积模块,第二灵活卷积模块的输出进行上采样后,与第一灵活卷积模块的输出进行拼接后输入至由三维卷积层组成的特征金字塔得到空间特征图。
4.根据权利要求3所述的方法,其特征在于,第一灵活卷积模块和第二灵活卷积模块相同,均包括卷积核大小分别为5和7的卷积层、池化层、卷积层和激活层;
输入特征图将先后经过卷积核大小分别为5和7的卷积层:;
;
其中,为输入当前灵活卷积模块的输入特征图,为卷积核大小为5的卷积层的输出,为卷积核大小为7的卷积层的输出;
进一步通过沿连接特征的通道分别应用平均池化和最大池化,用不同的池化能够同时得到全局和局部的信息:;
;
其中,为平均池化的输出,为最大池化的输出;
使用激活函数和卷积层作为门控机制,动态加权全局特征和局部特征,权值的计算如公式:;
此处得到的权值会与最初经过不同卷积核大小卷积提取到的特征相乘,以实现动态的关注不同特征,具体为:;
最后使用残差连接防止网络太复杂导致性能的下降,具体为:。
5.根据权利要求4所述的方法,其特征在于,S500中将实时采集的图像通过网络传输至远程服务器,以使远程服务器利用双目视觉原理计算图像视差获得深度信息,深度信息用于生成三维点云模型,包括:已知数目相机的视差由表示:
;
其中和分别代表目标在左视图和右视图中的像素位置;
进一步利用相机参数,计算物体离相机的实际距离,具体为:;
其中表示相机的焦距,代表基线距离,即两个相机光心之间的物理距离,为目标的深度;
经过视差计算得到图像的深度信息,进而利用深度图生成初步的3D点云。
6.使用如权利要求1至5中任一项所述方法的作业机器人多视图立体目标检测系统,其特征在于,包括数据集获取模块、多视角立体目标检测网络构建模块、图像特征提取模块、空间特征提取模块、检测头、训练模块和云边协同检测模块;
数据集获取模块,用于在装配机器人上安装图像传感器,采集被检测对象的多视角图像,从不同角度、不同位置对高压设备进行拍摄获取多视角图像,并对多视角图像进行标注,得到数据集,对数据集进行数据增强处理,得到处理后的数据集;
多视角立体目标检测网络构建模块,用于基于深度学习网络构建多视角立体目标检测网络,包括图像特征提取模块、空间特征提取模块和检测头;
图像特征提取模块,用于接收处理后的数据集并提取图像特征信息得到2D的图像特征图,利用相机的反投影计算将2D的图像特征图变换成3D特征图;
空间特征提取模块用于接收3D特征图并提取特征得到空间特征图;
检测头用于对空间特征图进行检测,输出检测边界框和分类结果;
训练模块,用于设计损失函数,基于损失函数对多视角立体目标检测网络进行有监督训练方式训练,当达到预设的训练结束条件时,得到训练后的多视角立体目标检测网络;
云边协同检测模块,用于将实时采集的图像通过网络传输至远程服务器,以使远程服务器利用双目视觉原理计算图像视差获得深度信息,深度信息用于生成三维点云模型,将三维点云模型与实时采集的图像对齐并输入至训练后的多视角立体目标检测网络中,输出装配工件与作业环境的立体目标的类别和边界框。
7.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。