1.一种基于深度学习和单目视觉的水下机器人目标跟踪方法,其特征在于,所述基于深度学习和单目视觉的水下机器人目标跟踪方法包括:步骤一,从视频序列中输入图像,对于每个输入图像,使用深度学习神经网络来估计水下传输图,确定目标方位;
步骤二,通过网络获得的传输图,建立目标运动估计的方向和控制方案;
步骤一中的深度学习是卷积神经网络CNN,由卷积层、轮询层和完全连接层组成的深度层;
步骤一中通过估计水下传输图,利用单眼彩色摄像机提供的图像神经网络;传输图为场景中物体的相对深度;从视频序列中输入图像,采用深度学习估计传输图,提供一个有效的运动方向;在水下介质中,在每个颜色通道中,λ∈{r,g,b}:其中 是直接分量信号, 是前向散射分量, 是后向散射分量;忽略最终图像中的第二分量的影响:a)直接分量:直接分量 表示到达摄像机的光的量;定义为:其中Jλ(x)是退化信号,即衰减信号,称为透射t(x);
b)后向散射分量:后向散射分量 定义为:
其中一个是表示颜色的遮光灯;介质的辐射特性;常数与视线上的水的体积有关;此外,该常数被深度改变并受光源影响;1×T(x)部分将后向散射的效果作为场景对象与摄像机之间的深度差D(x)的函数;随着距离越高,最终图像上的α的影响就越大;
c)最终模型:通过应用获得最终模型 和 在公
式中产生:
Iλ(x)=Jλ(x)t(x)+Aλ(1‑t(x))。
2.如权利要求1所述的基于深度学习和单目视觉的水下机器人目标跟踪方法,其特征在于,步骤一中估计水下传输图,通过场景的先验知识估计深度D,估计视频图像中的每个图像的传输值在区间[0,1]中,估计图像中对象的相对深度;
1)采用非对称核对替换正平方核目标是将原来的16×16贴片转换为一个值,不需要任何填充就可以应用卷积;此外,使用汇总层总结在相同的特征图中的相邻神经元组中存储的信息;
神经元输出是用双曲模型建模,由于激活函数输出的值为大于零,传输限制为1,在此将激活输出限制为间隔中的一个数(0,1);将激活函数定义了输出的上限和下限,函数定义如下:A(x)=min(tmax,max(tmin,t(x)));
其中A(x)是输入的输出神经元的激活函数,t(x)是最后一个卷积层的输出;tmin和tmax分别为下限值和上限值,设置为0和1;
2)数据采集与模型训练:
可行性采集和标注数据训练深度神经网络效率普遍偏低;混浊图像对采集要求并且它们相关的精确传输图阻碍了用真实数据训练模型的能力;假设沿补丁的深度是恒定的,估计每个图像只有一个传输;遵循这一原则,收集数据后,生成合成数据;
采用反向传播算法来计算;相对于模型参数的梯度来优化;该模型用256个方块的批次训练,在处理每个批次之后,将输出与地面真值进行比较,并利用距离函数计算损失函数L如下:其中yi是传递函数的f(xi)的输出值;最后,使用优化器重新调整权重,重复这个过程;
为了减少损失L,将该模型应用于水下混浊图像对网络进行了训练;分析图像中的每个贴片运动方式。
3.如权利要求1所述的基于深度学习和单目视觉的水下机器人目标跟踪方法,其特征在于,步骤二中目标运动估计的方向和控制方案包括:
1)运动方向:
先建立AUV和摄像机的模型,在此基础上,根据先验知识定义一个形状来描述AUV的轮廓图像,然后分析传输图,在图像中找到最佳的位置来适应形状;在本发明中由像素包围的像素的最低传输平均值形状,该方法使用矩形形状找到位置;由于其计算负担小,计算运动方向:di=argmin(Sp*t(x));
当di是逃生的方向时,Sp定义经验形状,t(x)是传输因素,将俯仰角设置为向上方向,计算当前和先前有效值之间的平均值;
2)无功控制器:
跟踪方向定义为Di=(Dx,Dy);推进器角度基于位置误差E=(Ex,Ey,Ez),根据图像C=(Cx+Cy)的中心进行以下方程计算:Ex=DR0L
其中DROL是选定的平均深度,为每个AUV的自由度实现了一个无功控制器,控制器估计升沉、偏振运动和偏航旋转:us=Kps·Ex
uy=Kpy·Ey
uh=Kph·Ez
其中Kps、Kpy和Kph是各自的比例收益。
4.一种应用权利要求1~3任意一项所述基于深度学习和单目视觉的水下机器人目标跟踪方法的水下机器人。