1.一种基于深度学习的深海海底障碍物测量系统,其特征在于,包括标定模块、数据预处理模块、数据采集模块、数据处理模块、数据融合模块和测量结果模块;
数据采集模块包括摄像机和激光测距传感器,摄像机用于采集海底地形图像,激光测距传感器用于测量摄像机离障碍物的距离;
所述标定模块用于摄像机标定,获取摄像机的内外参数;
数据预处理模块收集摄像机采集的图像数据集和激光测距传感器测量的距离数据并进行预处理,离线训练模型,评估训练后的模型,调整参数后并保存训练后的模型;
数据处理模块与数据采集模块相连,基于深度学习语义分割技术对摄像机采集的图像数据进行处理,并获得障碍物的像素面积、像素宽和高特征参数,然后送入数据融合模块;
数据融合模块与数据处理模块相连,基于图像数据和距离数据进行障碍物特征提取和障碍物距离获取,融合标定所得的内外参数和激光测距传感器测得的距离参数,将障碍物的特征参数转换成障碍物的实际参数,获取障碍物基本信息,并将最终结果送入测量结果模块。
2.一种根据权利要求1所述的测量系统的基于深度学习的深海海底障碍物识别方法,其特征在于,包括以下步骤:
(1)通过标定模块对摄像机进行标定,获取摄像机的内外参数;
(2)利用数据预处理模块收集图像数据集并进行预处理,离线训练模型,评估训练后的模型,调整参数获得最优训练模型,并保存;
(3)采用数据采集模块的摄像机采集海底地形图像,同时采用激光测距传感器测量摄像机到障碍物的距离;
(4)基于深度学习语义分割技术对采集到的图像进行处理,并获得障碍物的特征参数:像素面积、像素宽和高;
(5)利用数据融合模块融合标定所得的内外参数和激光测距传感器测得的距离参数,将障碍物的特征参数转换成障碍物的实际参数,从而得到障碍物的基本信息;
(6)将障碍物信息发送到测量结果模块进行显示。
3.根据权利要求2所述的基于深度学习的深海海底障碍物识别方法,其特征在于,所述步骤(1)中,对摄像机进行标定的过程如下:
1‑1)首先建立像素坐标系O0‑uv、图像坐标系O1‑xy、摄像机坐标系Oc‑XcYcZc和世界坐标系Ow‑XwYwZw,O0、O1、Oc、Ow分别为像素坐标系、图像坐标系、摄像机坐标系、世界坐标系的原T
点,设定空间中某点P在世界坐标系与摄像机坐标系下的齐次坐标分别为(Xw,Yw,Zw,1) 与T
(Xc,Yc,Zc,1) ,于是存在如下关系:R为旋转矩阵、t为平移矩阵;通过几何变换、仿射变换得到点P的世界坐标系与其投影点p的坐标(u,v)的关系:
式中ax=f/dx,ay=f/dy,u0,v0,dx,dy为摄像机基本参数,f为摄像机焦距,M为摄像机内外参数,M1为内参,M2为外参;
1‑2)选取60×60规格圆形标定板作为标定参照物,并采用开源算子完成标定,得到M1,M2;
1‑3)摄像机得到圆形标定板图像,采用HALCON算子进行畸变校正,通过Blob分析或ROI工具选取圆形标定板在图像坐标系中两个圆,得到圆心坐标a1(R1,C1),a2(R2,C2),并求得a1、a2的像素距离为Di;结合M1和M2将像素圆心坐标a1、a2转化为实际坐标A1(Rw1,Cw1),A2(Rw2,Cw2),并求得A1和A2的实际距离为Dw;激光测距传感器测得摄像机到圆形标定板的距离为Lb。
4.根据权利要求3所述的基于深度学习的深海海底障碍物识别方法,其特征在于,所述步骤(2)具体步骤如下:
2‑1)采集预设数量的深海海底地形图像数据样本,并进行预处理得到预设尺寸的子图像样本,对子图像样本进行标注,得到多个感兴趣的区域的子图像标注样本;
2‑2)将子图像样本集和子图像标注样本集拆分为训练、验证和测试子集;创建字典对象,在字典中存储与键关联的元组,创建预处理参数、预处理样本数据集并保存文件;
2‑3)在模型中添加compact预训练网络,设置图像维度参数到模型中,设置模型中的学习率、学习率动量参数、随机数种子参数,创建训练参数并训练模型;
2‑4)通过loss或mean‑iou评价指标判断模型优劣,并调整参数以适应项目需要的语义分割模型。
5.根据权利要求2所述的基于深度学习的深海海底障碍物识别方法,其特征在于,所述步骤(3)中,通过摄像机采集深海海底地形图像,并经过畸变校正处理。
6.根据权利要求3所述的基于深度学习的深海海底障碍物识别方法,其特征在于,所述步骤(4)中,将摄像机采集得到的图像数据,通过预处理得到的预设尺寸的待分割子图像,待分割子图像利用最佳语义分割模型得到对应的语义分割区域,从而实现障碍物区域特征的提取;激光测距传感器通过数据处理获得前方障碍物与摄像机的距离ld。
7.根据权利要求6所述的基于深度学习的深海海底障碍物识别方法,其特征在于,所述步骤(5)中,结合单目测距算法得比例系数 依据获取的障碍物区域特征:障碍物像素高度hd和障碍物与摄像机的距离ld,得障碍物实际高度Hd=k*hd*ld。
8.根据权利要求2所述的基于深度学习的深海海底障碍物识别方法,其特征在于,所述步骤2‑1)中,样本标注采用labeltool工具对预设尺寸的子图像样本进行标注得到多个感兴趣的区域的子图像标注样本。
9.根据权利要求2所述的基于深度学习的深海海底障碍物识别方法,其特征在于,所述步骤(6)中,测量结果模块所得的障碍物信息为障碍物实际特征参数信息,用于移动式深海取样装备进行行驶可通行性分析、自动避障及路径规划。