欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019108937072
申请人: 湖南大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种适用于嵌入式平台的快速单目深度估计方法,包括如下步骤:

S1. 获取深度估计模型所需的训练数据;

S2. 将步骤S1获取的训练数据在嵌入式平台进行预处理;

S3. 将步骤S2进行预处理过的数据发送到距离嵌入式平台最近的边缘服务器;

S4. 边缘服务器采用接收到的数据训练构建的深度估计模型结构,从而得到训练好的深度估计模型;所述的深度估计模型,具体包括编码器和解码器;编码器采用卷积神经网络,用于捕获RGB图像中的上下文,并实现自动提取特征;解码器利用深度可分离卷积和通道重排,在学习特征的同时提高分辨率;同时解码器融合相同级别的编码器的特征映射,组成U型结构,并借助于编码器产生的中间特征和解码器自身学习到的特征来提高深度图预测的准确性;

深度估计模型包括的编码器和解码器为:编码器的第一个模块a由二维卷积层、批量归一化层BN和激活函数层ReLU组成:其中二维卷积层的卷积核尺寸为7×7,用于提取特征;批量归一化层BN用于减小内部协方差平移,从而提高学习率;激活函数层ReLU在神经网络中加入非线性因素,从而提升深度估计准确性,并加快网络训练速度;编码器的第二个模块包括最大池化层和模块b:最大池化层用于对领域内的特征点取最大操作,使得神经网络能够专注于最重要的元素;模块b包含二维卷积层,批量归一化层BN、激活函数层ReLU、二维卷积层和批量归一化层:二维卷积层的卷积核尺寸均为3×3;编码器的第三个模块c为残差结构:包括一个卷积核尺寸为3×3的二维卷积层、批量归一化层BN和激活函数层ReLU,卷积核尺寸为3×3的二维卷积层和批量归一化层BN,融合该卷积核尺寸为3×3的二维卷积层和批量归一化层BN的输出结果与卷积核尺寸为1×1的二维卷积层和批量归一化层BN的输出结果得到残差结构,然后连接模块c和模块b构成编码器的第四个模块;再次连接模块c和模块b构成编码器的第五个模块;最后用一卷积核尺寸为1×1的二维卷积层再次对特征进行提取并连接解码器;解码器由5个模块构成:每个模块均包括像素重排层和深度可分离卷积层;像素重排层使多通道的特征变成新的特征的高度和宽度,达到特征图通道数减少,高度和宽度增加的目的,避免信息的损失;深度可分离卷积层包括depthwise卷积层,批量归一化层BN、激活函数层ReLU、二维卷积层、批量归一化层BN和激活函数层ReLU;其中depthwise卷积层卷积核尺寸为3×3,二维卷积层卷积核尺寸为1×1;

S5. 边缘服务器将步骤S4得到的训练好的深度估计模型进行模型转换;具体为边缘服务器将得到的训练好的深度估计模型转换成开放神经网络交换ONNX格式的模型;

S6. 边缘服务器将步骤S5进行转换后的模型发送至嵌入式平台;

S7. 嵌入式平台对接收到的深度估计模型进行转换,并加载到和步骤S4一样的深度估计模型结构中,对单目图像进行快速的深度估计;具体为在嵌入式平台上构建和步骤S4一样的深度估计模型结构,然后将接收到的模型文件解压缩,并采用开放神经网络交换ONNX将解压缩后的模型转换为嵌入式平台深度学习框架下对应的深度估计模型,深度估计模型结构加载ONNX转换后的深度估计模型文件,对获取的RGB图像进行快速地深度估计。

2.根据权利要求1所述的适用于嵌入式平台的快速单目深度估计方法,其特征在于还包括如下步骤:

S8. 将步骤S7构建好的构建深度估计模型结构集成到嵌入式平台的操作系统。

3.根据权利要求2所述的适用于嵌入式平台的快速单目深度估计方法,其特征在于步骤S8所述的将步骤S7构建好的构建深度估计模型结构集成到嵌入式平台的操作系统,具体为将构建的深度估计模型结构集成到机器人操作系统ROS中;利用深度估计模型结构在机器人操作系统ROS中,构建深度估计发布器,并构建RGBD‑SLAM订阅器,深度估计发布器发布的深度图数据和RGB数据同步后供ROS主节点、RGBD‑SLAM订阅器,和其他需要使用深度图数据的节点使用。

4.根据权利要求1所述的适用于嵌入式平台的快速单目深度估计方法,其特征在于步骤S1所述的获取深度估计模型所需的训练数据,具体为使用深度相机采集RGB图像和深度图,或者采用互联网公开的由深度相机采集的RGB图像和深度图;然后将获取的深度图中深度值为0的像素值运用双线性插值方法填充,最后将RGB图像和填充后的深度图一起用作深度估计模型的训练数据。

5.根据权利要求1所述的适用于嵌入式平台的快速单目深度估计方法,其特征在于步骤S2所述的将步骤S1获取的训练数据在嵌入式平台进行预处理,具体为将步骤S1获取的RGB图像和深度图在嵌入式平台上进行变化;所述的变化包括在水平或垂直方向上翻转RGB图像和深度图,以及旋转RGB图像和深度图;然后保留变换前的和变换后的RGB图像和深度图图像,最后裁剪RGB图像和深度图从而得到设定尺寸的RGB图像和深度图图像。

6.根据权利要求5所述的适用于嵌入式平台的快速单目深度估计方法,其特征在于步骤S7所述的嵌入式平台对接收到的深度估计模型进行解压和转换,并加载到和步骤S4一样的深度估计模型结构中,对单目图像进行快速的深度估计,具体为将接收到的模型文件解压缩,解压缩后加载到步骤S4一样的U型深度估计模型结构,将单目相机产生的RGB图像或其他数据集的RGB图像进行裁剪,四周数据裁掉,中心数据保留,以得到224*224尺寸的RGB图像,最后利用加载深度估计模型文件后的U型深度估计模型结构对224*224尺寸的RGB图像进行快速地深度估计。