欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022104383483
申请人: 电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-07-21
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于图神经网络和关系优化的全景三维场景理解方法,其特征在于,包括以下步骤:

步骤S1:使用机器人深度学习交互式环境渲染全景图,构建数据集,所述数据集包括三维模型、物体姿态和场景布局真实值;使用数据集训练二维目标检测网络、全景布局估计网络、基于深度残差网络的特征提取网络、关系图卷积网络和局部隐函数网络;

步骤S2:将全景图像同时输入进训练好的二维目标检测网络和全景布局估计网络中,对二维目标检测,同时估计房间布局,再提取物体、墙体以及物体和墙体之间关系的特征;

将全景图像输入进训练好的二维目标检测网络中检测物体;

将全景图像输入进训练好的全景布局估计网络后基于曼哈顿世界假设估计房间布局;

基于检测物体和估计房间布局使用训练好的深度残差网络提取物体、墙体以及物体和墙体之间关系的特征;

步骤S3:将提取的物体、墙体以及物体和墙体之间关系的特征嵌入到训练好的关系图卷积网络中实现对物体姿态、物体三维隐式矢量、物体与布局之间关系的估计;

步骤S4:根据估计的物体姿态作为初始值进行基于碰撞检测、二维投影、关系约束的关系优化,实现碰撞规避和物体姿态调整;

步骤S5:使用训练好的局部隐函数从隐式矢量中解码三维几何体,实现物体重建,并最终结合优化的物体姿态实现三维场景重建;

基于深度学习的算法框架进行,算法框架包括特征提取网络、关系图卷积网络、关系优化;所述特征提取网络用于实现二维目标检测,房间布局估计,以及对物体、墙体、关系特征的提取,提取的物体、墙体、关系特征被随后嵌入到关系图卷积网络实现对物体姿态、物体三维隐式矢量、物体与布局之间关系的估计;

之后,估计的物体姿态被作为初始值进行基于碰撞检测、二维投影、关系约束的关系优化,实现碰撞规避和物体姿态调整;

最后局部隐函数网络三维表示从隐式矢量解码三维几何体,实现物体重建,并最终结合优化的物体姿态实现场景重建。

2.根据权利要求1所述的一种基于图神经网络和关系优化的全景三维场景理解方法,其特征在于,所述步骤S3包括:根据训练好的二维目标检测网络在全景图像上检测到的物体和房间布局估计的结果获取3D场景;

获取物体、墙体以及物体和墙体之间关系的特征后,根据获取的特征将3D场景建模为一个图,并通过训练好的关系图卷积网络获取物体初始姿态,并估计物体姿态、物体三维隐式矢量、物体与布局之间关系。

3.根据权利要求1所述的一种基于图神经网络和关系优化的全景三维场景理解方法,其特征在于,所述步骤S4包括: 基于训练好的关系图卷积网络估计的关系建立一个可导的优化算法,对物体姿态的初始估计进行优化: 所述可导的优化算法采用了梯度下降来最小化由三个部分组成的误差; 所述三个部分组成的误差包括碰撞误差、关系误差和投影误差。

4.根据权利要求1所述的一种基于图神经网络和关系优化的全景三维场景理解方法,其特征在于,所述步骤S5包括: 根据优化得到的物体姿态,使用训练好的局部隐函数三维表示从隐式矢量解码三维几何体,并将得到的三维几何体模型放置到全景三维场景图中,与训练好的全景布局估计网络得到的房间布局结合,实现全景图的三维场景重建。

5.根据权利要求1所述的一种基于图神经网络和关系优化的全景三维场景理解方法,其特征在于,包括: 二维目标检测网络在估计二维包围盒和物体掩模后,先从掩模计算出合适的由视线中心的经纬度和水平、竖直视角定义的视角包围盒,再通过非极大抑制算法实现重复检测物体或边缘物体的融合; 得到各物体的视角包围盒和掩膜后,根据视角包围盒将图像和掩膜分别投影到透视视角并裁剪,按通道串联后输入到深度残差网络中提取物体、墙体以及物体和墙体之间关系的特征。

6.根据权利要求3所述的一种基于图神经网络和关系优化的全景三维场景理解方法,其特征在于,包括: 根据碰撞误差衡量物体之间以及物体与墙体、地板、天花板之间的碰撞; 根据关系误差衡量物体姿态满足关系图卷积网络中对包围盒的朝向夹角关系、相对距离关系和接触关系估计的符合程度; 根据投影误差衡量物体姿态与二维目标检测包围盒估计的符合程度。

7.根据权利要求1‑6任一项所述的一种基于图神经网络和关系优化的全景三维场景理解方法,其特征在于,包括: 将最终的优化的物体姿态定义为最小化三种误差的和,所述三种误差为碰撞误差、关系误差和投影误差。