欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023103638634
申请人: 山东建筑大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.多模态遥感影像深度学习匹配的三维重建方法,其特征在于,包括以下步骤:①深度学习特征提取与描述算法构建

获得多模态同名影响块训练数据集,基于该数据集学习得到训练后的DNN模型,进行特征提取和多通道描述符输出;

②全连接网络迭代的特征匹配算法建立

融合多通道描述符,构建顾及影像多种信息的互补综合描述符和匹配测度模型,通过全连接网络FCN自适应迭代,完成多模态影像特征的最佳匹配;

③匹配算法集成及实景三维重建应用

构建集成多模态重叠影像快速检索、深度学习匹配、实景三维重建的应用框架。

2.根据权利要求1所述的多模态遥感影像深度学习匹配的三维重建方法,其特征在于,所述获得多模态同名影响块训练数据集包括:引入多模态同名影像块数据集,利用深度生成匹配网络进行数据增广,获得多模态同名影响块训练数据集。

3.根据权利要求2所述的多模态遥感影像深度学习匹配的三维重建方法,其特征在于,所述DNN网络结构包括两个关键子网络,分别为仿射不变学习HesAffNet和非线性亮度畸变学习NLIntensNet,前者用于学习同名区域的仿射畸变,后者用于学习亮度畸变。

4.根据权利要求1所述的多模态遥感影像深度学习匹配的三维重建方法,其特征在于,所述多模态重叠影像快速检索包括:基于视觉特征的多模态待匹配影像组合检索,引入计算机视觉中最大稳定极值区域特征,将特征主方向设为0方向且利用特征点邻域的像素信息生成特征描述子,从而获取描述子向量集,采用分层K‑means算法将子向量集生成视觉单词并构建词汇树,继而生成各节点一个倒排文档并记录文档的长度,对视觉单词加权,检索出内容重叠或相似的影像组合;基于K‑d树算法对待匹配影像中已检测的视觉特征构建随机森林,采用最优临近点搜索策略和主成分分析法加速检索,确定出待匹配影像重叠区域。

5.根据权利要求3所述的多模态遥感影像深度学习匹配的三维重建方法,其特征在于,所述DNN网络的训练方法为:对大小为64x64像素的多模态同名影像块,分别经过 和 的随机仿射变换,并进一步裁切为大小为32x32像素的同名影像块;分别导入到权值共享的孪生HesAffNet中,经过网络学习,输出仿射4参数矩阵 和 ,并进一步生成几何归一化同名影像块;把同名影像块导入到权值共享的孪生NLIntensNet中,进行非线性辐射畸变学习,并输出亮度不变3通道描述符,根据建立的多模态损失函数:即可分别计算出不同通道的损失函数值,式中,为样本数目, 为多模匹配描述符距离, 为多模最近邻非匹配描述符距离;最后基于大量的训练样本,利用随机梯度下降法和残差后向迭代传播,使损失函数最终趋于最小,从而完成HesAffNet和NLIntensNet联合训练与全局优化。

6.根据权利要求1所述的多模态遥感影像深度学习匹配的三维重建方法,其特征在于,步骤②中所述多通道描述符包括方向梯度描述符G、结构信息描述符S和局部极值响应描述符R,并利用PCA主成分分析方法精简描述符向量维数,降维后的三种描述符可表达为:其中,n表示提取的特征数目, 、 和 分别代表特征的局部梯度向量、整体结构信息熵向量以及邻域高斯拉普拉斯极值向量;继而融合该三类描述符,并构建顾及影像全局与局部信息的综合描述符 :建立上述综合描述符的鲁棒匹配测度模型 :

其中, 分别表示梯度空间距离、结构信息熵距离以及局部响应距离,

分别代表三种距离对应的加权值,因此 ;

通过全连接网络FCN自适应迭代,获取描述符向量的距离加权值 ,以及匹配测度阈值 ,完成多模态影像特征的最佳匹配。

7.根据权利要求6所述的多模态遥感影像深度学习匹配的三维重建方法,其特征在于,利用sigmoid函数把梯度空间距离、结构信息熵距离以及局部响应距离分别归一化至[0,

1]。

8.根据权利要求6所述的多模态遥感影像深度学习匹配的三维重建方法,其特征在于,所述全连接网络FCN自适应迭代步骤包括:(1)匹配测度中三种距离加权值拟初始化为 、 、 ,匹配测度阈

值拟初始化为 ;

(2)在双重几何约束下,基于综合描述符 、初始化后的匹配测度模型 以及匹配测度阈值 ,获取初始同名匹配集合 ,并估算立体像对新的单应矩阵与基本矩阵;

(3)通过FCN自适应生成新的距离加权值 、匹配测度阈值 ,并参照步骤(1)的值进行各参数的初始化;

(3)重复执行步骤(2)和(3),直到同名特征数目不再变化,终止迭代,输出最佳匹配结果。

9.根据权利要求1所述的多模态遥感影像深度学习匹配的三维重建方法,其特征在于,所述实景三维重建包括步骤:(1)将各传感器观测到的三维点合并到共线条件方程中,联合求得各特征点的物方三维坐标;

(2)利用深度学习匹配算法和物方几何信息约束,把匹配窗口扩展到整个待匹配重叠区域,得到逐像素密集匹配点云;

(3)利用光束法平差,对多模态影像进行自动密集匹配与三维重建。

10.根据权利要求9所述的多模态遥感影像深度学习匹配的三维重建方法,其特征在于,所述实景三维重建还包括步骤:根据模型的三维信息,利用共线条件方程确定空间点在每张影像上的像点坐标,基于当前模型面的法线向量与面中心到摄影中心形成的向量夹角筛选目标纹理,根据反投的纹理区域面积大小选出目标纹理;

采用最小面积外接矩形策略对目标纹理进行自动裁切;

根据逆向映射法则,采用光线跟踪法进行逐点采样,实现纹理和模型的自动配准。