1.基于参考影像纹理转移的DEM超分辨率重建系统,其特征在于,包括数据采集模块、特征提取模块、特征匹配模块、空间自适应模块以及双残差聚合模块;
所述数据采集模块,用于获取待重建的低分辨率DEM图像 ,及其对应的参考遥感图像,对参考遥感图像 进行降采样获得与低分辨率DEM图像相同尺寸的低分辨率参考图像 ;
所述特征提取模块,用于接收数据采集模块的传输数据,分别对低分辨率DEM图像 、参考遥感图像 以及低分辨率参考图像 进行特征提取,获得对应特征图,并将其传输至特征匹配模块;
所述特征匹配模块,用于接收特征提取模块输出数据,以低分辨率参考图像 为媒介,实现低分辨率DEM图像 及参考遥感图像 的特征匹配;使低分辨率DEM图像 在空间位置上匹配参考遥感图像 的纹理和结构,并将其传输至空间自适应模块;
所述空间自适应模块,用于接收特征匹配模块输出数据,对经过空间位置匹配后的低分辨率DEM图像 与参考遥感图像 进行颜色和亮度匹配;
所述双残差聚合模块,用于接收空间自适应模块输出数据,对其进行低分辨率特征与高分辨率特征融合,使得低分辨率DEM图像 与参考遥感图像 之间特征细节得到增强和聚合,从而获得重建后的高分辨率DEM图像。
2.根据权利要求1所述的基于参考影像纹理转移的DEM超分辨率重建系统,其特征在于,所述特征提取模块通过VGG19网络、金字塔池化模块以及选择性卷积核提取低分辨率DEM图像 、参考遥感图像 以及低分辨率参考图像 的特征图;分别获得参考遥感图像 具有不同尺度的三个参考遥感特征图 ;低分辨率DEM图像 的尺度的低分辨率DEM特征图 和低分辨率参考图像 的低分辨率参考特征图 ,并将 输入到特征匹配模块。
3.根据权利要求2所述的基于参考影像纹理转移的DEM超分辨率重建系统,其特征在于,所述特征匹配模块接收特征提取模块输出数据,以低分辨率参考图像 为媒介,实现低分辨率DEM图像 及参考遥感图像 的特征匹配,共分为三个阶段:粗粒度匹配、细粒度匹配和特征提取。
4.根据权利要求3所述的基于参考影像纹理转移的DEM超分辨率重建系统,其特征在于,粗粒度匹配包括以下步骤:将 展开为不重叠的粗块 ,对每一个 内部再进一步按照尺寸划分细块;使用 的中心细块寻找 中余弦相似度得分最高的细块;其中,相似度计算公式如下:;
其中, 是每个 的中心细块, 是第 个 的细块, 是相似度得分;
根据相似度得分,找到 中和每个 的中心细块最相似的 ,以 为中心裁剪一个大小为 的粗块作为 ;膨胀度 ;
在 中裁剪对应的 块用于特征匹配,用 表示完成,从而使每 获得与之最相关的 和与 对应区域的 ,组成最相关组 ,完成的粗粒度匹配。
5.根据权利要求4所述的基于参考影像纹理转移的DEM超分辨率重建系统,其特征在于,对每个 的中心细块 进行不同尺度的膨胀后进行相似度计算,最终的相似度得分为不同尺度下相似度得分的总和。
6.根据权利要求5所述的基于参考影像纹理转移的DEM超分辨率重建系统,其特征在于,细粒度匹配包括以下步骤:在 和 内部执行密集细块匹配;即计算每一对 中对应细块的相似度,获得索引映射 和相似性映射 ;相似度计算公式如下:
;
其中, 是 中第 个细块, 是 中第 个细块, 是最相似度得分;索引映射 的第个元素被计算为:;
相似性映射 的第 个元素是在 中第个细块最高相似度得分:;
完成 的细粒度匹配。
7.根据权利要求6所述的基于参考影像纹理转移的DEM超分辨率重建系统,其特征在于,特征提取包括以下步骤:根据索引映射 从 进行裁剪,组成新的特征图 ;利用相似度矩阵 对新的特征图 进行加权,获得匹配体征图,计算公式如下:;
其中, 表示双线性插值, 表示哈达玛(Hadamard)积;
将 折叠在一起,为特征匹配模块的输出。
8.根据权利要求7所述的基于参考影像纹理转移的DEM超分辨率重建系统,其特征在于,所述空间自适应模块接收特征匹配模块输出数据,将经过空间位置匹配后的特征图和 连接后输入卷积层,得到与 大小相同的两个参数 和 ;将输出参数分别归一化加入 中,如下式:;
其中, 表示 的c通道, 为在 的c通道中的标准差, 为在 的c通道中的均值,表示为下:;
;
其中,H和W分别为 的高度和宽度, 表示 的c通道中像素值, 表示对应像素点的坐标;
然后,用 的均值和标准差更新 和 :
;
;
其中, 为在 的c通道中的标准差, 为在 的c通道中的均值;最后, 和 相乘并以元素方式归一化特征到 中,公式如下:。
9.根据权利要求8所述的基于参考影像纹理转移的DEM超分辨率重建系统,其特征在于,所述双残差聚合模块,接收空间自适应模块处理后的数据后,首先通过卷积层对 进行下采样,然后通过转置卷积层对下采样的 和 之间的残差 进行上采样并结合,将 高频信息增强得到 ,公式如下:;
通过计算将下采样的残差特征和参考图像 融合,强化 中高频细节;
同理,对低分辨率特征进行增强得到 :
;
最后,将两个分支的输出级联并通过一个卷积层聚合,使得低分辨率DEM图像 与参考遥感图像 之间特征细节得到增强和聚合。