欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022109573376
申请人: 河南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于U型金字塔残差结构的全色锐化方法,其特征在于,步骤包括:

步骤1:获取多光谱图像和全色图像,并对两种图像按照设定大小进行剪裁以得到训练集和测试集;

步骤2:利用训练集对基于U型金字塔残差结构的全色锐化网络模型进行训练,获得最优全色锐化网络模型;

步骤3:利用训练得到的最优全色锐化网络模型对测试集中的图像数据进行全色锐化;

其中,所述基于U型金字塔残差结构的全色锐化网络模型的构建过程包括:

构建多尺度特征提取模块,具体包括:重采样单元、合并单元和特征提取单元;其中,重采样单元用于对输入的多光谱图像渐进扩大图像,得到多层多光谱图像金字塔;对输入的全色图像渐进缩小图像,得到多层全色图像金字塔;合并单元用于将相同尺度的多光谱图像和全色图像进行像素和通道双合并;特征提取单元用于对合并单元输出的多个不同尺度图像进行特征提取;

构建U型金字塔残差结构,具体包括:特征融合模块和图像重建模块;其中,特征融合模块用于对特征提取单元输出的不同分辨率下的特征图进行自上而下的特征融合;图像重建模块用于对特征融合模块输出的不同分辨率下的特征图进行自下而上的图像重建,最后使用跳连接对最大尺度多光谱图像和重建图像进行求和。

2.根据权利要求1所述的一种基于U型金字塔残差结构的全色锐化方法,其特征在于,所述重采样单元具体用于:将输入的多光谱图像依次进行s次转置卷积操作以实现渐进t倍扩大图像,生成s+1层多光谱图像金字塔;s≥2,t≥2;

将输入的全色图像依次进行s次卷积操作以实现渐进t倍缩小图像,生成s+1层全色图像金字塔。

3.根据权利要求2所述的一种基于U型金字塔残差结构的全色锐化方法,其特征在于,所述多尺度特征提取模块还包括高通滤波单元;

对应地,所述合并单元具体用于按照下式对相同尺度的多光谱图像和全色图像进行通道拼接;

其中,i表示第i层金字塔,f表示拼接后的图像,MS表示多光谱图像,PAN表示全色图像,h(PAN)表示全色图像经过高通滤波单元后输出的高通域的全色图像,表示像素相加操作, 表示通道拼接操作。

4.根据权利要求2所述的一种基于U型金字塔残差结构的全色锐化方法,其特征在于,所述特征融合模块具体用于:从金字塔中最高分辨率层开始,针对金字塔中的任意相邻两层对应的特征提取单元输出的图像采用给定融合过程进行特征融合,直至融合至金字塔中最低层分辨率层;

其中,所述给定融合过程具体包括:将金字塔中较高分辨率层对应的最后一个特征提取单元输出的图像进行池化下采样以将图像缩小s倍,进而与金字塔中较低分辨率层对应的第一个特征提取单元输出的图像进行像素融合,最后对像素融合的特征图采用特征提取单元再次进行特征提取。

5.根据权利权利要求2所述的一种基于U型金字塔残差结构的全色锐化方法,其特征在于,所述图像重建模块具体用于:从金字塔中最低分辨率层开始,针对金字塔中的任意两层对应的特征提取单元输出的图像采用给定重建过程进行特征融合,直至融合至金字塔中最高层分辨率层;

其中,所述给定重建过程具体包括:将金字塔中较低分辨率层对应的最后一个特征提取单元输出的图像进行卷积上采样以将图像扩大s倍,进而与金字塔中较高分辨率层对应的第一个特征提取单元输出的图像进行像素融合,最后对像素融合的特征图采用特征提取单元再次进行特征提取。

6.根据权利权利要求1所述的一种基于U型金字塔残差结构的全色锐化方法,其特征在于,步骤2中,训练过程中使用下式作为损失函数:loss=λ(losscc+lossssim)+εlossMAE,ε=1‑λ

其中,HRMS表示使用跳连接求和后得到的最终高分辨率多光谱图像,GT表示参照的多光谱图像,Cov(·)表示图像的协方差,D(·)表示图像的方差,U(·)表示图像的均值,δ(·)表示图像的标准差,C1,C2,C3,λ表示常数,n表示样本个数。

7.根据权利权利要求1‑6任一所述的一种基于U型金字塔残差结构的全色锐化方法,其特征在于,所述特征提取单元采用密集残差卷积网络来提取空间和光谱特征。