欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021105427412
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-17
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种多光谱与全色图像联合配准与模糊核估计方法,其特征在于,包括:

1)建立图像偏移量学习子网络,以根据输入的多光谱图像、全色图像得到全色图像相对多光谱图像的图像偏移量;根据多光谱图像、已配准全色图像之间的空间和光谱联系建立空间和光谱模糊核估计子网络以估计空间模糊核与光谱模糊核;

2)连接所述图像偏移量学习子网络、空间和光谱模糊核估计子网络,得到可端到端训练的多光谱、全色图像配准与模糊核估计网络;

3)结合遥感卫星原始全色图像与多光谱图像构建训练数据集,通过训练数据集训练优化多光谱、全色图像配准与模糊核估计网络,训练完成得到空间模糊核与光谱模糊核。

2.根据权利要求1所述的多光谱与全色图像联合配准与模糊核估计方法,其特征在于,步骤1)中多光谱图像、已配准全色图像之间的空间和光谱联系是指:多光谱图像Y和已配准全色图像Z的光谱模糊核R两者的空间卷积操作结果进行光谱下采样操作后得到的第一下采样结果、已配准全色图像Z和多光谱图像Y的空间模糊核C两者的空间卷积操作结果进行空间下采样操作后得到的第二下采样结果两者相等。

3.根据权利要求1所述的多光谱与全色图像联合配准与模糊核估计方法,其特征在于,步骤1)中建立的图像偏移量学习子网络包括:一个边缘扩充层,用于对输入的多光谱图像做边缘扩充,使之能在缩放的时候保持正确的位置和比例关系;

一个通道平均层,用于对边缘扩充后的多光谱图像做通道平均,压缩为单通道图像,降低计算参数量,使得训练更加稳定;

一个图片缩放层,用于对经过通道平均的多光谱图像进行放大操作;

一个堆叠层,用于将输入的全色图像、放大的多光谱图像堆叠在一起得到堆叠特征F1;

两个空洞卷积层,用于依次对堆叠特征F1进一步特征提取得到扩大感受野特征F2;

两个常规卷积层,用于依次对扩大感受野特征F2进一步特征提取并回归出全色图像每个像素在行、列两个方向上的偏移量,从而得到全色图像相对多光谱图像的图像偏移量F3。

4.根据权利要求1所述的多光谱与全色图像联合配准与模糊核估计方法,其特征在于,步骤1)中建立的空间和光谱模糊核估计子网络包括:一个用于对输入的多光谱图像做光谱下采样的全连接层,该全连接层仅包含1个节点,无偏置,其可学习权重参数大小为L×1,L为多光谱图像通道数,该学习权重参数为待求解的光谱模糊核R;一个用于对输入的全色图像做空间下采样的带步长的卷积层,该卷积层的步长为s,卷积层的步长s为已配准全色图像Z、多光谱图像Y的尺寸比值,该卷积层仅包含一个卷积核,该卷积核为待求解的空间模糊核C,该卷积核有两个待优化参数,包括模糊核大小k和标准差σ,且模糊核大小k引入插值操作使得模糊核大小k处处可导。

5.根据权利要求1所述的多光谱与全色图像联合配准与模糊核估计方法,其特征在于,步骤2)中连接所述图像偏移量学习子网络、空间和光谱模糊核估计子网络具体是指将图像偏移量学习子网络输出的全色图像相对多光谱图像的图像偏移量对全色图像重采样,得到已配准全色图像,将已配准全色图像作为空间和光谱模糊核估计子网络的一路输入,将输入图像偏移量学习子网络的多光谱图像同时作为空间和光谱模糊核估计子网络的另一路输入。

6.根据权利要求5所述的多光谱与全色图像联合配准与模糊核估计方法,其特征在于,将图像偏移量学习子网络输出的全色图像相对多光谱图像的图像偏移量对全色图像重采样的步骤包括:针对输入的全色图像上的任意坐标为(x,y)的像素p,根据对应在行、列两个方向上的偏移量为(Δx, Δy)计算得到已配准全色图像中对应的坐标为(x+Δx,y+Δy)的像素p′;针对每一个像素p′的坐标对其向上、向下取整得到相邻像素点的坐标分别为p′tl([x+Δx],[y+Δy]),p′tr([x+Δx],[y+Δy+1]), p′bl([x+Δx+1],[y+Δy]), p′br([x+Δx+1],[y+Δy+1]),其中p′tl,p′tr, p′bl, p′br分别为左上、右上、左下、右下的相邻像素点,然后根据左上、右上、左下、右下的相邻像素点p′tl,p′tr, p′bl, p′br插值得到像素p′的新像素值。

7.根据权利要求2所述的多光谱与全色图像联合配准与模糊核估计方法,其特征在于,步骤3)中结合遥感卫星原始全色图像与多光谱图像构建训练数据集是指:针对配准全色图像Z、多光谱图像Y,将已配准全色图像Z、多光谱图像Y分别带重叠地裁剪为相同数量的小块,得到已配准全色图像Z对应的小块集合{Zi}和多光谱图像Y对应的小块集合{Yi},将{Yi,Zi}构建多光谱、全色图像配准与模糊核估计网络的训练数据集。

8.根据权利要求7所述的多光谱与全色图像联合配准与模糊核估计方法,其特征在于,步骤3)中通过训练数据集训练优化多光谱、全色图像配准与模糊核估计网络时,采用的损失函数loss的函数表达式为:

loss=(1‑SIMM(Y′, Z′))+λ·k+β·var(F3)上式中,SSIM表示结构相似性计算,Y′表示第一下采样结果,Z′表示第二下采样结果,λ·k为用于避免过大的空间模糊核引起的恢复图像的结构失真的正则项,β·var(F3)为用于保证图像偏移量学习子网络输出全色图像相对多光谱图像的图像偏移量的平滑性的正则项,k为模糊核大小,F3为全色图像相对多光谱图像的图像偏移量,var(F3) 表示全色图像相对多光谱图像的图像偏移量F3逐层标准差之和,β和λ为常数系数。

9.一种多光谱与全色图像联合配准与模糊核估计系统,包括相互连接的微处理器和存储器,其特征在于,所述微处理器被编程或配置以执行权利要求1~8中任意一项所述多光谱与全色图像联合配准与模糊核估计方法的步骤。

10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质中存储有被编程或配置以执行权利要求1~8中任意一项所述多光谱与全色图像联合配准与模糊核估计方法的计算机程序。