欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024109605056
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种高分辨率多光谱视频成像方法,其特征在于,包括将多光谱图像视频中的低分辨率多光谱图像、全色图像视频中的高分辨率全色图像输入预先训练好的多光谱图像融合网络以重建出最终的高分辨率多光谱图像,且多光谱图像融合网络重建出最终的高分辨率多光谱图像包括下述步骤:S101,将低分辨率多光谱图像输入嵌入层得到嵌入的低分辨率多光谱图像;将高分辨率全色图像输入嵌入层得到嵌入的高分辨率全色图像;

S102,通过光谱差异分析模块将嵌入的高分辨率全色图像结合嵌入的低分辨率多光谱图像进行级分析光谱和空间差异,且每一级分析光谱和空间差异时将输出的特征通过下采样输出,并由最后一级下采样得到输出特征;通过空间差异分析模块将嵌入的低分辨率多光谱图像结合嵌入的高分辨率全色图像进行级分析空间和光谱差异,且每一级分析光谱和空间差异时将输出的特征通过下采样输出,并由最后一级的下采样得到输出特征;

S103,将特征和特征融合得到初始融合特征;

S104,将初始融合特征结合光谱先验经验和空间先验经验利用解码器解码重建出最终的高分辨率多光谱图像,包括:S201,将初始融合特征通过级光谱-空间先验引导的融合模块结合光谱先验经验和空间先验经验解码得到解码特征;且每一级光谱-空间先验引导的融合模块的输入端包括一个通道上采样模块和堆叠操作,且每一级光谱-空间先验引导的融合模块的输出特征的函数表达式为:,

上式中,为第n级光谱-空间先验引导的融合模块的输出特征,表示第n级光谱-空间先验引导的融合模块,为第n级光谱-空间先验引导的融合模块的输入特征,且和分别表示嵌入的低分辨率多光谱图像和嵌入的高分辨率全色图像中提取的光谱先验经验和空间先验经验,且有:,

,

上式中,表示堆叠操作,表示第n级通道上采样模块的输出特征,表示第n级通道上采样模块,为第N-n+1阶段模块的输出,;

S202,根据下式重建出最终的高分辨率多光谱图像:

,

上式中,为最终的高分辨率多光谱图像,为卷积操作,表示堆叠操作,为初次嵌入的低分辨率多光谱图像,为初次嵌入的高分辨率全色图像。

2.根据权利要求1所述的高分辨率多光谱视频成像方法,其特征在于,所述光谱差异分析模块包括依次相连的第一线性归一化层LN、光谱低秩交叉注意力模块、第一叠加模块、第二线性归一化层LN、前馈网络FFN和第二叠加模块,且第一线性归一化层LN的输出还作为第一叠加模块的输入,功能层的输出还作为第二叠加模块的输入;所述光谱低秩交叉注意力模块的功能层的函数表达式为:,

,

上式中,为光谱低秩交叉注意力模块输出的特征,表示堆叠操作,为注意力头的数量,为第j个注意力头交叉注意的结果,为可学习的参数,为位置嵌入函数,位置嵌入函数由两个3×3卷积层和GELU激活层组成;为第j个注意力头的值,为第j个注意力头的注意力分数,且有:,

上式中,为softmax激活函数,为输入特征经过线性映射得到的键,为输入特征经过线性映射得查询,输入特征经过线性映射得到值为,其中为上一阶段嵌入的高分辨率全色图像,为低分辨率多光谱图像尺寸改变得到的图像,为所处阶段数目,、和为可学习的参数。

3.根据权利要求1所述的高分辨率多光谱视频成像方法,其特征在于,所述空间差异分析模块包括依次相连的第一线性归一化层LN、空间低秩交叉注意力模块、第一叠加模块、第二线性归一化层LN、前馈网络FFN和第二叠加模块,且第一线性归一化层LN的输出还作为第一叠加模块的输入,功能层的输出还作为第二叠加模块的输入;所述空间低秩交叉注意力模块的函数表达式为:,

上式中,为空间低秩交叉注意力模块输出的特征,表示堆叠操作,为第i个通道的和空间交叉注意力输出的特征,为和空间交叉注意力输出的特征,为当前阶段空间差异分析模块的输出结果,为位置嵌入函数,位置嵌入函数由两个3×3卷积层和GELU激活层组成,表示N个编码阶段中的第个编码阶段,表示图像光谱波段的数目;且有:上式中,为和空间交叉注意力的输出,为和空间交叉注意力的输出,和是可学习的参数,为从和中获得的第j个头的注意力分数,为和中获得的第j个头的注意力分数,为前一个网络从低分辨率多光谱图像中提取出来的特征的子空间,为嵌入的高分辨率全色图像的特征的子空间,为前一个网络从低分辨率多光谱图像中提取出来的特征的空间系数,为嵌入的高分辨率全色图像的特征的空间系数,其中:,

,

,

,

上式中,为前一个网络从低分辨率多光谱图像中提取出来第i个通道的特征,为嵌入的高分辨率全色图像第i个通道的特征,,,是可学习的参数。

4.根据权利要求1所述的高分辨率多光谱视频成像方法,其特征在于,步骤S103中将特征和特征融合得到初始融合特征的函数表达式为:,

上式中,表示瓶颈结构模块,表示堆叠操作。

5.根据权利要求4所述的高分辨率多光谱视频成像方法,其特征在于,所述瓶颈结构模块由一个卷积核大小为1×1的卷积模块和光谱-空间先验引导的融合模块组成,所述光谱-空间先验引导的融合模块包括依次相连的第一线性归一化层LN、光谱-空间先验引导的自注意力模块、第一叠加模块、第二线性归一化层LN、前馈网络FFN和第二叠加模块,且所述光谱-空间先验引导的自注意力模块的函数表达式为:,

上式中,为光谱-空间先验引导的自注意力模块的输出特征,表示堆叠操作,为注意力头的数量,为第j个注意力头交叉注意的结果,为可学习的参数,为位置嵌入函数,位置嵌入函数由两个3×3卷积层和GELU激活层组成;为空间谱先验经验,且有:,

上式中,为采用注意力机制从第n级光谱-空间先验引导的融合模块的输入特征提取出的值value。

6.一种高分辨率多光谱视频成像装置,包括相互连接的微处理器和存储器,其特征在于,所述微处理器被编程或配置以执行权利要求1~5中任意一项所述高分辨率多光谱视频成像方法。

7.根据权利要求6所述的高分辨率多光谱视频成像装置,其特征在于,所述微处理器还连接有光学及传感模块,所述光学及传感模块包括物镜、分光棱镜、目镜、全色成像传感器和多光谱编码传感器,所述目镜包括第一目镜和第二目镜,外部进入的光线经过物镜后进入分光棱镜被分为两束,一束通过第一目镜进入全色成像传感器,另一束通过第二目镜进入多光谱编码传感器,所述全色成像传感器和多光谱编码传感器分别与微处理器相连。

8.一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序或指令,其特征在于,该计算机程序或指令被编程或配置以通过处理器执行权利要求1~5中任意一项所述高分辨率多光谱视频成像方法。

9.一种计算机程序产品,包括计算机程序或指令,其特征在于,该计算机程序或指令被编程或配置以通过处理器执行权利要求1~5中任意一项所述高分辨率多光谱视频成像方法。