1.一种空谱频多域融合的高光谱计算成像方法,其特征在于,包括:S1,将RGB图像 转换到频率域得到频域特征图 ;
S2,从频域特征图 中提取频率信息图 ,包括:S2.1,将频域特征图 按照YCbCr空间的Y、Cb、Cr三通道在通道维度三等份,首先分别对每一等份特征进行空间下采样并分割为低频信息和高频信息两部分,然后分别对每一等份中的低频信息与高频信息进行通道重组,得到低频特征 与高频特征 ,且尺寸为 ,,其中 为频域特征图 的通道数,表示空间下采样后的尺寸大小;
S2.2,分别对低频特征 与高频特征 采用m个密集残差块RDB进行映射学习,且采用GeLu函数作为密集残差块RDB中的激活函数;S2.3,将映射学习后的低频特征和与高频特征经过通道维堆叠后采用n个密集残差块RDB进行映射学习得到频率重组图,再将频率重组图上采样得到频率信息图 ;
S3,将频率信息图 变换到空间域得到空间域的频率信息图 ;
S4,将空间域的频率信息图 融合到RGB图像 的空谱域特征中生成高光谱图像 ,所述RGB图像 的空谱域特征的获取包括:对RGB图像 利用卷积核大小为1×1的卷积提取空谱浅层特征 ,以及将空谱浅层特征 利用卷积核大小为3×3的卷积升维后送入对称卷积神经网络以进一步提取RGB图像 的空谱深层特征 以作为RGB图像 的空谱域特征;所述将空间域的频率信息图 融合到RGB图像 的空谱域特征中生成高光谱图像 的函数表达式为:,
上式中, 表示卷积核大小为3×3的卷积操作, 表示卷积核大小为1×1的卷积操作, 为空间域的频率信息图。
2.根据权利要求1所述的空谱频多域融合的高光谱计算成像方法,其特征在于,步骤S1中将RGB图像 转换到频率域得到频域特征图 包括:S1.1,将输入的RGB图像 转化到YCbCr空间图并按颜色通道分割成图像块;
S1.2,利用二维的离线离散余弦变换DCT将每一个图像块投影到频域得到频率系数;
S1.3,将每个图像块的频率系数按照Y、Cb、Cr三通道顺序排列在一起堆栈在一起,进行向量化得到频带;再将频带按照Z字形重组得到频域特征图 ,且所述频域特征图中每一个通道对应一个频带。
3.根据权利要求1所述的空谱频多域融合的高光谱计算成像方法,其特征在于,步骤S3中将频率信息图 变换到空间域得到空间域的频率信息图 包括:S3.1,将频率信息图分割成图像块;
S3.2,利用二维的离线离散余弦逆变换IDCT将每一个图像块投影到空间域;
S3.3,将投影到空间域中图像块组合得到空间域的频率信息图 。
4.根据权利要求1所述的空谱频多域融合的高光谱计算成像方法,其特征在于,所述对称卷积神经网络包括特征提取上分支、空间注意力模块SA、特征提取下分支、通道堆叠模块CAT和卷积模块,所述特征提取上分支包括依次相连的N个局部特征提取模块LFEM,输入对称卷积神经网络的特征图从特征提取上分支的第一个局部特征提取模块LFEM进入,且特征提取上分支中的局部特征提取模块LFEM均包括三路输出,第一路输出到通道堆叠模块CAT、第二路输出到一个对应的空间注意力模块SA中,前N‑1个局部特征提取模块LFEM的第三路输出到特征提取上分支中的下一个局部特征提取模块LFEM,所述特征提取下分支包括N个局部特征提取模块LFEM,第一个空间注意力模块SA的输出与特征提取上分支中的第N个局部特征提取模块LFEM的输出融合后作为特征提取下分支中第一个局部特征提取模块LFEM的输入,其余空间注意力模块SA的输出均与特征提取下分支中上一个局部特征提取模块LFEM的输出融合后作为特征提取下分支中对应的局部特征提取模块LFEM的输入,且特征提取下分支中每一个局部特征提取模块LFEM均包含一路输出连接到通道堆叠模块CAT,所述通道堆叠模块CAT的输出通过卷积核大小为1×1的卷积模块进行细化以得到RGB图像 的空谱深层特征 。
5.根据权利要求4所述的空谱频多域融合的高光谱计算成像方法,其特征在于,所述局部特征提取模块LFEM包括三个多特征融合双注意力模块MFFDAB、两个卷积核尺寸为1×1的组卷积、一个通道堆叠模块和一个卷积核大小为1×1的卷积,所述局部特征提取模块LFEM对输入特征图进行特征提取的函数表达式为:,
,
,
,
上式中, ~ 分别为三个多特征融合双注意力模块MFFDAB的输出特征, ~分别表示三个多特征融合双注意力模块MFFDAB, 与 分别表示局部特征提取模块LFEM的输入输出特征, 表示通道堆叠模块, 表示卷积核大小为1×1的卷积,和 分别表示两个卷积核尺寸为1×1的组卷积;所述多特征融合双注意力模块MFFDAB用于提取图像空谱域深层特征,其提取图像空谱域深层特征的函数表达式为: ,
,
,
,
,
,
上式中, ~ 分别为三组中间特征, 表示卷积核大小为1×1的卷积,表示卷积核尺寸为3×3的卷积, 表示卷积核尺寸为5×5的卷积,表示卷积核尺寸为7×7的卷积, 表示通道注意力模块、 表示空间注意力模块, 为通道注意力模块的输出特征, 为空间注意力模块的输出特征, 和 分别表示第j个多特征融合双注意力模块MFFDAB的输入输出特征。
6.根据权利要求5所述的空谱频多域融合的高光谱计算成像方法,其特征在于,步骤S1~步骤S4为基于高光谱计算成像模型实现,所述高光谱计算成像模型包括:频域变换模块,用于执行步骤S1;
频域学习模块FDLM,用于执行步骤S2;
频域逆变换模块,用于执行步骤S3;
特征融合模块FFM,用于执行步骤S4;
空谱域特征提取模块,用于提取RGB图像 的空谱域特征;
所述高光谱计算成像模型在训练时采用的损失函数 的函数表达式为:,
上式中, 为空谱域损失函数,为平衡参数, 为频域损失函数,所述空谱域损失函数为高光谱计算成像模型生成的高光谱图像、作为标签的真实高光谱图像之间的 范数,所述频域损失函数为高光谱计算成像模型生成的空间域的频率信息图、真实高光谱图像中的空间域的频率信息图之间的 范数。
7.一种空谱频多域融合的高光谱计算成像系统,包括相互连接的微处理器和存储器,其特征在于,所述微处理器被编程或配置以执行权利要求1~6中任意一项所述空谱频多域融合的高光谱计算成像方法。
8.一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其特征在于,所述计算机程序用于被微处理器编程或配置以执行权利要求1~6中任意一项所述空谱频多域融合的高光谱计算成像方法。