1.基于自注意力和深度卷积并行的高光谱重建方法,其特征在于,包括如下步骤:S1、编码阶段:对原始高光谱图像压缩采样得到的二维测量值Y进行反转色散,将该二维测量Y值向后偏移,获得初始化信号;步骤S1包括如下子步骤:S101、利用CASSI光学系统中二维编码孔径M对原始高光谱图像预设波长的HSI信号进行编码得到 ,如下式:,
其中, 表示调制后的HSIs, 表示光谱通道,⊙表示元素乘法;H代表输入的三维HSI立方体的高,W代表输入的三维HSI立方体的宽, 代表输入的三维HSI立方体的波长数; ;
S102、然后利用CASSI光学系统中分散器对 沿y轴剪切信号得到 ,如下式:,
其中,(u, v)为定位探测器平面上的坐标系, 为第n个通道的波长, 表示锚定波,为第n个通道在 上的空间移动偏移量;
S103、整合有通道,将 压缩为二维测量值Y,如下式: ,其中, ,为CASSI光学系统获取到的二维测量值; ,为传感探测器上成像过程中的二维测量噪声;
S104、将二维测量Y值向后偏移,获得初始化信号T,如下式:,
S2、解码阶段:包括:
S2‑1、构建基于transformer和CNN并行架构的编码器,将初始化信号输入至该编码器中提取特征并融合,得到特征图;具体为:基于transformer和CNN并行架构的编码器包括3个顺序连接的特征提取模块,所述特征提取模块为:transformer模块连接的下采样模块;
所述transformer模块是基于MSAB模块和CNN模块并行的架构,所述MSAB模块是顺序连接的第一Layer Norm模块、MSA模块、第二Layer Norm模块、Mask Attention模块,所述CNN模块是依次连接的三层卷积层;
其中,所述transformer模块是基于MSAB模块和CNN模块并行的架构,如下式:,
,
其中,MIX表示在MSAB分支和CNN分支之间实现特征混合的函数, 表示Layer Norm层, 为输入到transformer模块的特征信息, 为MSAB模块和CNN模块特征混合后的特征信息,FFN表示前馈网络,它由两个线性层组成且中间有一个GELU层,而 为transformer模块的输出特征信息;
所述CNN模块是依次连接的三层卷积层具体为:第一层卷积卷积核大小为1×1,激活函数为GELU;第二层卷积卷积核大小为5×5,激活函数为GELU;第三层卷积卷积核大小为1×
1,激活函数为GELU;
所述MSA模块采用光谱式多头自注意机制,用于接收来自第一Layer Norm模块输出的特征图并进一步提取特征,包括如下步骤:S2‑A1、输入 ,被重塑为令牌X,然后将X线性投影到 ,, :
, , ,其中, 是可学习参数;
S2‑A2、沿着光谱通道维度将Q、K、V分别拆分为N个头如下:,并计算每个头的自我注意力,如
下:
,
其中 表示 的转置矩阵, 是可学习参数,用于通过重新加权 内的矩阵乘法 来调整自注意 ;
S2‑A3、将N个头的输出在频谱上进行级联操作,以进行线性投影,再添加位置嵌入,如下:,
其中 是可学习参数, 是生成位置嵌入的函数,它包括两层3×3的卷积层、一个GELU激活层、以及重塑操作层;
S2‑A4、将得到的MSA(X)进行重塑操作,得到MSA模块的输出特征图 ;
所述Mask Attention模块用于接收第二Layer Norm模块输出的特征图,并进行特征提取,具体包括如下子步骤:S2‑B1、给定掩码 ,采用色散过程移动M:,
其中 表示M的移位版本;
S2‑B2、将 输入至两个路径:下部路径是身份映射,以保留原始保真度信息;上部路径依次经历了两次3×3卷积层和GELU层,随后经历了1个5×5深度卷积层和1个sigmoid激活函数,以及与下部路径的内积,所述上部路径为: ,
其中, 代表sigmoid激活函数, 表示深度方向conv3×3层的映射函数,表示深度方向conv5×5层的映射函数, 表示中间特征图;
S2‑B3、进行反转色散过程并将 向后移位,得到掩模注意力映射 : ,
其中, 索引频谱通道以匹配 的维度;
S2‑2、将特征图输入至瓶颈网络中,进一步提取特征并融合,得到最终特征图;所述瓶颈网络是两个依次连接的transformer模块;
S2‑3、将最终的特征图输入至解码器中得到重建后的高光谱图像,所述解码器包括顺序连接的3个block,且3个block与所述特征提取模块一一对应;每个block依次为:上采样模块连接transformer模块;所述上采样模块与特征提取模块中的transformer模块对应,具体为:将得到的最终特征图输入到上采样模块中,用来提升特征图的大小,之后再将特征图输入到transformer模块中,得到特征图 ,之后再经过conv3×3卷积层生成残差高光谱图像 ,最后重构的高光谱图像 由R和T加和得到,即 。