欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023109268946
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于自注意力和深度卷积并行的高光谱重建方法,其特征在于,包括如下步骤:S1、编码阶段:对原始高光谱图像压缩采样得到的二维测量值Y进行反转色散,将该二维测量Y值向后偏移,获得初始化信号;步骤S1包括如下子步骤:S101、利用CASSI光学系统中二维编码孔径M对原始高光谱图像预设波长的HSI信号进行编码得到  ,如下式:,

其中, 表示调制后的HSIs,  表示光谱通道,⊙表示元素乘法;H代表输入的三维HSI立方体的高,W代表输入的三维HSI立方体的宽, 代表输入的三维HSI立方体的波长数; ;

S102、然后利用CASSI光学系统中分散器对 沿y轴剪切信号得到 ,如下式:,

其中,(u, v)为定位探测器平面上的坐标系, 为第n个通道的波长, 表示锚定波,为第n个通道在 上的空间移动偏移量;

S103、整合有通道,将 压缩为二维测量值Y,如下式: ,其中, ,为CASSI光学系统获取到的二维测量值; ,为传感探测器上成像过程中的二维测量噪声;

S104、将二维测量Y值向后偏移,获得初始化信号T,如下式:,

S2、解码阶段:包括:

S2‑1、构建基于transformer和CNN并行架构的编码器,将初始化信号输入至该编码器中提取特征并融合,得到特征图;具体为:基于transformer和CNN并行架构的编码器包括3个顺序连接的特征提取模块,所述特征提取模块为:transformer模块连接的下采样模块;

所述transformer模块是基于MSAB模块和CNN模块并行的架构,所述MSAB模块是顺序连接的第一Layer Norm模块、MSA模块、第二Layer Norm模块、Mask Attention模块,所述CNN模块是依次连接的三层卷积层;

其中,所述transformer模块是基于MSAB模块和CNN模块并行的架构,如下式:,

 ,

其中,MIX表示在MSAB分支和CNN分支之间实现特征混合的函数, 表示Layer Norm层, 为输入到transformer模块的特征信息, 为MSAB模块和CNN模块特征混合后的特征信息,FFN表示前馈网络,它由两个线性层组成且中间有一个GELU层,而 为transformer模块的输出特征信息;

所述CNN模块是依次连接的三层卷积层具体为:第一层卷积卷积核大小为1×1,激活函数为GELU;第二层卷积卷积核大小为5×5,激活函数为GELU;第三层卷积卷积核大小为1×

1,激活函数为GELU;

所述MSA模块采用光谱式多头自注意机制,用于接收来自第一Layer Norm模块输出的特征图并进一步提取特征,包括如下步骤:S2‑A1、输入 ,被重塑为令牌X,然后将X线性投影到 ,,  :

 , ,  ,其中,  是可学习参数;

S2‑A2、沿着光谱通道维度将Q、K、V分别拆分为N个头如下:,并计算每个头的自我注意力,如

下:

 ,

其中 表示 的转置矩阵, 是可学习参数,用于通过重新加权 内的矩阵乘法 来调整自注意 ;

S2‑A3、将N个头的输出在频谱上进行级联操作,以进行线性投影,再添加位置嵌入,如下:,

其中 是可学习参数, 是生成位置嵌入的函数,它包括两层3×3的卷积层、一个GELU激活层、以及重塑操作层;

S2‑A4、将得到的MSA(X)进行重塑操作,得到MSA模块的输出特征图 ;

所述Mask Attention模块用于接收第二Layer Norm模块输出的特征图,并进行特征提取,具体包括如下子步骤:S2‑B1、给定掩码 ,采用色散过程移动M:,

其中 表示M的移位版本;

S2‑B2、将 输入至两个路径:下部路径是身份映射,以保留原始保真度信息;上部路径依次经历了两次3×3卷积层和GELU层,随后经历了1个5×5深度卷积层和1个sigmoid激活函数,以及与下部路径的内积,所述上部路径为: ,

其中, 代表sigmoid激活函数, 表示深度方向conv3×3层的映射函数,表示深度方向conv5×5层的映射函数, 表示中间特征图;

S2‑B3、进行反转色散过程并将 向后移位,得到掩模注意力映射 :  ,

其中, 索引频谱通道以匹配 的维度;

S2‑2、将特征图输入至瓶颈网络中,进一步提取特征并融合,得到最终特征图;所述瓶颈网络是两个依次连接的transformer模块;

S2‑3、将最终的特征图输入至解码器中得到重建后的高光谱图像,所述解码器包括顺序连接的3个block,且3个block与所述特征提取模块一一对应;每个block依次为:上采样模块连接transformer模块;所述上采样模块与特征提取模块中的transformer模块对应,具体为:将得到的最终特征图输入到上采样模块中,用来提升特征图的大小,之后再将特征图输入到transformer模块中,得到特征图 ,之后再经过conv3×3卷积层生成残差高光谱图像 ,最后重构的高光谱图像  由R和T加和得到,即 。