1.一种基于空谱联合注意力机制的医学高光谱图像分类方法,其特征在于,包括以下步骤:S1、将全部N张高光谱图像数据构成数据集D,将数据集D划分为训练集 和测试集;
S2、利用空谱联合注意力模块为高光谱图像的每个波段赋予重要性权重;
S3、构建可保留空间分辨率的高光谱图像重构网络,学习高光谱图像的低维特征;
S4、将低维特征输入到金字塔池化双注意力轻量化残差分类网络,计算得到最终的分类结果。
2.根据权利要求1所述的一种基于空谱联合注意力机制的医学高光谱图像分类方法,其特征在于,所述S2包括以下子步骤:S21、取单幅原始高光谱图像,定义为 ,其中W、H、C分别代表原始图像的长、宽、波段数量;
S22、将该原始图像输入到空谱联合注意力模块计算各波段的权重,该原始图像在空谱联合注意力模块中,首先使用步长为2的局部平均池化操作和局部最大池化操作,将原始图像X处理为中间特征图 和 ,两个特征图的维度均为(H/2)×(W/2)×C;将 和对应通道相加,得到一次融合特征图M1,并使用一个1×1大小的卷积核进行对M1二维卷积操作,得到二次融合特组图M2,其维度为(H/2)×(W/2) ×C,其表达式为:;(1)
其中,Conv2D表示2维卷积操作,代表通道相加;
S23、对M2进行光谱注意力操作,先使用全局平均池化将M2变为1×1×C特征向量V,然后使用长度为3的卷积核对向量w进行一维卷积操作,得到重要性权重w1,其表达式为:;(2)
其中, 表示一维卷积层,GAP表示全局平均值池化;
S24、对w1使用sigmod函数进行处理,得到数值大于等于零的最终权重向量w2,其维度为1×1×C,其表达式为:;(3)
S25、使用通道级乘法操作,将原始图像的C个波段分别与最终权重向量w2的C个元素相乘,得到加权后的高光谱图像X’ 。
3.根据权利要求1所述的一种基于空谱联合注意力机制的医学高光谱图像分类方法,其特征在于,在S3中,所述高光谱图像重构网络包括编码器和解码器两大部分,其中编码器包括四个卷积层,分别为2D‑Conv,2D‑Conv1,2D‑Conv2,2D‑Conv3,其对应的卷积核大小分别为1×1,3×3,3×3,3×3;解码器包括3个反卷积层,分别为D‑Deconv1,2D‑Deconv2,2D‑Deconv3,其对应的卷积核大小分别为3×3,3×3,3×3。
4.根据权利要求3所述的一种基于空谱联合注意力机制的医学高光谱图像分类方法,其特征在于,利用高光谱图像重构网络进行低维特征学习的过程包括以下子步骤:S31、将加权后的图像X’分割为11×11×C的小块图像Z,小块图像的数量为S,将单个图像输入编码器,经过四个卷积层依次生成四组特征图: , ,, ,S张小块图像共得到S组 特征图;
S32、特征图 经过反卷积层2D‑Decon1得到第一组重构图 , 与进行通道级相加,再经过反卷积层2D‑Decon2得到第二组重构图 , 与 进行通道级相加,再经过反卷积层2D‑Decon3得到第三组重构图 , 与 进行通道级相加,得到最终的重构图 ;
S33、以式(4)所示的均方误差 作为损失函数,迭代训练高光谱图像重构网络,完成低维特征学习, 表达式为:(4);
其中, 代表第 个小块图像,代表第 个最终的重构图。
5.根据权利要求4所述的一种基于空谱联合注意力机制的医学高光谱图像分类方法,其特征在于,所述金字塔池化双注意力轻量化残差分类网络包括金字塔池化双注意力模块和轻量化残差分类模块,所述金字塔池化双注意力模块包括4级空间金字塔模块、空间注意力模块和光谱注意力模块;
所述4级金字塔模块包括4个并联通道SP1 SP4,每个通道由2维自适应平均池化模块和~大小为1×1的2维卷积模块串联组成,SP1 SP4中的2维自适应平均池化的步长分别为1×1、~
2×2、3×3、6×6;所述空间注意力模块包括上采样子模块和位置注意力子模块,上采样子模块为大小为1×1的反卷积模块,位置注意力子模块采用现有的PAM模块;所述光谱注意力模块由现有的CAM模块构成;
所述轻量化残差分类模块包括8个2维卷积层conv1 conv8和一个多通道卷积层~mulconv,conv1 conv8的卷积核大小均为3×3;mulconv由四个分支组成,分支一包括三个~卷积模块:mulconv11、mulconv12、mulconv13,其中mulconv11是卷积核大小为1×1的2维卷积,mulconv12是卷积核大小为3×3的2维卷积,mulconv13是两个并联的轻量化卷积,卷积核分别为1×3和3×1,分支二包括两个卷积模块:mulconv21、mulconv22,其中mulconv21是卷积核大小为1×1的2维卷积,mulconv22是两个并联的轻量化卷积,卷积核分别为1×3和3×1;分支三包括两个模块:mulmp31、mulconv32,其中mulmp31是步长为2的最大池化,mulconv32是卷积核大小为1×1的2维卷积,分支四包括1个卷积模块mulconv41,是卷积核大小为1×1的2维卷积。
6.根据权利要求5所述的一种基于空谱联合注意力机制的医学高光谱图像分类方法,其特征在于,将S组特征图 分别单独输入到金字塔池化双注意力轻量化残差分类网络中,每组特征图 在该网络中的具体过程为:特征图 分别输入到4级空间金字塔模块和光谱注意力模块中,在4级空间金字塔模块中,经过SP1 SP4的自适应平均池化操作后,输出~
4组特征图F11 F14,维度均为6×6×16;F11 F14再分别经过1×1的2维卷积模块进行非线~ ~性变换,输出四组新的特征图F21 F24,其维度均为6×6×4,再将F21 F24进行通道维度的~ ~拼接,得到空间金字塔的输出特征图F ;将输出特征图F 输入到空间注意力模块中,进行反卷积得到维度为11×11×16的特征图F4, PAM模块对F4进行空间注意力操作,得到空间注意力特征F51 ;在光谱注意力模块中,首先对 进行光谱注意力操作,得到光谱注意力特征F52 ,将空间注意力特征F51和光谱注意力特征F52进行通道级相加,得到处理后的特征图F ;
S组特征图 共得到S张特征图F6,将S张特征图F6分别单独输入到轻量化残差分类模块中,每张特征图F6在该模块中的具体过程为:特征图F6经过conv1 conv8的卷积操作输出~特征图F7 ,将F7输入到mulconv中,四个分支分别输出四组特征图F81 、F82 、F83 、F84 ,经过通道拼接变为一组特征图
F9 ,最后,使用全局平均池化操作,将F9压缩为1×512维度的输出特征向量F10,使用softmax分类器计算输出特征向量对每个类别的判别概率,得到一个部分分类结果,S张特征图共得到S个部分分类结果,S个部分分类结果共同构成最终的分类结果。
7.根据权利要求6所述的一种基于空谱联合注意力机制的医学高光谱图像分类方法,其特征在于,所述分类结果为向量形式,向量元素数量为需要识别的目标类别数量,向量第个元素的数值为待识别样本被判别为第 个类别的概率值。