1.一种高光谱遥感影像分类方法,其特征在于,包括以下步骤:
11)高光谱遥感影像的获取和预处理:获取高光谱遥感影像作为待训练的高光谱影像,并进行预处理;
12)生成对抗网络的构建和训练:对生成对抗网络进行构建设定,然后将预处理后的高光谱遥感影像输入生成对抗网络中进行训练,得到训练后的生成对抗网络;
13)扩充训练样本的获得:利用训练后的生成对抗网络生成新的待训练高光谱影像,并对新的高光谱影像和预处理后的高光谱影像进行主成分分析降维后合并,得到样本扩充后的待训练高光谱影像;
14)构建多尺度残差注意力网络:以3D多尺度残差注意力模块与2D多尺度残差注意力模块为基础,建立具有多尺度特征提取能力的多尺度残差注意力网络;
15)多尺度残差注意力网络的训练:将样本扩充后的待训练高光谱影像输入多尺度残差注意力网络进行训练,得到训练后的多尺度残差注意力网络;
16)待分类高光谱遥感影像的获取:获取待分类的高光谱遥感影像并进行预处理;
17)高光谱遥感影像分类结果的获得:将预处理后的待分类高光谱遥感影像输入训练后的多尺度残差注意力网络,得到高光谱遥感影像分类结果。
2.根据权利要求1所述的一种高光谱遥感影像分类方法,其特征在于,所述高光谱遥感影像的获取和预处理包括以下步骤:
21)从高光谱遥感影像的每类地物中按比例选取样本S和标签L,作为待训练的高光谱遥感影像样本,该样本数据为三维数据,尺寸大小为(w,w,c),标签尺寸大小为(w,w),其中w、c分别表示高光谱影像的窗口大小、波段数;
22)将待训练的高光谱遥感影像样本S转化为二维数据,尺寸大小为(w×w,c),此时每一行代表一个训练样本、每一列代表不同波段,标签L同样转变为w×w行的一维向量;然后通过标准归一化操作,将训练样本数据转换为符合均值为0,标准差为1的标准正态分布数据,其归一化公式如下:
j j
其中, 表示输入二维矩阵中第j列第i个地物样本,μ表示第j列的所有样本均值,σ表示第j列所有样本的标准差, 表示输出二维矩阵中第j列第i个地物样本。
3.根据权利要求1所述的一种高光谱遥感影像分类方法,其特征在于,所述生成对抗网络的构建和训练包括以下步骤:
31)利用生成器G和判别器D构建生成对抗网络,其中G和D分别设置了四层全连接网络,‑5
每层节点数为512、批大小为256、学习率为5e ,并使用LeakyReLU作为非线性激活函数,利用交叉熵损失函数分别计算生成器G和判别器D的误差,并采用RMSprop优化算法来对G和D进行优化;
32)将尺寸为(256,n)的初始噪声信号z输入到生成器中,得到经生成器生成尺寸为(256,c)的合成样本,其中n和c分别代表服从标准正态分布的噪声量和波段数,n设置为
100,生成器G的优化目标公式表示如下:其中,G(z)为生成器生成的假样本,D代表判别器输出的概率值,log表示对数运算,E为加权平均,pz(z)代表随机噪声z的分布,TG为生成器的目标函数;
33)将待训练的真实高光谱遥感影像和新生成的合成样本输入判别器D中,得到输入数据被判别为真实数据的概率,判别器D的优化目标公式表示如下:其中,x为输入的真实训练样本,pdata(x)为真是样本的分布,TD为判别器的目标函数;
34)将待训练的高光谱数据及地物标签输入到生成对抗网络后,先固定G的参数不变,对D进行有监督分类,以致于使D更好的判断真假样本;其次,固定D的参数不变,对G进行训练,按D判断的损失来对G的参数将信息更新;不断重复上述过程,直至迭代10000次,得到训练好的生成对抗网络。
4.根据权利要求1所述的一种高光谱遥感影像分类方法,其特征在于,所述构建多尺度残差注意力网络包括以下步骤:
41)搭建3D卷积神经网络模型,并创建3D多尺度特征提取模块,其中,3D多尺度特征提取模块包含三个分支,每个分支上分别设置大小为3×3×3、3×3×5、3×3×7的卷积核,通道数均为k,然后串联所有尺度下的输出特征映射图;最后,再使用1×1×1的卷积核进行特征融合操作,得到3D融合特征;
将通道注意力模块引入3D多尺度特征提取模块中创建3D多尺度注意力模块,根据不同通道的重要性程度,重新分配通道维度的权重信息,实现对提升网络性能的通道特征进行加强,其中,通道注意力模块计算过程如下:其中,CAF代表通道注意力图,F3D表示3D输入特征图,δ与δ′分别表示sigmoid和relu激活函数,SN代表共享网络,其包含二层3D卷积层和一层relu激活层,W0与W1为共享网络的权重, 和 分别表示3D全局平均池化和3D全局最大池化处理后的特征描述符;
将生成的通道注意力图CAF与原3D输入特征图相乘,对各个通道赋予不同的权重,实现对各通道重要性的修正,用数学公式表示为:其中,CAF代表通道注意力图, 表示矩阵乘法运算,F为三维输入特征图,F′为得到的输出特征图;
42)搭建2D卷积神经网络模型,并创建2D多尺度注意力模块,其中,2D多尺度特征提取模块包含三个分支,每个分支上分别设置大小为3×3、5×5、7×7的卷积核,通道数均为2k,然后串联所有尺度下的输出特征映射图;最后,再使用1×1的卷积核进行特征融合操作,得到2D融合特征;
将空间注意力模块引入2D多尺度特征提取模块中创建2D多尺度注意力模块,实现在空间维度上对显著性区域信息进行加强,其中,空间注意力模块计算过程如下:N×N
其中,SAF代表通道注意力图,F表示2D输入特征图,δ表示sigmoid激活函数,f 代表2D卷积运算,卷积核大小为N×N, 和 分别为全局平均池化和全局最大值池化处理后的特征描述符;
将空间注意力图SAF与原2D输入特征图相乘,得到空间细化后的特征图,用数学公式表示为:
*
其中,SAF代表空间注意力图, 表示矩阵乘法运算,F为二维的输入特征图,F″代表得到的输出特征图;
43)将残差连接引入3D多尺度注意力模块与2D多尺度注意力模块,创建3D多尺度注意力残差模块与2D多尺度注意力残差模块,以缓解梯度消失的现象,残差连接的计算公式如下:
+
Xl=H(Xl‑1)+H*(Xl‑1),l∈N,* *
其中,Xl‑1和Xl分别代表第l层的输入和输出,H与H 代表隐藏层,H 由平均池化层和Conv3D‑BN‑ReLU层组成;
44)设定多尺度残差注意力网络由3D多尺度注意力残差模块与2D多尺度注意力残差模块构成;
首先,采用卷积核大小为a×a×a,通道数为k的3D卷积对输入数据(w×w×d)进行空谱特征提取,得到特征数据尺寸为(w×w×d,k),其中w,w,d分别代表输入的高光谱遥感数据宽度、高度和光谱维度,随后将得到的特征数据输入到3D多尺度注意力残差模块中进行更深层次的学习,得到尺寸为(w×w×d1,k)的输出数据;
然后,采用卷积核大小为a1×a1×a1,通道数为2k的3D卷积对3D多尺度注意力残差模块的输出数据进行特征提取,得到输出尺寸为(w×w×d2,2k)的特征图,并使用Reshape操作,将特征图尺寸转换为(w×w,2k×d2);
其次,将经过Reshape操作后的特征图输入到2D多尺度注意力残差模块中进行进一步的学习;
最后,经过二层Dense网络,并使用Softmax函数得到分类结果,得到构建好的多尺度残差注意力网络。
5.根据权利要求1所述的一种高光谱遥感影像分类方法,其特征在于,所述多尺度残差注意力网络的训练包括以下步骤:
51)将降维后的待训练扩充高光谱影像作为多尺度残差注意力网络的训练数据集,其每个样本大小为(w,w,d)的3D立方体;
52)将3D立方体样本经过卷积核为1×1×1,通道数为k的Conv3D‑BN‑ReLU层,使训练样本的尺寸变为(w×w×d,k);然后通过3D多尺度特征提取模块,提取不同尺度下的空谱特征,得到融合特征,其大小为(w×w×d1,k);
53)在3D多尺度特征提取模块后设立通道注意力模块,对于输入的融合特征图得到经通道注意力模块修正后的输出特征图 然后将多尺度模块的输入特征图与得到的输出特征图进行残差连接;最后经过卷积核为3×3×3,通道数为
2k,步长为(2,2,1)的Conv3D‑BN‑ReLU层,得到尺寸为(w×w×d2,2k)输出的特征图;
54)将得到的输出特征图进行Reshape操作,尺寸转变为(w×w,2k×d2);然后通过2D多尺度特征提取模块,提取不同尺度下的空谱特征得到融合特征,其大小为(w1×w1,2k);
55)在2D多尺度特征提取模块后设立空间注意力模块,对于输入的融合特征图得到经通道注意力模块修正后的输出特征图 然后将多尺度模块的输入特征图与得到的输出特征图进行残差连接;最后经过卷积核为3×3,通道数为2k的Conv3D‑BN‑ReLU层,得到尺寸为(w1×w1,2k)输出的特征图;
56)将得到的输出特征图进行Flatten展开操作,尺寸大小转变为(1×(w1×w1×2k));
然后经过二层Dense网络,并且每层Dense网络连接Dropout层;最后通过带有Softmax函数的全连接层得到分类结果;
57)利用反向传播机制对网络参数进行更新,使用分类交叉熵损失函数并且使用Adam优化网络模型,损失函数表达式如下:其中,∑为求和操作,log为取对数操作,Loss(Y,Y′)表示为预测值与真实值间的误差损失,Yi={y1,y2,...,ym}代表真实标签向量,Yi′={y′1,y′1,...,y′m}表示预测标签向量,m为样本数,n为高光谱影像地物类别数;
58)将扩充后的待训练数据集输入到多尺度注意力残差网络中进行训练,提取用于高光谱遥感影像分类的多尺度上下文信息,并且在通道维及空间维上对不同特征分配不同的权重,自动地选择性学习高光谱图像中的特征,得到训练后的多尺度注意力残差网络。