1.一种显式交互和自适应对齐的高光谱和激光雷达分类方法,其特征在于,包括以下步骤:
11)显式交互和自适应对齐的高光谱和激光雷达分类网络的数据准备和构建:对获取的高光谱和激光雷达数据集进行裁剪;对裁剪后的高光谱和激光雷达进行数据增强和划分;构建一个多模态四分支特征提取模块提取高光谱图像的高光谱特征和激光雷达图像的激光雷达特征;构建特征自适应对齐模块,该模块包含可学习的模态字典,通过调用该字典弥补模态信息差距;构建显式交互融合模块,该模块采用双重注意力机制和自定义的通道注意力机制,对两种模态的特征在通道维度上进行跨模态信息交互操作;
12)训练显式交互和自适应对齐的高光谱和激光雷达分类网络:利用划分好的训练集及其对应标签对所建立的网络模型进行训练并调整参数,直到训练达到预设的迭代次数epoch,最后保留相应的参数与训练好的网络;
13)显式交互和自适应对齐的高光谱和激光雷达分类结果获取:将获取的成对待处理真实高光谱图像和激光雷达图像数据输入到训练好的显式交互和自适应对齐的高光谱和激光雷达分类网络,得到图像分类结果。
2.根据权利要求1所述的一种显式交互和自适应对齐的高光谱和激光雷达分类方法,其特征在于,所述显式交互和自适应对齐的高光谱和激光雷达分类数据准备与构建包括以下步骤:
21)根据类别标记样本位置的(x,y)坐标,其中x为横坐标,y为纵坐标,在高光谱图像上,以(x,y)为中心,切分出1111的图像块,在配对的激光雷达图像上,同样以(x,y)为中心,切分出1111的图像块,构成带有标签类别的图像块对;
22)根据标签图,切分出所有带有标签的图像块对进行数据增强,所述数据增强包括,在光谱维度添加高斯噪声和执行光谱扰动,在空间维度实施随机旋转和弹性变换;最后将其中的20%划分为训练集,剩下的80%作为测试集;
23)构建四分支的特征提取模块,包括提取高光谱图像交互特征和对齐特征的两个分支以及提取激光雷达图像交互特征和对齐特征的两个分支,四个分支的结构相同,都是由三个连续的密集Transformer连接、1个2D卷积层、1个BN批归一化层、1个ReLU激活函数构成;其中,密集Transformer连接由3个线性层,1个多头自注意力、1个2D卷积层、1个BN批归一化层、1个ReLU激活函数构成,其中卷积核的大小均为33,步长为1,填充大小为1;
24)构建特征自适应对齐模块,包括2个模态字典,2个注意力机制,1个编码器和1个解码器;
241)编码器由4个2D卷积层、4个BN批归一化层、4个ReLU激活函数构成,其中卷积核的大小为33,步长为1,填充大小为1;
242)解码器由4个2D反卷积层、4个BN批归一化层、4个ReLU激活函数构成,其中反卷积核的大小为33,步长为1,填充大小为1;
25)构建显式交互融合模块,包括2个双重注意力机制,1个自定义的通道注意力机制,3个2D卷积层、3个BN批归一化层和3个ReLU激活函数,双重注意力机制包括1个空间注意力机制,1个通道注意力机制,3个2D卷积层、3个BN批归一化层和3个ReLU激活函数,其中卷积核的大小均为33,步长为1,填充大小为1。
3.根据权利要求1所述的一种显式交互和自适应对齐的高光谱和激光雷达分类方法,其特征在于,所述训练显式交互和自适应对齐的高光谱和激光雷达分类网络包括以下步骤:
31)训练一个有四分支的特征提取模块,特征自适应对齐模块和显式交互融合模块的高光谱和激光雷达协同分类网络,具体步骤如下:
32)将训练集中的成对的高光谱图像和激光雷达图像输入到特征提取模块,通过四分支分别提取高光谱图像的高光谱交互特征和高光谱对齐特征以及激光雷达图像的激光雷达交互特征和激光雷达对齐特征,具体步骤如下:
321)将高光谱图像输入到高光谱图像特征提取模块获高光谱交互特征和高光谱对齐特征,具体步骤如下:
3211)对于大小为的高光谱图像输入到高光谱交互特征的提取分支后,先执行补丁嵌入操作;其中,H表示图像的高度,W表示图像的宽度,C表示光谱通道数,具体步骤如下:将输入的高光谱图像分割成个不重叠的小块,每个小块的大小为,其中P是小块的边长;
对于每个小块执行线性投影操作,将整个高光谱图像转换为大小为向量矩阵,其中线性投影的可学习的权重矩阵大小为,D是投影后的向量维度;
3212)对于经过补丁嵌入操作后得到的向量矩阵Z进行位置编码,公式如下:,
其中,P为正弦-余弦位置编码,为加入位置编码后的向量矩阵;
3213)对于位置编码后得到的向量矩阵执行三个连续的密集Transformer连接操作和一个卷积核大小为33,步长为1,填充大小为1的2D卷积、1个BN批归一化、1个ReLU激活函数,得到特征大小不变的高光谱交互特征和高光谱对齐特征,具体步骤如下:
3214)向量矩阵先执行一个线性层操作得到,然后再执行一个线性层操作获得三个分量输入到多头自注意力中提取全局特征,并通过跳跃连接与进行逐元素相加操作获得特征,最后执行一个线性层操作、一个卷积核大小为33,步长为1,填充大小为1的2D卷积、1个BN批归一化、1个ReLU激活函数后与进行逐元素相加获得第一层密集Transformer连接操作的输出,公式如下:,
,
,
其中,为线性层操作,为多头自注意力操作,为33 2D卷积操作,为BN批归一化操作,表示ReLU激活函数,为逐像素相加操作;
3215)将第一层密集Transformer连接操作的输出与特征执行通道维度的拼接操作后输入到第二层密集Transformer连接,获得特征,公式如下:,
其中,表示通道维度的拼接操作,表示密集Transformer连接操作;
3216)将第二层密集Transformer连接操作的输出与特征以及特征执行通道维度的拼接操作后输入到第三层密集Transformer连接,获得特征,公式如下:,
其中,表示通道维度的拼接操作,表示密集Transformer连接操作;
3217)将三层密集Transformer连接输出的特征、和与进行通道维度的拼接操作后执行1个卷积核大小为33,步长为1,填充大小为1的2D卷积、1个BN批归一化、1个ReLU激活函数,得到特征大小不变的特征图,公式如下:;
3218)对于大小为的高光谱图像输入到高光谱对齐特征的提取分支后,执行高光谱交互特征提取分支相同的操作,获得高光谱对齐特征,公式如下:,
其中,表示补丁嵌入操作、位置编码操作、三层密集Transformer连接操作的集合;
322)对于大小为的激光雷达图像输入到激光雷达交互特征的提取分支后,执行高光谱交互特征提取分支相同的操作,获得激光雷达交互特征,公式如下:;
323)对于大小为的激光雷达图像输入到激光雷达交互特征的提取分支后,执行高光谱交互特征提取分支相同的操作,获得激光雷达交互特征,公式如下:;
33)在四分支的特征提取模块之后,设计了一个特征自适应对齐模块,利用可学习的模态字典弥补高光谱和激光雷达特征的信息差距,并通过多种损失函数的约束保证模态字典学习的准确性,从而最大限度地减少不同模态之间的差异,具体步骤如下:
331)在特征提取模块中获取的高光谱交互特征与激光雷达模态字典沿着通道维度执行拼接操作,之后执行一个通道注意力操作,得到信息对齐的一致性高光谱交互特征,公式如下:,
,
其中,、和的特征大小相同,Q1、K1和V1的大小均为,的注意力图大小为,d是为了防止点积结果过大导致梯度消失或爆炸的缩放因子,表示softmax激活函数;
332)在特征提取模块中获取的激光雷达交互特征与高光谱模态字典沿着通道维度执行拼接操作,之后执行一个通道注意力操作,得到信息对齐的一致性激光雷达交互特征,公式如下:,
,
其中,、和的特征大小相同,Q2、K2和V2的大小均为,的注意力图大小为,d是为了防止点积结果过大导致梯度消失或爆炸的缩放因子,表示softmax激活函数;
333)高光谱对齐特征和激光雷达对齐特征先执行沿着通道维度的拼接操作,执行4个卷积核大小为33,步长为1,填充大小为1的2D卷积、4个BN批归一化、4个ReLU激活函数,得到图像大小不变的融合特征,公式如下:,
其中,表示连续执行4个卷积核大小为33,步长为1,填充大小为1的2D卷积、4个BN批归一化和4个ReLU激活函数;
334)融合特征执行4个卷积核大小为33,步长为1,填充大小为1的2D反卷积、5个BN批归一化、5个ReLU激活函数,重建出输入的高光谱图像和激光雷达图像,公式如下:,
其中,表示连续执行4个卷积核大小为33,步长为1,填充大小为1的2D反卷积、4个BN批归一化和4个ReLU激活函数,和是重建后的高光谱图像和激光雷达图像;
335)执行一致性重建损失来确保的融合结果,公式如下:,
其中,和是重建的高光谱图像和激光雷达图像,和是原始输入的高光谱图像和激光雷达图像,表示L1范式;
336)执行特征级互相关FCC来确保、与融合特征之间的一致性,因此,模态字典和可以根据以下损失函数学习,公式如下:,
,
其中,X和Y是两个多通道的数据,它们具有相同的维度,i表示数据在高度方向上的索引,j通常表示数据在宽度方向上的索引,k通常表示数据在通道方向上的索引,和分别表示X和Y的第k个通道的均值,表示总的特征级互相关损失;
337)执行基于L2范式的一致性损失进一步优化模态字典和,公式如下:,
其中,表示对于和的L2范式的一致性损失;
34)在获取到一致性高光谱交互特征和一致性激光雷达交互特征之后,设计了一个显式交互融合模块利用设计的通道注意力机制在通道维度上进行显式建模,实现跨模态交互融合,具体步骤如下:
341)一致性高光谱交互特征输入显式交互融合模块先执行一个双重注意力机制,具体步骤如下:
3411)执行一个空间注意力机制,获得特征,公式如下:,
,
其中,Q3、K3和V3的大小均为,的注意力图大小为,d是为了防止点积结果过大导致梯度消失或爆炸的缩放因子,表示softmax激活函数;
3412)执行一个通道注意力机制,获得特征,公式如下:,
,
其中,Q4、K4和V4的大小均为,的注意力图大小为,d是为了防止点积结果过大导致梯度消失或爆炸的缩放因子,表示softmax激活函数;
3413)对获得的特征和分别与特征执行逐元素加法操作,然后沿着通道维度执行拼接操作,获得特征,公式如下:,
其中,表示通道维度的拼接操作,为逐像素相加操作;
3414)特征执行3个卷积核大小为33,步长为1,填充大小为1的2D卷积、3个BN批归一化、3个ReLU激活函数,得到图像大小不变的融合特征,公式如下:,
其中,表示连续执行3个卷积核大小为33,步长为1,填充大小为1的2D卷积、3个BN批归一化和3个ReLU激活函数;
342)一致性激光雷达交互特征输入显式交互融合模块先执行一个双重注意力机制,具体步骤如下:
3421)执行一个空间注意力机制,获得特征,公式如下:,
,
其中,Q5、K5和V5的大小均为,的注意力图大小为,d是为了防止点积结果过大导致梯度消失或爆炸的缩放因子,表示softmax激活函数;
3422)执行一个通道注意力机制,获得特征,公式如下:,
,
其中,Q6、K6和V6的大小均为,的注意力图大小为,d是为了防止点积结果过大导致梯度消失或爆炸的缩放因子,表示softmax激活函数;
3423)对获得的特征和特征分别与特征执行逐元素加法操作,然后沿着通道维度执行拼接操作,获得特征,公式如下:,
其中,表示通道维度的拼接操作,为逐像素相加操作;
3424)特征执行3个卷积核大小为33,步长为1,填充大小为1的2D卷积、3个BN批归一化、3个ReLU激活函数,得到图像大小不变的融合特征,公式如下:,
其中,表示连续执行3个卷积核大小为33,步长为1,填充大小为1的2D卷积、3个BN批归一化和3个ReLU激活函数;
343)一致性高光谱交互特征和一致性激光雷达交互特征执行沿着通道维度的拼接操作之后变形为大小为的向量矩阵,特征和变形为大小为的向量矩阵和,然后三个向量矩阵均执行一次BN批归一化操作;
344)向量矩阵执行一个线性层操作后得到Q7,执行一个线性层操作后得到和,执行一个线性层操作后得到和,然后执行自定义的通道注意力机制,得到特征,公式如下:,
,
,
,
其中,Q7的大小为,、、和的大小均为,的大小为,的大小为,为沿着通道维的拼接操作,表示sigmoid激活函数,表示归一化操作,S表示缩放因子;
345)特征变形成与一致性高光谱交互特征、一致性激光雷达交互特征执行沿着通道维度的拼接操作,然后执行3个卷积核大小为33,步长为1,填充大小为1的2D卷积、3个BN批归一化、3个ReLU激活函数,得到图像大小不变的分类特征,公式如下:,
其中,表示连续执行3个卷积核大小为33,步长为1,填充大小为1的2D卷积、3个BN批归一化和3个ReLU激活函数;
35)将分类特征执行一个线性层操作和一个softmax操作,进行预测分类,具体公式如下:,
其中,表示全连接层操作,表示softmax激活函数操作,表示预测的分类结果;
36)采用交叉熵作为损失函数对网络分类精度进行优化,交叉熵损失函数表达式如下:,
其中,N为训练样本个数,为基础真值的第i个样本,为预测值的第i个样本;
37)通过计算损失函数的梯度,将误差从输出层反向传播回网络的每一层,这样,显式交互和自适应对齐的高光谱和激光雷达分类网络的参数会被更新,以使其更好地分类;
通过损失值反向传播确定梯度向量,更新显式交互和自适应对齐的高光谱和激光雷达分类网络参数;
判断是否达到设定的训练轮数,若是则完成显式交互和自适应对齐的高光谱和激光雷达分类网络的训练,否则继续训练;
38)利用训练好的显式交互和自适应对齐的高光谱和激光雷达分类网络,将预处理过的测试数据集输入加载好的网络进行预测,测试分类性能。