1.一种空间对齐和因果交互的高光谱激光雷达协同分类方法,其特征在于,包括以下步骤:
11)空间对齐和因果交互的高光谱激光雷达协同分类数据准备:对获取的高光谱和激光雷达数据集进行划分裁剪;
12)构建空间对齐和因果交互的高光谱激光雷达协同分类网络:构建空间偏移预测模块预测高光谱图像和激光雷达图像之间的空间偏移量;构建一个多模态双分支特征提取模块提取高光谱图像的高光谱特征和激光雷达图像的激光雷达特征;构建因果分离模块从高光谱特征和激光雷达特征分解出与类别本身相关与模态无关的因果因素和与类别本身无关与模态相关的非因果因素,通过分离模态差异,可以获得更丰富的语义信息来进行模态一致的融合;构建因果交互模块渐进式地融合多模态特征;
空间对齐和因果交互的高光谱激光雷达协同分类网络的训练包括四个部分,第一个部分是空间对齐部分,通过空间偏移预测模块预测高光谱图像和激光雷达图像的空间偏移量;第二个部分是高光谱特征和激光雷达特征提取部分,通过多模态双分支特征提取针对性的提取高光谱图像和激光雷达图像特征;第三部分是因果因素和非因果因素分解部分,通过因果分离模块将高光谱特征分解成高光谱因果因素和高光谱非因果因素,将激光雷达特征分解成激光雷达因果因素和激光雷达非因果因素,通过分离模态差异,可以获得更丰富的语义信息来进行模态一致的融合;第四部分是对于因果分离模块分解得到的高光谱因果因素,高光谱非因果因素,激光雷达因果因素和激光雷达非因果因素进行融合操作,通过因果交互模块利用不同的支路分别融合因果因素和非因果因素,然后再将因果因素和非因果因素融合到一起,渐进式地融合多模态特征;
13)训练空间对齐和因果交互的高光谱激光雷达协同分类网络:利用划分好的训练集及其对应标签对所建立的网络模型进行训练并调整参数,直到训练达到预设的迭代次数epoch,最后保留相应的参数与训练好的网络;
14)空间对齐和因果交互的高光谱激光雷达协同分类结果获取:将获取的成对待处理真实高光谱图像和激光雷达图像数据输入到训练好的空间对齐和因果交互的高光谱激光雷达协同分类网络,得到图像分类结果。
2.根据权利要求1所述的一种空间对齐和因果交互的高光谱激光雷达协同分类方法,其特征在于,所述空间对齐和因果交互的高光谱激光雷达协同分类数据准备包括以下步骤:
21)根据类别标记样本位置的(x,y)坐标,其中x为横坐标,y为纵坐标,在高光谱图像上,以(x,y)为中心,切分出11×11的图像块,在配对的激光雷达图像上,同样以(x,y)为中心,切分出11×11的图像块,构成带有标签类别的图像块对;
22)根据标签图,切分出所有带有标签的图像块对,将其中的20%划分为训练集,剩下的80%作为测试集。
3.根据权利要求1所述的一种空间对齐和因果交互的高光谱激光雷达协同分类方法,其特征在于,所述构建空间对齐和因果交互的高光谱激光雷达协同分类网络包括以下步骤:
31)构建空间偏移预测模块,包括7个卷积层、7个批归一化层、7个ReLU激活函数,1个全局平均池化,一个全局最大池化和跳跃连接构成,其中卷积的大小为3×3,步长为1,填充大小为1;
32)构建一个多模态双分支特征提取,包括高光谱图像特征编码器和激光雷达图像特征编码器,分别用于提取高光谱图像的高光谱特征和激光雷达图像的激光雷达特征;
321)高光谱图像特征编码器由15个3D卷积层、15个批归一化层、15个ReLU激活函数构成,其中5个卷积的大小为3×3×3,深度方向步长和空间方向步长均为1,深度方向填充大小和空间方向填充大小均为1,5个卷积的大小为5×5×5,深度方向步长和空间方向步长均为1,深度方向填充大小和空间方向填充大小均为2,5个卷积的大小为7×7×7,深度方向步长和空间方向步长均为1,深度方向填充大小和空间方向填充大小均为3;
322)激光雷达图像特征编码器由1个可变形卷积,15个2D卷积层、15个批归一化层、15个ReLU激活函数构成,其中可变形卷积的大小为3×3,步长为1,填充大小为1,5个卷积的大小为3×3,步长为1,填充大小为1,5个卷积的大小为5×5,步长为1,填充大小为2,5个卷积的大小为7×7,步长为1,填充大小为3;
33)构建因果分离模块,包括26个2D卷积层、26个批归一化层、26个ReLU激活函数构成,其中卷积的大小为3×3,步长为1,填充大小为1;
34)构建因果交互模块,包括11个2D卷积层、11个批归一化层、11个ReLU激活函数构成,其中卷积的大小为3×3,步长为1,填充大小为1。
4.根据权利要求1所述的一种空间对齐和因果交互的高光谱激光雷达协同分类方法,其特征在于,所述训练空间对齐和因果交互的高光谱激光雷达协同分类网络包括以下步骤:
41)训练一个有空间偏移预测模块,多模态双分支特征提取,因果分离模块和因果交互模块的高光谱激光雷达协同分类网络,具体步骤如下:
42)将预处理后的训练集中的成对的高光谱图像和激光雷达图像输入到空间偏移预测模块,通过学习多模态图像的局部信息和全局信息,预测高光谱图像和激光雷达的偏移量,具体步骤如下:
421)对于大小为H×W×C的高光谱图像和大小为H×W的激光雷达图像输入到空间偏移预测模块,高光谱图像先执行3个卷积核大小为3×3,步长为1,填充大小为1的卷积、3个批归一化、3个ReLU激活函数,得到图像大小不变的特征图激光雷达图像同样先执行3个卷积核大小为3×3,步长为1,填充大小为1的卷积、3个批归一化、3个ReLU激活函数,得到图像大小不变的特征图需要注意的是高光谱图像执行的3个卷积和激光雷达图像执行的3个卷积是共享参数的,公式化如下:其中,xHSI为输入的高光谱图像,xLiDAR为输入的激光雷达图像,C3BR(·)为1个3×3卷积操作、1个批归一化和1个ReLU激活函数的集合操作;
422)将大小为H×W×C的特征图和执行逐元素相加操作,然后分别执行一个全局平均池化操作和一个全局最大池化操作,得到大小为1×1×C的全局特征和其中,为逐像素相加操作,Pavg和Pmax分别为全局平均池化操作和全局最大池化操作;
423)将全局特征和通过广播机制将大小扩展为H×W×C分别与和执行逐元素相加操作,然后将得到的两个特征在通道维度拼接起来,最后对拼接的特征执行1个卷积核大小为3×3,步长为1,填充大小为1的卷积、1个批归一化、1个ReLU激活函数,得到大小为2×3×3的预测空间偏移量公式化如下:其中,[,]为通道维拼接操作;
43)将预处理后的训练集中的成对的高光谱图像和激光雷达图像输入到多模态双分支特征提取部分,通过双分支不同结构的提取分支针对性地处理高光谱图像和激光雷达图像,获取空间对齐的高光谱特征和激光雷达特征,具体步骤如下:
431)将高光谱图像输入到高光谱图像特征编码器中获得高光谱特征,具体步骤如下:
4311)对于大小为H×W×c的高光谱图像输入到高光谱图像特征编码器后,先执行1个卷积核大小为3×3×3,深度方向步长和空间方向步长均为1,深度方向填充大小和空间方向填充大小均为1的3D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图对于大小为H×W×C的高光谱图像输入到高光谱图像特征编码器后,先执行1个卷积核大小为5×5×5,深度方向步长和空间方向步长均为1,深度方向填充大小和空间方向填充大小均为2的3D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图对于大小为H×W×C的高光谱图像输入到高光谱图像特征编码器后,先执行1个卷积核大小为7×7×7,深度方向步长和空间方向步长均为1,深度方向填充大小和空间方向填充大小均为3的3D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图公式化如下:其中,xHSI为输入的高光谱图像,Cd3BR(·)为1个3×3×3 3D卷积操作、1个批归一化和1个ReLU激活函数的集合操作,Cd5BR(·)为1个5×5×53D卷积操作、1个批归一化和1个ReLU激活函数的集合操作,Cd7BR(·)为1个7×7×7 3D卷积操作、1个批归一化和1个ReLU激活函数的集合操作;
4312)对于大小为H×W×C的特征图执行1个卷积核大小为3×3×3,深度方向步长和空间方向步长均为1,深度方向填充大小和空间方向填充大小均为1的3D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图对于大小为H×W×C的特征图与特征图进行逐像素相加后执行1个卷积核大小为5×5×5,深度方向步长和空间方向步长均为1,深度方向填充大小和空间方向填充大小均为2的3D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图对于大小为H×W×C的特征图与特征图和特征图进行逐像素相加后执行1个卷积核大小为7×7×7,深度方向步长和空间方向步长均为1,深度方向填充大小和空间方向填充大小均为3的3D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图公式化如下:其中,为逐像素相加操作;
4313)对于大小为H×W×C的特征图执行1个卷积核大小为3×3×3,深度方向步长和空间方向步长均为1,深度方向填充大小和空间方向填充大小均为1的3D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图对于大小为H×W×C的特征图与特征图进行逐像素相加后执行1个卷积核大小为5×5×5,深度方向步长和空间方向步长均为1,深度方向填充大小和空间方向填充大小均为2的3D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图对于大小为H×W×C的特征图与特征图和特征图进行逐像素相加后执行1个卷积核大小为7×7×7,深度方向步长和空间方向步长均为1,深度方向填充大小和空间方向填充大小均为3的3D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图公式化如下:其中,为逐像素相加操作;
4314)对于大小为H×W×C的特征图执行1个卷积核大小为3×3×3,深度方向步长和空间方向步长均为1,深度方向填充大小和空间方向填充大小均为1的3D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图对于大小为H×W×C的特征图与特征图进行逐像素相加后执行1个卷积核大小为5×5×5,深度方向步长和空间方向步长均为1,深度方向填充大小和空间方向填充大小均为2的3D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图对于大小为H×W×C的特征图与特征图和特征图进行逐像素相加后执行1个卷积核大小为7×7×7,深度方向步长和空间方向步长均为1,深度方向填充大小和空间方向填充大小均为3的3D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图公式化如下:其中,为逐像素相加操作;
4315)对于大小为H×W×C的特征图执行1个卷积核大小为3×3×3,深度方向步长和空间方向步长均为1,深度方向填充大小和空间方向填充大小均为1的3D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图对于大小为H×W×C的特征图与特征图进行逐像素相加后执行1个卷积核大小为5×5×5,深度方向步长和空间方向步长均为1,深度方向填充大小和空间方向填充大小均为2的3D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图对于大小为H×W×C的特征图与特征图和特征图进行逐像素相加后执行1个卷积核大小为7×7×7,深度方向步长和空间方向步长均为1,深度方向填充大小和空间方向填充大小均为3的3D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图公式化如下:其中,为逐像素相加操作;
4316)对于大小为H×W×C的特征图与特征图和特征图进行逐像素相加后得到高光谱特征公式化如下:
其中,为逐像素相加操作;
432)将激光雷达图像和预测的空间偏移量输入到激光雷达图像特征编码器中获得激光雷达特征,具体步骤如下:
4321)对于大小为H×W的高光谱图像和大小为2×3×3的空间偏移量执行一个大小为3×3,步长为1,填充大小为1的可变形卷积操作,获得空间对齐后的特征图
4322)对于大小为H×W×C的特征图执行1个卷积核大小为3×3,步长为1,填充大小为1的2D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图对于大小为H×W×C的特征图执行1个卷积核大小为5×5,步长为1,填充大小为2的2D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图对于大小为H×W×C的特征图执行1个卷积核大小为7×7,步长为1,填充大小为3的2D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图公式化如下:其中,为空间对齐的高光谱特征图,C3BR(·)为1个3×3 2D卷积操作、1个批归一化和1个ReLU激活函数的集合操作,C5BR(·)为1个5×52D卷积操作、1个批归一化和1个ReLU激活函数的集合操作,C7BR(·)为1个7×72D卷积操作、1个批归一化和1个ReLU激活函数的集合操作;
4323)对于大小为H×W×C的特征图执行1个卷积核大小为3×3,步长为1,填充大小为1的2D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图对于大小为H×W×C的特征图与特征图进行逐像素相加后执行1个卷积核大小为5×5,步长为1,填充大小为2的2D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图对于大小为H×W×C的特征图与特征图和特征图进行逐像素相加后执行1个卷积核大小为7×7,步长为1,填充大小为3的2D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图公式化如下:其中,为逐像素相加操作;
4324)对于大小为H×W×c的特征图执行1个卷积核大小为3×3,步长为1,填充大小为1的2D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图对于大小为H×W×C的特征图与特征图进行逐像素相加后执行1个卷积核大小为5×5,步长为1,填充大小为2的2D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图对于大小为H×W×C的特征图与特征图和特征图进行逐像素相加后执行1个卷积核大小为7×7,步长为1,填充大小为3的2D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图公式化如下:其中,为逐像素相加操作;
4325)对于大小为H×W×c的特征图执行1个卷积核大小为3×3,步长为1,填充大小为1的2D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图对于大小为H×W×C的特征图与特征图进行逐像素相加后执行1个卷积核大小为5×5,步长为1,填充大小为2的2D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图对于大小为H×W×C的特征图与特征图和特征图进行逐像素相加后执行1个卷积核大小为7×7,步长为1,填充大小为3的2D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图公式化如下:其中,为逐像素相加操作;
4326)对于大小为H×W×C的特征图执行1个卷积核大小为3×3,步长为1,填充大小为1的2D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图对于大小为H×W×C的特征图与特征图进行逐像素相加后执行1个卷积核大小为5×5,步长为1,填充大小为2的2D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图对于大小为H×W×C的特征图与特征图和特征图进行逐像素相加后执行1个卷积核大小为7×7,步长为1,填充大小为3的2D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的特征图公式化如下:其中,为逐像素相加操作;
4327)对于大小为H×W×C的特征图与特征图和特征图进行逐像素相加后得到激光雷达特征公式化如下:
其中,为逐像素相加操作;
44)在多模态双分支特征提取之后,设计了一个因果分离模块将高光谱特征分解成高光谱因果因素和高光谱非因果因素,将激光雷达特征分解成激光雷达因果因素和激光雷达非因果因素,通过分离模态差异,可以获得更丰富的语义信息来进行模态一致的融合,具体步骤如下:441)将大小为H×W×C的高光谱特征依次执行5次1个卷积核大小为3×3,步长为1,填充大小为1的2D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的高光谱因果因素将大小为H×W×C的高光谱特征依次执行5次1个卷积核大小为3×3,步长为1,填充大小为1的2D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的高光谱非因果因素将大小为H×W×C的激光雷达特征依次执行5次1个卷积核大小为3×3,步长为1,填充大小为1的2D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的激光雷达因果因素将大小为H×W×C的激光雷达特征依次执行5次1个卷积核大小为3×3,步长为1,填充大小为1的2D卷积、1个批归一化、1个ReLU激活函数,得到图像大小不变的激光雷达非因果因素公式化如下:其中,C3BR(·)为1个3×3 2D卷积操作、1个批归一化和1个ReLU激活函数的集合操作;
442)为了确保分解的准确性,我们通过高光谱特征和激光雷达特征的重建来约束分解的高光谱因果因素、高光谱非因果因素、激光雷达因果因素和激光雷达非因果因素,具体步骤如下:
4421)将高光谱因果因素和激光雷达非因果因素进行逐像素相加后依次执行3次1个卷积核大小为3×3,步长为1,填充大小为1的2D卷积、1个批归一化、1个ReLU激活函数,得到重建的激光雷达特征公式化如下:其中,为逐像素相加操作,C3BR(·)为1个3×3 2D卷积操作、1个批归一化和1个ReLU激活函数的集合操作;
4422)将高光谱非因果因素和激光雷达因果因素进行逐像素相加后依次执行3次1个卷积核大小为3×3,步长为1,填充大小为1的2D卷积、1个批归一化、1个ReLU激活函数,得到重建的激光雷达特征公式化如下:其中,为逐像素相加操作,C3BR(·)为1个3×3 2D卷积操作、1个批归一化和1个ReLU激活函数的集合操作;
4423)采用均方误差损失作为重建损失函数对因果因素和非因果因素的分解进行优化,均方误差损失函数表达式如下:其中,N为重建样本个数,为第i个样本的真实激光雷达特征,为第i个样本的重建激光雷达特征,为第i个样本的真实高光谱特征,为第i个样本的重建高光谱特征;
45)在因果分离模块之后,设计了一个因果交互模块利用不同的支路分别融合因果因素和非因果因素,然后再将因果因素和非因果因素融合到一起,渐进式地融合多模态特征,具体步骤如下:
451)将高光谱因果因素和激光雷达因果因素进行逐像素相加后依次执行3次1个卷积核大小为3×3,步长为1,填充大小为1的2D卷积、1个批归一化、1个ReLU激活函数,得到因果特征公式化如下:其中,为逐像素相加操作,C3BR(·)为1个3×3 2D卷积操作、1个批归一化和1个ReLU激活函数的集合操作;
452)将高光谱非因果因素和激光雷达非因果因素进行逐像素相加后依次执行5次1个卷积核大小为3×3,步长为1,填充大小为1的2D卷积、1个批归一化、1个ReLU激活函数,得到非因果特征公式化如下:其中,为逐像素相加操作,C3BR(·)为1个3×3 2D卷积操作、1个批归一化和1个ReLU激活函数的集合操作;
453)将因果特征和非因果特征进行逐像素相加后依次执行3次1个卷积核大小为3×3,步长为1,填充大小为1的2D卷积、1个批归一化、1个ReLU激活函数,得到最终的多模态融合特征X4,公式化如下:其中,为逐像素相加操作,C3BR(·)为1个3×3 2D卷积操作、1个批归一化和1个ReLU激活函数的集合操作;
46)将因果交互模块的输出多模态融合特征X4执行一个全连接操作和一个softmax操作,进行预测分类,具体公式如下:xpre=softmax(linear(X4)),
其中,linear(·)表示全连接层操作,sofmax(·)表示softmax激活函数操作,Xpre表示预测的分类结果;
47)采用交叉熵作为损失函数对网络分类精度进行优化,交叉熵损失函数表达式如下:
其中,N为训练样本个数,xi为基础真值的第i个样本,yi为预测值的第i个样本;
48)通过计算损失函数的梯度,将误差从输出层反向传播回网络的每一层,这样,空间对齐和因果交互的高光谱激光雷达协同分类网络的参数会被更新,以使其更好地分类;
通过损失值反向传播确定梯度向量,更新空间对齐和因果交互的高光谱激光雷达协同分类网络参数;
判断是否达到设定的训练轮数,若是则完成空间对齐和因果交互的高光谱激光雷达协同分类网络的训练,否则继续训练;
49)利用训练好的空间对齐和因果交互的高光谱激光雷达协同分类网络,将预处理过的测试数据集输入加载好的网络进行预测,测试分类性能。