欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024119302261
申请人: 河海大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种高光谱影像与激光雷达数据协同分类方法,其特征在于,包括如下步骤:

S1:处理原始高光谱图像XHSI和激光雷达数据XLidar时,采用主成分分析PCA降维的方法对XHSI处理,以减少数据维度并提取关键特征,同时对高光谱图像XHSI和激光雷达数据XLidar进行归一化操作,最后将图像切割成大小为P*P的图像块,得到FHSI和FLidar;

S2:通过加权特征融合和交叉模态卷积,挖掘高光谱图像深层光谱空间信息,分别提取得到空间元素级交互特征和光谱通道级交互特征;通过对FHSI和FLidar的深度融合,利用加权融合和交叉模态卷积两种策略,分别得到融合后的空间特征fspa和fspe;该步骤包括:S21,空间元素级特征交互:将FHSI和FLidar两种模态特征进行加权融合,引入一个可学习参数α,其中,FHsi∈RB*C*H*W,FLidar∈RB*1*H*W,B表示batch大小,C表示通道数,H和W表示图像块的长和宽,得到Fspa∈RB*C*H*W;

Fspa=α*FHSI+(1-α)*FLidar

S22,光谱通道级特征交互:通过构建交叉模态卷积来增强特征交互;将FLidar特征通过卷积操作映射到FHSI特征空间,通道数从1映射为C,得到Flidar_hsi∈RB*C*H*W;对FHSI和Flidar_hsi特征在光谱维度上进行均值操作,得到融合后的特征,得到Fspe∈RB*C*H*W;

Fspe=(FHSI+Flidar_hsi)/2

S3:为了对空间元素级交互特征fspa和光谱通道级交互特征fspe中包含的空间信息充分利用,采用图卷积网络GCN来对像素进行处理,得到和S4:将分别提取的空间特征和光谱特征通过多头自注意力机制充分提取光谱信息;将输入特征向量和分别映射为对应的查询Q、键K和值V,然后将Q,K和V矩阵映射到h个潜在空间,并最终计算注意力值;基于多头自注意力MSA的全局光谱依赖性的计算过程如下:最终,得到的输出结果Fspa和Fspe分别表示为

S5:通过基于最大值的决策融合,对每个位置的特征进行综合考量,从而得到融合特征Fmax,采用渐进式特征融合的方法,通过融合特征Fmax分别对原始空间增强特征Fspa和光谱增强特征Fspe强化显性特征,最后对强化后的显性特征和Fmax进行拼接,得到Ffusion,结合不同层次的特征,充分利用光谱和空间信息,得到最终的结果。

2.根据权利要求1所述的一种高光谱影像与激光雷达数据协同分类方法,其特征在于,所述步骤S3中图卷积模块的运行机制具体过程可分为S31计算光谱相似度构建邻接矩阵和S32图卷积空间特征提取两个步骤:S31,特征图中的每个像素都被视为图的一个节点,图结构表示为i=1,2,…,k;其中Gi=(Zspa,Zspe),k是需要分类的像素的样本总数;特征Zspa和Zspe分别由fspa和fspe得到,表示为具体地,对于每个提取特征fspa和fspe,首先将其空间像素一维展平得到H,然后计算H的光谱相似度构建邻接矩阵邻接矩阵的计算光谱相似度函数,表示为:S32,通过一个可训练的矩阵W对提取的特征H和邻接矩阵进行空间特征学习;通过图卷积的操作,对特征H进行变换和融合,从而得到新的特征表示

3.根据权利要求1所述的一种高光谱影像与激光雷达数据协同分类方法,其特征在于,所述步骤S5中光谱空间信息渐进特征融合,具体过程可分为S51基于最大值的决策融合、S52渐进式特征融合和S53输出分类结果三个步骤:S51,基于最大值的决策融合:对Fspa和Fspe两个特征以最大值为依据进行决策融合;通过计算Fspa和Fspe对应位置的最大值,得到新的特征,再与权重矩阵Wmax相乘,并加上偏置项bbais,进一步调整特征表示,得到Fmax,Fmax=Max(Fspa,Fspe)·Wmax+bbais

S52,渐进式特征融合:将基于最大值决策融合得到的特征Fmax分别与Fspa和Fspe相乘,放大与Fmax对应的特征,来强化显性特征,再将Fmax与经过增强的显性特征进行拼接,得到渐进式融合特征Ffusion,对拼接后的融合特征重新排列,展平为一维张量Ffinal;

Ffinal=flatten(Ffusion)=flatten(Concat(Fmax,(Fspa·Fmax),(Fspe·Fmax)))S53,对得到的一维张量Ffinal输入到两层全连接层中,并使用sigmoid激活函数进行处理,并依据交叉熵损失函数训练,得到最终的分类结果。