1.一种多模态航拍图像融合与目标检测联合学习方法,其特征在于,包括如下步骤S1、采用成对的可见光图像和红外图像初步训练图像融合分支,生成第一融合图像;
S2、基于所述第一融合图像,设计具有专家指导信息的目标检测分支;
S3、采用所述第一融合图像对所述目标检测分支进行初步训练;通过初步训练后目标检测分支输出专家特征图;
S4、对所述专家特征图进行特征对齐处理;并采用特征对齐处理后的专家特征图对所述图像融合分支进行微调,生成第二融合图像;
S5、采用所述第二融合图像对所述目标检测分支进行微调,实现优化目标检测任务;
所述步骤S2具体包括:
使用分割基础模型将所述第一融合图像分割成多个图像块;
按照预设面积区间和分割编码模块对多个所述图像块进行分类编码,采用混合专家门控机制自适应学习编码特征,形成具有专家指导信息的目标检测分支;
所述预设面积区间的设置过程包括:
将成对的所述可见光图像和所述红外图像中的目标真实框分别进行归一化处理,并计算归一化处理后所述目标真实框的面积,选择其中一个面积作为第一个聚类中心;
采用K-Means++聚类算法,计算其他目标真实框的面积与所述第一个聚类中心的最短欧氏距离;所述其他目标真实框的面积为除所述第一个聚类中心外的目标真实框的面积;
根据所述最短欧氏距离,计算每个目标真实框的面积被选择为下一个聚类中心的概率,直到聚类出K个簇,得到K段面积区间;将所述K段面积区间作为预设面积区间;
所述分割编码模块具体包括:
分别计算多个所述图像块的最小外接矩形面积;
将多个所述最小外接矩形面积按照所述预设面积区间划分成K类,再将每类的目标区域设置成1,其他区域被设置成0,得到K通道的Mask矩阵;
对所述Mask矩阵进行扁平化处理,映射成固定的维度;基于Patch embedding编码特征和Position embedding编码特征,利用Transformer编码器进行自注意力操作,得到特征图;
采用卷积模块对所述特征图进行下采样处理,获得下采样处理后的特征图。
2.根据权利要求1所述的多模态航拍图像融合与目标检测联合学习方法,其特征在于,下采样处理后的特征图尺寸与目标检测分支输出的特征图尺寸相同。
3.根据权利要求1所述的多模态航拍图像融合与目标检测联合学习方法,其特征在于,所述采用混合专家门控机制自适应学习编码特征,具体包括:先将目标检测分支输出的特征图和下采样处理后的特征图沿着通道维度进行拼接;再将拼接后的特征图经过门控网络生成权重;最后将两种特征图与相应的权重进行加权线性组合,生成专家特征图。
4.根据权利要求1所述的多模态航拍图像融合与目标检测联合学习方法,其特征在于,所述步骤S4具体包括:对所述专家特征图进行特征对齐处理;并基于特征对齐处理后的专家特征图构建第一损失函数;
将所述第一损失函数和所述图像融合分支的第二损失函数进行线性组合,得到图像融合损失函数;
通过反向传播对所述图像融合损失函数进行优化,直至获得最优图像融合分支;基于所述最优图像融合分支,生成第二融合图像。