1.一种基于跨模态交互感知的多模态图像融合方法,其特征在于,所述方法包括:S1、获取训练用的多模态图像以及与多模态图像对应的真值图像并构建训练集;
S2、构建多模态图像融合模型,多模态图像融合模型包括依次连接的编码器模块、通道级校正模块、动态跨模态交互模块以及解码器模块;
S3、采用训练集对多模态图像融合模型进行端到端训练,得到多模态图像的预测结果,通过预设的损失函数计算多模态图像的预测结果与对应的真值图像之间的偏差,回传梯度并更新多模态图像融合模型的参数,得到训练后的多模态图像融合模型;
S4、获取待融合的多模态图像,将待融合的多模态图像输入训练后的多模态图像融合模型处理,编码器模块接收待融合的多模态图像并进行逐层编码处理,输出若干层不同尺度的特征图;
S5、通道级校正模块接收若干层不同尺度的特征图并进行加权校正,输出若干层加权校正后的模态特征;
S6、动态跨模态交互模块接收若干层加权校正后的模态特征并处理,得到若干层融合特征;
S7、解码器模块接收若干层融合特征并进行逐层解码与融合处理,输出待融合的多模态图像对应的融合图像。
2.如权利要求1所述的基于跨模态交互感知的多模态图像融合方法,其特征在于,S2中的编码器模块包括共享权重的第一编码器模块和第二编码器模块,第一编码器模块和第二编码器模块均包括若干层依次连接的编码块,通道级校正模块包括若干个通道校正块,动态跨模态交互模块包括若干个动态跨模态交互块,解码器模块包括若干层依次连接的解码块,解码块、通道校正块以及动态跨模态交互块的数量均与编码块的层数相同,若干层编码块分别与若干个通道校正块对应连接,若干个通道校正块通过若干个动态跨模态交互块与若干层解码块对应连接。
3.如权利要求2所述的基于跨模态交互感知的多模态图像融合方法,其特征在于,若干个通道校正块中的每个通道校正块均包括依次连接的通道维度拼接层、归一化层、特征变换层、Selective SSM层、线性变换层以及加权校正层。
4.如权利要求3所述的基于跨模态交互感知的多模态图像融合方法,其特征在于,若干个动态跨模态交互块中的每个动态跨模态交互块均包括第一卷积预处理单元、第二卷积预处理单元、区域特征单元、局部特征单元、区域Mamba块、局部Mamba块以及动态交互Mamba块,其中,第一卷积预处理单元、区域特征单元以及区域Mamba块依次连接,第二卷积预处理单元、局部特征单元以及局部Mamba块依次连接,区域Mamba块和局部Mamba块分别与动态交互Mamba块连接。
5.如权利要求4所述的基于跨模态交互感知的多模态图像融合方法,其特征在于,多模态图像包括模态一图像和模态二图像,S4中编码器模块接收输入的多模态图像进行逐层编码处理,输出若干层不同尺度的特征图,具体过程如下:S41、编码器模块的第一编码器模块和第二编码器模块分别接收模态一图像和模态二图像;
S42、第一编码器模块的若干层依次连接的编码块对模态一图像进行逐层编码,相应输出模态一图像的若干层不同尺度的特征图;
S43、第二编码器模块的若干层依次连接的编码块对模态二图像进行逐层编码,相应输出模态二图像的若干层不同尺度的特征图。
6.如权利要求5所述的基于跨模态交互感知的多模态图像融合方法,其特征在于,S5具体过程如下:S51、通道级校正模块中的每个通道校正块接收模态一图像和模态二图像各自在对应层上的特征图;
S52、通道维度拼接层将模态一图像和模态二图像各自在对应层上的特征图沿通道方向进行拼接,得到拼接后的特征图;
S53、归一化层对拼接后的特征图进行归一化处理,得到归一化后的特征;
S54、特征变换层将归一化后的特征从原本的空间排列转换为通道序列视图;
S55、Selective SSM层接收通道序列视图并建模,提取出重要特征序列;
S56、线性变换层利用线性变换和激活函数将重要特征序列映射为通道权重向量;
S57、加权校正层将通道权重向量分别与模态一特征图和模态二特征图逐通道相乘,得到对应层的加权校正后的模态一特征和模态二特征。
7.如权利要求6所述的基于跨模态交互感知的多模态图像融合方法,其特征在于,S6具体过程如下:S61、动态跨模态交互模块中的每个动态跨模态交互块接收对应层加权校正后的模态一特征和模态二特征;
S62、第一卷积预处理单元接收加权校正后的模态一特征并进行卷积处理,区域特征单元将卷积处理后的特征划分为若干区域,将每个区域的特征视为一个区域级的特征标记,由此得到权校正后的模态一特征对应的若干个区域特征标记;
S63、第二卷积预处理单元接收加权校正后的模态二特征并进行卷积处理,局部特征单元将卷积处理后的特征划分为若干区域,将若干区域中的每个区域进一步划分为若干局部特征单元,由此得到加权校正后的模态二特征对应的若干局部特征单元;
S64、区域Mamba块接收权校正后的模态一特征对应的若干个区域级特征标记并进行并行建模和信息交换,得到模态一区域特征;
S65、局部Mamba块接收加权校正后的模态二特征对应的若干局部特征单元并处理,得到模态二局部特征;
S66、动态交互Mamba块接收模态一区域特征和模态二局部特征并进行动态融合,得到对应层的融合特征。
8.如权利要求7所述的基于跨模态交互感知的多模态图像融合方法,其特征在于,S7具体过程如下:S71、解码器模块中的最底层解码块接收最底层融合特征并处理,得到最底层解码特征;
S72、解码器模块中的其他非最底层解码块分别接收与各自相邻的下一层解码块输出的解码特征,以及接收各自对应的动态跨模态交互块输出的融合特征并处理,得到对应层的解码特征;
S73、将解码器模块中的最顶层解码块输出的解码特征作为模态一图像和模态二图像对应的融合图像。
9.如权利要求2所述的基于跨模态交互感知的多模态图像融合方法,其特征在于,编码块具体为视觉状态空间块。
10.一种多模态图像融合系统,其特征在于,所述融合系统包括图像采集模块、计算机系统和多模态图像融合模型,图像采集模块与计算机系统连接,多模态图像融合模型设置在计算机系统中,其中:图像采集模块用于采集多模态图像并发送至计算机系统;
计算机系统中的多模态图像融合模型采用如权利要求1至9中任一项所述的一种基于跨模态交互感知的多模态图像融合方法对多模态图像进行处理,输出融合图像。