1.基于特征解耦的多模态图像配准方法,其特征在于,所述方法包括以下步骤:
S100:获取若干多模态图像并进行图像尺寸调整,将调整后大小一致的图像划分为参考图像和待配准图像并组成若干个图像对,得到具有多样性的多模态图像配准数据集;
S200:搭建基于特征解耦的多模态图像配准神经网络模型,模型包括通用信息提取模块、特征解耦模块和配准参数估计模块,特征解耦模块包括共享特征映射分支和特有特征映射分支;
S300:将数据集中一对多模态图像输入至通用信息提取模块处理,得到选取的图像对中参考图像的通用特征映射和待配准图像的通用特征映射;将参考图像和待配准图像的通用特征映射输入特征解耦模块进行处理,分别提取参考图像与待配准图像的共享特征映射和特有特征映射;将参考图像的共享特征映射和待配准图像的共享特征映射输入配准参数估计模块处理,输出选取的图像对的估计转换参数矩阵;配准参数估计模块包括依次连接的邻域代价卷层、第一卷积层、归一化层、激活函数层,最大池化层和第二卷积层,其中第一和第二卷积层的步长为1,卷积核大小为11;S300中图像转换参数矩阵具体表示为:(5)
式中,表示图像对的图像转换参数矩阵,表示11的卷积层,表示最大池化层,表示邻域代价卷构建算子,和分别表示参考图像的共享特征映射和待配准图像的共享特征映射;S400:基于参考图像与待配准图像的共享特征映射和特有特征映射、图像对的估计转换参数矩阵结合预设的损失函数计算每个图像对的总损失函数值,监督多模态图像配准神经网络模型的训练过程,选取损失值最小时的网络参数更新多模态图像配准神经网络模型,得到训练好的多模态图像配准神经网络模型;
S500:获取真实场景下待配准的多模态图像并组成待配准图像对,利用训练好的多模态图像配准神经网络模型对待配准多模态图像对进行处理,得到图像转换参数矩阵,根据图像转换参数矩阵对图像对中的待配准图像进行转换,得到配准后的图像。
2.根据权利要求1所述的方法,其特征在于,S100中获取若干多模态图像并进行图像尺寸调整,图像尺寸调整具体为:(1)
式中,为原始图像的像素值,为尺寸调整后的位置,为尺寸调整过程中考虑的邻域像素集合,是与领域像素相关的权重函数,为经过尺寸调整后得到的新图像在位置的像素值。
3.根据权利要求2所述的方法,其特征在于,S200中的通用信息提取模块包括依次连接的卷积模块、归一化层、激活函数层,以及三个残差模块,其中卷积模块包括依次连接的三层卷积层,每层卷积层的步长为2,卷积核大小为33,残差模块包括依次连接的两层卷积层,每层卷积层的步长为1,卷积核大小为33,层间通过11卷积调整维度以实现残差连接;S200中参考图像的通用特征映射和待配准图像的通用特征映射,具体为:(2)
式中,表示通用信息提取模块,和分别表示选取图像对中的参考图像和待配准图像,和分别表示选取图像对中参考图像的通用特征映射和待配准图像的通用特征映射。
4.根据权利要求3所述的方法,其特征在于,共享特征映射分支包括依次连接的卷积层、归一化层、激活函数层,其中卷积层的步长为1,卷积核大小为11;特有特征映射分支包括依次连接的卷积层、归一化层、激活函数层,以及两个残差模块,其中卷积层的步长为1,卷积核大小为11,残差模块包括依次连接的两层卷积层,每层卷积层的步长为1,卷积核大小为11;S300中参考图像与待配准图像的共享特征映射和特有特征映射具体表示为:(3)
(4)
式中,表示共享特征映射分支,表示特有特征映射分支,和分别表示选取图像对中参考图像的通用特征映射和待配准图像的通用特征映射,和分别表示参考图像的特有特征映射和共享特征映射,和分别表示待配准图像的特有特征映射和共享特征映射。
5.根据权利要求4所述的方法,其特征在于,损失函数包括相似性损失函数、差异性损失函数、重建损失函数和配准真值损失函数,S400中设计损失函数计算总损失函数值包括依次计算参考图像的共享特征映射与待配准图像的共享特征映射的相似性损失函数值,参考图像的共享特征映射与其特有特征映射的差异性损失函数值和重建损失值,待配准图像的共享特征映射与其特有特征映射的差异性损失函数值和重建损失值,以及估计转换参数矩阵与真值转换参数矩阵的配准真值损失函数值。
6.根据权利要求5所述的方法,其特征在于,S400中设计损失函数计算总损失函数值具体为:(6)
(7)
(8)
(9)
(10)
式中,表示总损失函数计算值,表示相似性损失函数计算值,表示差异性损失函数计算值,表示重建损失函数计算值,表示配准真值损失函数计算值,和分别表示参考图像的特有特征映射和共享特征映射,和分别表示待配准图像的特有特征映射和共享特征映射,是经验期望向量,是阶样本中心矩向量,表示欧氏范数,和分别表示用于归一化计算的区间的起点和终点,表示矩阵的迹,表示矩阵的转置,和分别表示参考图像和待配准图像,表示1范数,和分别为估计转换参数矩阵与真值转换参数矩阵。
7.根据权利要求6所述的方法,其特征在于,S500中根据图像转换参数矩阵对图像对中的待配准图像进行转换,具体为:(11)
式中,表示待配准图像进行配准后的图像,表示待配准图像,表示图像转换过程,表示真实场景下参考图像和待配准图像组成的待配准图像对对应的图像转换参数矩阵。
8.基于特征解耦的多模态图像配准系统,其特征在于,包括数据集确定模块、多模态图像配准神经网络模型搭建模块、选取的图像对的估计转换参数矩阵确定模块、模型训练模块和图像配准模块;
数据集确定模块,用于获取若干多模态图像并进行图像尺寸调整,将调整后大小一致的图像划分为参考图像和待配准图像并组成若干个图像对,得到具有多样性的多模态图像配准数据集;
多模态图像配准神经网络模型搭建模块,用于搭建基于特征解耦的多模态图像配准神经网络模型,模型包括通用信息提取模块、特征解耦模块和配准参数估计模块,特征解耦模块包括共享特征映射分支和特有特征映射分支;
选取的图像对的估计转换参数矩阵确定模块,用于将数据集中一对多模态图像输入至通用信息提取模块处理,得到选取的图像对中参考图像的通用特征映射和待配准图像的通用特征映射;将参考图像和待配准图像的通用特征映射输入特征解耦模块进行处理,分别提取参考图像与待配准图像的共享特征映射和特有特征映射;将参考图像的共享特征映射和待配准图像的共享特征映射输入配准参数估计模块处理,输出选取的图像对的估计转换参数矩阵;配准参数估计模块包括依次连接的邻域代价卷层、第一卷积层、归一化层、激活函数层,最大池化层和第二卷积层,其中第一和第二卷积层的步长为1,卷积核大小为11;图像转换参数矩阵具体表示为:(5)
式中,表示图像对的图像转换参数矩阵,表示11的卷积层,表示最大池化层,表示邻域代价卷构建算子,和分别表示参考图像的共享特征映射和待配准图像的共享特征映射;模型训练模块,用于基于参考图像与待配准图像的共享特征映射和特有特征映射、图像对的估计转换参数矩阵结合预设的损失函数计算每个图像对的总损失函数值,监督多模态图像配准神经网络模型的训练过程,选取损失值最小时的网络参数更新多模态图像配准神经网络模型,得到训练好的多模态图像配准神经网络模型;
图像配准模块,用于利用训练好的多模态图像配准神经网络模型对待配准多模态图像进行处理,得到图像转换参数矩阵,根据图像转换参数矩阵对图像对中的待配准图像进行转换,得到配准后的图像。
9.计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。