1.基于形变适应的多模态图像配准方法,其特征在于,所述方法包括以下步骤:
S1、采集多组多模态图像并进行灰度标准化,将标准化后的图像划分为参考图像与待配准图像并组合成多组图像对,以构建具有多样性的配准数据集;
S2、搭建基于形变适应的多模态图像配准神经网络模型,所述模型包括依次连接的金字塔编码模块、形变自适应模块、跨模态交互模块以及配准参数估计模块;
S3、将数据集中的一对多模态图像依次输入金字塔编码模块以获得图像对的基础特征映射,再输入形变自适应模块得到图像对的形变特征映射,继而输入跨模态交互模块生成图像对的交互增强特征映射,最后将图像对的交互增强特征映射送入配准参数估计模块输出对应图像对的估计转换参数矩阵;
S4、基于图像对的基础特征映射和估计转换参数矩阵,结合预设的损失函数计算每个图像对的总损失函数值,监督多模态图像配准神经网络模型的训练过程,选取损失值最小时的网络参数更新多模态图像配准神经网络模型,得到训练好的多模态图像配准神经网络模型;
S5、获取实际场景下待配准的多模态图像并组成待配准图像对,利用训练好的多模态图像配准神经网络模型对待配准多模态图像对进行处理,得到图像转换参数矩阵,根据图像转换参数矩阵对图像对中的待配准图像进行转换,得到配准后的图像。
2.如权利要求1所述的基于形变适应的多模态图像配准方法,其特征在于,S1中采集多组多模态图像并进行灰度标准化,灰度标准化处理具体可用公式表示为:(1)
式中,和分别表示原始图像和标准化后图像在位置的像素值,和分别表示原始图中的最大像素值和最小像素值。
3.如权利要求2所述的基于形变适应的多模态图像配准方法,其特征在于,金字塔编码模块包括依次连接的起始卷积模块和三级残差模块,其中起始卷积模块包括依次连接的卷积层、归一化层和激活函数层,卷积层的步长为1,卷积核大小为33;残差模块包括依次连接的第一卷积层和第二卷积层,第一卷积层的步长为2,卷积核大小为33,第二卷积层的步长为1,卷积核大小为33,层间通过11卷积调整维度以实现残差连接;S3中将数据集中的一对多模态图像依次输入金字塔编码模块以获得图像对的基础特征映射,具体为:(2)
式中,表示金字塔编码模块,和分别表示选取图像对中的参考图像和待配准图像,和分别表示选取图像对中参考图像和待配准图像的基础特征映射。
4.如权利要求3所述的基于形变适应的多模态图像配准方法,其特征在于,形变自适应模块包括依次连接的可变形卷积层、相似度计算层、归一化层和标准差层,其中可变形卷积层的步长为1,卷积核大小为33;相似度计算层为中心像素与其相邻像素之间的余弦相似度计算;S3中图像对的基础特征映射再输入形变自适应模块得到图像对的形变特征映射,具体为:(3)
式中,表示形变自适应模块,和分别表示选取图像对中参考图像和待配准图像的基础特征映射,和分别表示选取图像对中参考图像和待配准图像的形变适应特征映射。
5.如权利要求4所述的基于形变适应的多模态图像配准方法,其特征在于,跨模态交互模块包括依次连接的特征融合层、注意力权重计算层和双分支输出卷积层,其中双分支输出卷积层由两组独立的卷积层构成,步长为1,卷积核大小为11;S3中图像对的形变特征映射输入跨模态交互模块生成图像对的交互增强特征映射,具体为:(4)
式中,表示跨模态交互模块,和分别表示选取图像对中参考图像和待配准图像的形变适应特征映射,和分别表示选取图像对中参考图像和待配准图像的交互增强特征映射。
6.如权利要求5所述的基于形变适应的多模态图像配准方法,其特征在于,配准参数估计模块包括依次连接的邻域代价卷层、第一卷积层、第二卷积层、归一化层、激活函数层,最大池化层和第三卷积层,其中第一和第三卷积层的步长为1,卷积核大小为11,第二卷积层的步长为1,卷积核大小为33;S3中将图像对的交互增强特征映射送入配准参数估计模块输出对应图像对的转换参数矩阵,具体为:(5)
式中,表示图像对的图像转换参数矩阵,表示配准参数估计模块,和分别表示选取图像对中参考图像和待配准图像的交互增强特征映射。
7.如权利要求6所述的基于形变适应的多模态图像配准方法,其特征在于,S4中损失函数包括一致性损失函数和配准真值损失函数,依次计算参考图像的基础特征映射与待配准图像的基础特征映射的一致性损失函数值和估计转换参数矩阵与真值转换参数矩阵的配准真值损失函数值,具体可用公式表示为:(6)
(7)
(8)
式中,表示总损失函数计算值,表示一致性损失函数计算值,表示配准真值损失函数计算值,和为权重系数,表示图像转换过程,表示图像对的图像转换参数矩阵,表示欧氏范数,和分别表示选取图像对中参考图像和待配准图像的基础特征映射,表示1范数,和分别为估计转换参数矩阵与真值转换参数矩阵。
8.如权利要求7所述的基于形变适应的多模态图像配准方法,其特征在于,S5中根据图像转换参数矩阵对图像对中的待配准图像进行转换,具体为:(9)
式中,表示待配准图像进行配准后的图像,表示待配准图像,表示图像转换过程,表示图像对的图像转换参数矩阵。
9.基于形变适应的多模态图像配准系统,其特征在于,包括数据集确定模块、多模态图像配准神经网络模型搭建模块、选取的图像对的估计转换参数矩阵确定模块、模型训练模块和图像配准模块;
数据集确定模块,用于采集多组多模态图像并进行灰度标准化,将标准化后的图像划分为参考图像与待配准图像并组合成多组图像对,以构建具有多样性的配准数据集;
多模态图像配准神经网络模型搭建模块,用于搭建基于形变适应的多模态图像配准神经网络模型,所述模型包括依次连接的金字塔编码模块、形变自适应模块、跨模态交互模块以及配准参数估计模块;
选取的图像对的估计转换参数矩阵确定模块,用于将数据集中的一对多模态图像依次输入金字塔编码模块以获得图像对的基础特征映射,再输入形变自适应模块得到图像对的形变特征映射,继而输入跨模态交互模块生成图像对的交互增强特征映射,最后将图像对的交互增强特征映射送入配准参数估计模块输出对应图像对的转换参数矩阵;
模型训练模块,用于基于图像对的基础特征映射和估计转换参数矩阵,结合预设的损失函数计算每个图像对的总损失函数值,监督多模态图像配准神经网络模型的训练过程,选取损失值最小时的网络参数更新多模态图像配准神经网络模型,得到训练好的多模态图像配准神经网络模型;
图像配准模块,用于利用训练好的多模态图像配准神经网络模型对待配准多模态图像进行处理,得到图像转换参数矩阵,根据图像转换参数矩阵对图像对中的待配准图像进行转换,得到配准后的图像。
10.计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。