1.基于状态选择特征聚合的免配准医学图像融合方法,其特征在于:所述方法包括:Step1、获取用于未配准多模态医学图像融合的训练数据集;
Step2、将待融合的未配准多模态医学图像输入分块特征编码模块得到分块编码特征;
Step3、利用mamba模型将全局偏移信息聚合到状态特征中;
Step4、将状态特征作为基准,选择每个分块的信息聚合路径;
Step5、根据预测的聚合路径,聚合相邻分块中的偏移特征;
Step6、利用固定参数的特征编码器提取的严格对齐特征,对免配准偏移聚合网络的输出进行约束,以得到消除偏移的特征;
Step7、将消除偏移的特征输入特征融合模块,通过在空间维度和通道维度进行特征融合,重建出最终融合图像;
所述Step2包括:
对于每组多模态医学图像对,将其中一张作为参考图像记为,另一张作为移动图像向参考图像对齐,记为,将参考图像和移动图像分别输入到编码器中得到编码特征,分别记为参考图像特征和移动图像特征;在特征、中加入可学习的位置编码,并使用双线性插值重新采样位置编码;得到特征,具体表示为:;
其中,表示双线性插值;
在此之后,将注入了位置信息的编码特征进行分块编码,得到能适应mamba模型输入的分块编码特征和,其中和表示编码得到的分块特征;
所述Step3包括:
将提取到的分块编码特征和通过级联的形式整合成一个由分块编码特征构成的序列,在序列的首部引入可学习的类别令牌特征和;序列被送入mamba模型中,从三种不同的方向来进行特征聚合,得到聚合了不同方向信息的最终状态表示,和;利用在序列中引入的类别令牌特征来完成梯度的传递,具体是将类别令牌特征和经过线性层映射之后,与,和相加来传递梯度:;
其中,表示线性层,表示级联操作,此时,状态特征包含了全局偏移信息;
所述Step4包括:
将状态特征作为初始状态,对分块编码特征和中同一位置的和进行状态选择计算得到输出,具体为:;
;
其中,、、是用于特征映射的状态选择矩阵,是特征映射过程中产生的隐含特征;
将向量映射为当前第个分块特征相邻分块标号;标号中被选中的相邻分块被作为包含偏移特征的分块,用于为下一步的偏移特征聚合操作提供参考;通过对序列中所有分块特征进行上述操作,从而得到信息聚合路径。
2.根据权利要求1所述的基于状态选择特征聚合的免配准医学图像融合方法,其特征在于:所述Step1中,所述用于未配准多模态医学图像融合的训练数据集中的每组多模态医学图像对,都有一组特征互补的医学图像组成,包括MRI、CT;MRI、PET;MRI、SPECT;每张图像的分辨率均为256×256;
对多模态医学图像的数据集进行预处理,预处理的方法为:对数据进行随机反转,将处理后的数据归一化到[0, 1]之间。
3.根据权利要求1所述的基于状态选择特征聚合的免配准医学图像融合方法,其特征在于:所述Step5包括:对于分块编码特征中的每一个token,根据预测得到的信息聚合路径,筛选出包含偏移信息的偏移特征序列;再使用mamba模型,将作为初始输入,接下来遍历偏移特征序列,每一次都将偏移特征序列中的分块作为mamba模型的输入,最终得到聚合了所有偏移特征的令牌特征;在实际操作的过程中,使用扫描选择算法,在GPU中并行的对进行上述操作,以此得到消除偏移后的移动图像特征。
4.根据权利要求1所述的基于状态选择特征聚合的免配准医学图像融合方法,其特征在于:所述Step6包括:在训练免配准偏移聚合网络时,将移动图像对应的参考图像的配准标签输入到固定参数的特征编码器中,得到了移动图像特征配准标签,以移动图像特征配准标签来约束免配准偏移聚合网络的输出;
计算移动图像配准标签特征与消除偏移后的移动图像特征的特征对齐损失:。
5.根据权利要求1所述的基于状态选择特征聚合的免配准医学图像融合方法,其特征在于:所述Step7包括:(1)、在通道特征融合模块下,将待融合的分块编码特征与消除偏移后的移动图像特征映射到通道维度对应的特征空间中,相互计算通道特征相似度,利用得到的通道相似度矩阵增强各自特征,得到通道融合特征;通道特征融合模块的计算过程表示如下:;
其中,表示卷积,表示通道维度的特征形状变换,表示特征级联操作;
(2)、设计了空间特征融合模块;在中,将待融合的特征以空间维度展开,通过计算空间注意力矩阵增强融合特征,得到更加细致的空间融合特征;空间特征融合模块操作过程表示如下:;
其中表示空间维度的形状变换;
在得到通道融合特征和空间融合特征之后,将通道融合特征和空间融合特征级联并输入到最终的输出层中去,得到最后的融合图像。
6.根据权利要求1所述的基于状态选择特征聚合的免配准医学图像融合方法,其特征在于:所述Step7还包括:使用结构性损失来优化网络参数,用于保证融合图像和源图像之间具有结构一致性:;
其中,表示移动图像对应的参考图像的配准标签,SSIM()表示结构相似度计算;
还引入了像素强度损失,用于保证融合结果有良好的对比度:;
其中,表示取最大值操作;
引入了梯度损失来防止源图像边缘细节的丢失:
;
其中,表示梯度算子。