1.一种基于Swin Transformer的可变形医学图像配准模型的系统,其特征在于,包括依次连接的:编码器、解码器以及空间变换网络;
编码器包括依次连接的:
第一下采样卷积神经网络、第二下采样卷积神经网络、第一卷积神经网络、第一基于WWA的Swin Transformer模块、第一特征分辨率恢复模块、第二基于WWA的SwinTransformer模块、第三下采样卷积神经网络、第三基于WWA的Swin Transformer模块、第四下采样卷积神经网络、第四基于WWA的Swin Transformer模块;
解码器包括依次连接的:第一到第五上采样卷积神经网络以及第二卷积神经网络;
其中,所述第一特征分辨率恢复模块的输出端同时连接第二基于WWA的SwinTransformer模块的输入端和第二特征分辨率恢复模块的输入端,所述第二特征分辨率恢复模块的输出端同时连接第三特征分辨率恢复模块的输入端和第五上采样卷积神经网络、所述第三特征分辨率恢复模块的输出端连接第二卷积神经网络的输入端,第二卷积神经网络的输出端通过变形场连接空间变换网络;
第四基于WWA的Swin Transformer模块的输出端连接第一上采样神经网络的输入端,第三基于WWA的Swin Transformer模块的输出端连接第二上采样卷积神经网络的输入端,第一基于WWA的Swin Transformer模块的输出端同时连接所述第一特征分辨率恢复模块以及第三上采样卷积神经网络;
第一到第四基于WWA的Swin Transformer模块中,每个模块均包括两个连续的SwinTransformer子模块,设定输入Swin Transformer模块的特征为z1,两个连续的基于WWA的Swin Transformer子模块的计算公式如下:式中,W-MSA为标准窗口多头注意力,SW-MSA为移位窗口多头注意力,MLP为多层感知模块,LN为层归一化操作,为经过WWA、LN和WMSA与Z1计算得到的特征矩阵,Z2为经过LN和MLP计算,与Z1得到的特征矩阵,为经过SW-MSA、LN和WWA与Z2计算得到的特征矩阵,Z3为经过MLP和LN与计算得到的特征矩阵;
窗口特征的加权注意力机制WWA有两个多层感知器模块MLP层;第一个MLP层跨通道计算全局的通道方向上的特征交互;第二个MLP层跨窗口计算窗口间的特征交互。
2.根据权利要求1所述的基于Swin Transformer的可变形医学图像配准模型的系统,其特征在于,第一到第四下采样卷积神经网络包含卷积核大小为3×3×3、步幅为1,以及卷积核大小为3×3×3、步幅为2的卷积层各一个;卷积神经网络包含卷积核大小为3×3×3、步幅为1的卷积层两个;第一到第三上采样卷积神经网络包含卷积核大小为2×2×2,步幅为2的反置卷积层一个,卷积核大小为3×3×3、步幅为1的卷积层一个。
3.一种基于Swin Transformer的可变形医学图像配准方法,其特征在于,使用权利要求1-2中的任意一项所述的基于Swin Transformer的可变形医学图像配准模型的系统,包括:S1:将给定深度D、高度H、宽度W、和第一通道的3D固定图像和浮动图像拼接为第二通道的图像对,输入到第一下采样卷积神经网络中;
S2:经过两个连续的第一和第二下采样卷积神经网络后,使用第一卷积神经网络进行升维,并输出到第一基于WWA的Swin Transformer模块中;
S3:第一基于WWA的Swin Transformer模块提取特征并输出到第一特征分辨率恢复模块;
S4:第一到第三特征分辨率恢复模块均进行放大特征分辨率;
S5:第一特征分辨率恢复模块输出的特征图输入到第二基于WWA的Swin Transformer模块中,并依次提取特征,直到最后输出特征到解码器中;
S6:解码器中第一到第五上采样卷积神经网络依次上采样输入的特征;
S7:解码器通过跳跃连接,连接编码器和解码器中对应特征,输出D×H×W×3的变形场到空间变换网络,待变形图像与变形场输入到空间变换网络中,输出变形后的图像。
4.根据权利要求3所述的基于Swin Transformer的可变形医学图像配准方法,其特征在于,模型整体输出第三通道的变形场,使用空间变换网络将输出的变形场施加到输入图像上,以输出变形后的图像。
5.根据权利要求4所述的基于Swin Transformer的可变形医学图像配准方法,其特征在于,给定深度D、高度H、宽度W、和通道C的图像特征,特征分辨率模块将特征在通道的维度上进行扩充,扩充后特征尺寸为8C×D×H×W,随后将扩充后的特征重组为C×2D×2H×2W的图像特征,进行特征分辨率的恢复。