1.一种双重特征融合MRA图像的颅内动脉瘤分割方法,其特征在于,包括:步骤1:对采集到的MRA图像进行预处理并划分数据集;
步骤2:将预处理后的数据输入编码器模块进行语义特征提取;
步骤3:进行层间及通道间双重特征融合,并将融合后的特征反馈至解码器模块中;
步骤4:解码器模块基于步骤2和步骤3提取的特征对MRA图像进行重建,并输出分割结果;
步骤5:基于划分后的数据集进行训练与测试,评价分割结果;
所述步骤2包括:
步骤2.1:使用尺寸为4×4×4,步长为4的卷积核对输入图像进行3D Patch Partition与Linear Embedding操作使特征图的尺寸减小到原来的1/4;并将上述特征图输入至LN层进行Layer Norm操作;对上述输出做Drop Out操作;得到特征图1;
步骤2.2:先对Drop Out操作后输出的特征图进行Layer Norm操作,之后使用SwinTransformer的编码器架构,将上述输出特征图分为多个7×7×7大小的小块,使用全连接层对每一个小块生成对应的Query、Key与Value;之后以每个小块为单位进行SwinTransformer中的多头注意力操作;将上述特征图输入到全连接层中,进行Drop Out操作;将Drop Out操作后的输出特征图与特征图1进行相加得到特征图2;将特征图2进行LayerNorm操作;然后输入MLP层中,进行Drop Out操作;将Drop Out操作后的输出特征图与特征图2相加,输出特征图3;
步骤2.3:将特征图3进行Layer Norm操作;对上述分块操作的小块进行滑动;使用全连接层对每一个小块生成对应的Query、Key与Value;之后以每个小块为单位进行SwinTransformer中的滑动多头注意力操作,将上述操作后的特征图输入到全连接层中,然后进行Drop Out操作;将Drop Out操作后的输出特征图与特征图3进行相加得到特征图4;将特征图4进行Layer Norm操作;将Layer Norm操作后输出特征图输入MLP层中,进行Drop Out操作;将Drop Out操作后输出特征图与特征图4相加,输出特征图5;
步骤2.4:使用Swin Transformer中的3D Patch Merging对特征图5进行下采样,使其H、W减小至原来的1/2,D不变,其中H、W、D分别表示特征图的高、宽、长;
步骤2.5:重复操作步骤2.2、步骤2.3与步骤2.4各两次,得到特征图6;
所述步骤3包括:
步骤3.1:将步骤2中三轮编码器模块输出的结果保存;通过不同的填充与卷积操作,将上述保存特征图尺寸均调整为7×7×7,通道数不变,得到特征图7、特征图8、特征图9;在通道维度上将特征图7、8、9连接获得特征图10;将特征图7、8、9、10进行Layer Norm操作;
步骤3.2:将特征图7、8、9通过全连接层生成拥有4head的Query1、Query2、Query3作为多头注意力操作中的Query;将特征图10通过全连接层生成拥有4head的Key、Value;使4head的Key、Value分别对Query1、Query2、Query3做通道维度上的自注意力得到特征图R1、R2、R3;
通过mean操作将R1、R2、R3的head合并;将上述输出特征图分别输入全连接层,进行Drop Out操作后输出O1、O2、O3;将O1、O2、O3分别与特征图7、8、9相加得到特征图11、12、13;对特征图11、12、13进行Layer Norm操作及MLP操作;
将MLP操作后输出分别与特征图11、12、13相加得到特征图14、15、16;
步骤3.3:将步骤3.2重复三次,对对应输出特征图分别进行Layer Norm操作;通过维度变换操作使特征图尺寸由[B,Patch,C]转化为[B,D,H,W,C],得到特征图17、18、19;其中B代表训练中的Batch Size;Patch代表在自注意力操作中Query、Key与Value的个数;C代表通道数;D、H、W代表特征图的长、高、宽;
步骤3.4:输出三次重复步骤2.2中的Key、Value得到k
步骤3.5:将特征图10进行SE注意力机制操作与softmax操作,将按通道数分割后得到结果与特征图17、18、19在通道方向上做torch.cat操作;通过填充与卷积操作将上述输出特征图尺寸转化为与其对应的步骤3.1输入的特征图尺寸相同,输出结果特征图;将上述输出特征图分别与步骤2.2重复三次的输入结果相加得到特征图20、21、22。
2.根据权利要求1所述的一种双重特征融合MRA图像的颅内动脉瘤分割方法,其特征在于,所述步骤1包括:步骤1.1:对采集到的MRA图像进行筛选;
步骤1.2:对筛选后的数据进行N4偏置场矫正;
步骤1.3:移除数值为0的体素;
步骤1.4:对数据进行图像增强:
步骤1.5:将数据集划分为训练集、验证集和测试集;
步骤1.6:将数据转化为Tensor格式,并进行归一化使数据限定在[0,1]之间;
步骤1.7:将所有数据由中心切割为128像素×128像素×128像素的大小。
3.根据权利要求2所述的一种双重特征融合MRA图像的颅内动脉瘤分割方法,其特征在于,所述步骤1.4包括:步骤1.4.1:依据probability=0.8,max_left_rotation=10,max_right_rotation=10,对图像进行随机左右旋转;其中,probability为旋转概率,max_left_rotation为最大左旋角度,max_right_rotation为最大右旋角度;
步骤1.4.2:取sigma=0.5对图像进行高斯模糊;
步骤1.4.3:将数据进行随机裁剪,并随机改变其长宽高比例;
步骤1.4.4:对数据进行lossless重排。
4.根据权利要求1所述的一种双重特征融合MRA图像的颅内动脉瘤分割方法,其特征在于,所述步骤4包括:步骤4.1:通过flatten与transpose操作将特征图6尺寸变为[B,H×W×D,C];将上述输出特征图通过全连接层上采样至[B,H×W×D,2×C];上述输出特征图通过view操作将其尺寸调整至[B,D,H,W,2×C];通过rearrange操作将上述输出特征图尺寸调整至[B,D,2×H,2×W,C/2];将上述输出特征图进行Layer Norm操作;
步骤4.2:使用torch.cat操作将输入特征图22和步骤4.1中输出特征图在通道维度上合并;将上述输出特征图通过全连接层将其通道数减半,然后分为两路分别进行步骤2.2中的操作,其中一路操作中Key与Value使用步骤3.4中的koutput=0.5x
其中output为输出的特征图25,x
步骤4.3:再次将上述特征图分为两路分别进行步骤2.3中的操作,其中一路操作中Key与Value使用步骤3.4中的k步骤4.4:按照步骤4.1方式对特征图30进行上采样,输出上采样后特征图;
步骤4.5:对上述输出特征图重复进行步骤4.2、步骤4.3、步骤4.4操作,其中步骤4.2的输入改为步骤4.4输出特征图和特征图21,其中步骤4.2中的一路Key、Value用步骤3.4中的k步骤4.6:对步骤4.5输出特征图重复进行步骤4.2、步骤4.3操作,其中步骤4.2的输入改为步骤4.5输出特征图和特征图20,其中步骤4.2中的一路Key、Value用步骤3.4中的k步骤4.7:对步骤4.6输出特征图进行Layer Norm操作;
步骤4.8:将步骤4.7输出的特征图输入全连接层,进行Layer Norm操作,使其复原为与网络输入尺寸相同的特征图,输出分割结果。
5.根据权利要求1所述的一种双重特征融合MRA图像的颅内动脉瘤分割方法,其特征在于,所述步骤5包括:步骤5.1:采用Adam优化器进行训练,采用BCEWithLogitsLoss与Dice Loss结合的损失函数,其中:loss=0.3×BCEWithLogitsLoss+0.7×Dice Loss步骤5.2:按照如下方式评价分割结果:
其中,Dice用于衡量真实值与预测值的相似度即分割效果,pred代表模型输出结果,true代表分割真实值。