1.基于全局自注意力与多尺度特征融合的肝脏CT图像分割方法,其特征在于,所述方法的具体操作步骤如下:Step1、图像预处理:对LiTS数据集中的CT图像按照HU值范围进行处理来增加对比度,再扩充数据集;
Step2、获取同一维度特征和多尺度特征:经Step1预处理操作之后,利用ResNeXt卷积神经网络提取图像特征,通过线性变换得到统一维度的卷积特征和基于该卷积特征的多尺度特征;
Step3、得到全局自注意力融合特征:以Step2获得的多尺度特征,通过全局自注意力模块Non-Local得到包含全局信息的自注意力融合特征,以捕获目标特征与周围特征间的关系;
Step4、将Step3得到的自注意力融合特征通过改进的卷积模块进行特征提取,凸显通道维度中重要语义特征的作用,最终上采样得到分割结果;
所述Step2的具体步骤如下:
Step2.1经过图像预处理后,使用ResNeXt-101网络的前五层作为特征提取层,将每个ResNeXt块内的卷积分为32个路径,每个路径处理的中间通道维度均为4,不同路径相当于不同的特征子空间,用于提取不同的语义特征,同时不同路径卷积核学到的关系更加稀疏,降低过拟合的风险;
Step2.2将ResNeXt网络结构中Layer 1-4层输出结果的通道维度通过线性变换统一为64,并将特征图尺寸上采样到与Layer 1保持一致;拼接这四个特征,拼接后的特征通过一个1×1卷积压缩至64后,得到多尺度特征,特征通道数与特征图大小与Layer 1-4经处理后的特征维度一致;
所述Step3的具体步骤为:
Step3.1腹部CT图像中不同器官之间存在着一定的联系,获取这种联系能改善肝脏器官分割效果;受非局部均值算法中计算当前位置与图像中其他位置相关性思想的启发,以Step2得到的多尺度特征出发,分别进行三次线性映射得到Key、Query、Value嵌入空间特征,线性映射采用1×1卷积实现;
Step3.2计算特征Key与Query的相似度,计算相关性的函数根据非局部均值选用的Gaussian函数得到,计算公式为:其中xi是输入特征图的第i个位置,j表示所有与i可能相关的位置,将计算得到的相似度加权到Value上得到自注意力特征;
Step3.3自注意力特征经过Softmax层得到自注意力权重的输出,从而将学习到的长距离依赖关系融入到输出特征中,总体的计算公式如下:其中,C(x)是Softmax标准化函数,函数g线性映射输入j位置的表示,通常采用1×1卷积实现,函数f计算输入第i个位置与第j个位置的相关性。
2.根据权利要求1所述的基于全局自注意力与多尺度特征融合的肝脏CT图像分割方法,其特征在于,所述Step1的具体步骤如下:Step1.1对LiTS数据集中的CT图像按照肝脏器官对应的HU值范围进行处理来增加对比度;按照-130HU至230HU范围的CT值,即窗宽360HU、窗位50HU进行处理,处理后的CT图像再进行归一化操作;
Step1.2数据扩充采用随机水平翻转、垂直翻转、缩放、裁剪的方式进行数据增强;随机扩充之后划分数据,其中82%用作训练集,其余的18%用作测试集,训练集按照8:2的比例进一步划分为训练数据及验证数据,用于对模型进行训练及模型选择。
3.根据权利要求1所述的基于全局自注意力与多尺度特征融合的肝脏CT图像分割方法,其特征在于,所述Step4的具体步骤为:Step4.1由Step3提取到包含多尺度信息和自注意力关系的融合特征,通过改进的卷积模块进一步提取融合特征中的信息;多尺度自注意力融合特征经过一个1×1卷积,将特征通道映射至指定维度,然后经过一个1×1卷积和一个3×3卷积并得到两者的特征加和;
Step4.2使用作用在通道维度的注意力模块对特征通道进行通道重标定,并使用一条残差路径使原始特征与通道注意力特征融合,得到残差模块的输出特征,具体计算如公式所示:YMRA(X)=YCA(WLX+WEX)+X
其中,YMRA(X)表示多级残差注意力卷积操作,X表示输入特征,WL是1×1卷积矩阵,用于线性映射原输入,相当于一个残差路径;WE是3×3卷积矩阵,用于对输入特征进行特征抽取,YCA表示通道注意力操作;
Step4.3提取到的特征采用集成学习的多路并行思想得到四组分割输出,将四组输出计算取平均后作为最终输出结果。