1.基于多分支网络的CT图像肝脏肿瘤区域自动分割方法,其特征在于,包括以下步骤:
(1)从肝脏肿瘤分割公共数据库获取包含原始CT图像及其肝脏肿瘤手动分割结果的原始训练数据集,并根据其中的肝脏肿瘤手动分割结果,获取指向肝脏肿瘤边界的方向信息,具体过程包括:(1‑a)对于CT图像中的每一个像素i,根据肝脏肿瘤手动分割结果判断该像素i是否属于肝脏肿瘤区域,若i属于非肝脏肿瘤区域,则从肝脏肿瘤区域获取与像素i欧氏距离最近的像素j,若i属于肝脏肿瘤区域,则从非肝脏肿瘤区域获取与像素i欧氏距离最近的像素j;
(1‑b)根据像素i和j的相对位置关系,采用如下公式计算像素i指向肝脏肿瘤边界的方向D(i):D(i)=(D(i)x,D(i)y)
其中,D(i)x和D(i)y分别表示像素i的方向信息在行和列方向上的值,ix和iy分别表示像素i的行和列坐标,jx和jy分别表示像素j的行和列坐标;
(2)建立包含原始CT图像及其肝脏肿瘤手动分割结果与方向信息的训练数据集A;
(3)构建一种融合自注意力机制和方向信息的深度卷积多分支网络,称之为MlpBran‑Net,该网络包含初始分割模块、方向信息提取模块和方向修正模块,具体构建过程包括:(3‑a)构建初始分割模块,该网络模块共包含五个卷积模块、四个反卷积模块、一个自注意力模块和一个输出层,其中,第一个卷积模块的输出同时作为第二个卷积模块和第四个反卷积模块的输入;第二个卷积模块的输出同时作为第三个卷积模块和第三个反卷积模块的输入;第三个卷积模块的输出同时作为第四个卷积模块和第二个反卷积模块的输入;
第四个卷积模块的输出同时作为第五个卷积模块和自注意力模块的输入;自注意力模块的输出和第五个卷积模块的输出共同作为第一个反卷积模块的输入;此外,上一个反卷积模块的输出均作为下一个反卷积模块的输入;初始分割模块包含的输出层由1个大小为1×1的卷积层构成,将该输出层记作第一个输出层;第四个反卷积模块的输出作为第一个输出层的输入,该输出层的输出为肝脏肿瘤初始分割结果;
(3‑b)在步骤(3‑a)所述的初始分割模块中,第一至第四个卷积模块均由2个大小为3×
3的卷积层和1个大小为2×2的最大池化层依次连接组成,第五个卷积模块由2个大小为3×
3的卷积层依次连接组成;
(3‑c)在步骤(3‑a)所述的初始分割模块中,每个反卷积模块均由1个大小为3×3的反卷积层、1个拼接层和2个大小为3×3的卷积层依次连接组成,其中:第一个反卷积模块中反卷积层的输入为第五个卷积模块的输出,此后,下一个反卷积模块中反卷积层的输入均为上一个反卷积模块的输出;第一个反卷积模块中拼接层的输入包括当前反卷积模块中反卷积层的输出和自注意力模块的输出,第二至第四个反卷积模块中拼接层的输入包括当前反卷积模块中反卷积层的输出和与该反卷积模块相连的卷积模块的输出;
(3‑d)在步骤(3‑a)所述的初始分割模块中,自注意力模块采用残差结构设计,包括依次连接的图像分块层、线性映射层、n个自注意力层和图像尺寸重定义层,以及一个跳跃连接,其中,图像分块层将第四个卷积模块输出的特征图分成若干子块;线性映射层将这些子块平坦化后,线性映射到M维子空间;每个自注意力层由多头注意力和多层感知机组成;图像尺寸重定义层将最后一个自注意力层的输出转换为与第四个卷积模块输出尺寸相同的特征图;通过引入跳跃连接将图像尺寸重定义层获取的特征图与第四个卷积模块输出的特征图相加,并将相加结果作为第一个反卷积模块的一个输入;
(3‑e)构建方向信息提取模块,具体包括:首先,在初始分割模块中的第一个、第二个、和第三个反卷积模块之后分别增加一个反卷积模块,分别记作第五个、第六个和第七个反卷积模块,每个新增的反卷积模块均由1个大小为3×3的反卷积层和2个大小为3×3的卷积层依次连接组成;接着,在第五个、第六个和第七个反卷积模块之后增加一个拼接层,将第五个、第六个和第七个反卷积模块的输出与初始分割模块中第四个反卷积模块的输出进行拼接;最后,将拼接之后的结果输入一个由大小为1×1的卷积层构成的输出层,该输出层记作第二个输出层,第二个输出层的输出为方向信息;
(3‑f)构建方向修正模块,具体包括:首先,将方向信息提取模块输出的方向信息和初始分割模块中第四个反卷积模块输出的特征图作为输入,构建方向修正层,该方向修正层可利用方向信息对第四个反卷积模块输出的特征图F中每个像素的特征值进行迭代更新,使远离肝脏肿瘤边界的像素的特征值逐渐向边界移动,具体计算公式如下:t t‑1
F(px,py)=F (px‑D(p)x,py‑D(p)y)
t
其中,px和py分别为像素p的行和列坐标,F (px,py)表示特征图F迭代更新t次后像素p的t‑1特征值,D(p)x和D(p)y分别为像素p的方向信息在行和列方向上的值,F (px‑D(p)x,py‑D(p)y)表示特征图F迭代更新t‑1次后坐标为(px‑D(p)x,py‑D(p)y)的像素的特征值;对于坐标(px‑D(p)x,py‑D(p)y)取值存在非整数且满足1≤px‑D(p)x≤row、1
(4)构建MlpBran‑Net网络的损失函数,具体过程包括:
(4‑a)采用Dice系数构建初始分割模块的损失函数L1,如下式所示:
其中,Y为分割金标准,其中肝脏肿瘤区域像素标记为“1”,非肝脏肿瘤区域像素标记为“0”,P为第一个输出层的输出结果,其中预测为肝脏肿瘤的像素标记为“1”,预测为非肝脏肿瘤的像素标记为“0”,符号∩表示求并集,|·|表示求给定区域非“0”像素的数目;
(4‑b)采用2‑范数和向量夹角构建方向信息提取模块的损失函数L2,如下式所示:
其中,DT(k)和DG(k)分别为第二个输出层输出的第k个像素的方向信息和根据人工分割结果计算得到的第k个像素的方向信息金标准,||·||2表示求给定向量的2‑范数,DG(k)·‑1DT(k)表示求向量DG(k)和DT(k)之间的内积,cos (DG(k)·DT(k))表示计算向量DG(k)和DT(k)之间的夹角,μ为比例因子,用于平衡2‑范数和向量夹角,N为CT图像中的像素数目,λ(k)为像素k的自适应权重,计算公式如下:其中,Gk表示CT图像中与像素k类别相同的像素数目,若k属于肝脏肿瘤,则Gk=NT,其中NT为CT图像中肝脏肿瘤区域的像素数目,若k不属于肝脏肿瘤,则Gk=NB,其中NB为CT图像中非肝脏肿瘤区域的像素数目;
(4‑c)采用Dice系数构建方向修正模块损失函数L3,如下式所示:
其中,T为第三个输出层的输出结果,其中预测为肝脏肿瘤的像素标记为“1”,预测为非肝脏肿瘤的像素标记为“0”,Y为分割金标准,其中肝脏肿瘤区域像素标记为“1”,非肝脏肿瘤区域像素标记为“0”;
(4‑d)结合初始分割模块、方向信息提取模块和方向修正模块的损失函数,构建MlpBran‑Net网络的损失函数L:L=L1+L2+L3
(5)采用训练数据集A对MlpBran‑Net网络进行训练,直至L收敛;
(6)运用训练好的网络模型对待测试的CT图像进行分割,得到图像中的肝脏肿瘤分割结果。
2.如权利要求1所述的基于多分支网络的CT图像肝脏肿瘤区域自动分割方法,其特征在于:所述n优选4~8的常数,所述M优选400~900的常数,所述μ优选0.8~1.2的常数,所述t优选4~8的常数。