1.一种基于多层面领域自适应技术的脑出血分割方法,其特征在于,包括以下步骤:S1:构建基于语义保留机制的脑CT图像合成网络以及基于领域自适应机制的脑出血分割网络;基于语义保留机制的脑CT图像合成网络包括两个结构一致的生成器,两个结构一致的鉴别器以及一个语义保留模块,语义保留模块包含两个语义分割子网络以及一个图像语义相似图像选取模块;
所述生成器,包括特征提取阶段,特征融合阶段,上采样阶段;
所述特征提取阶段用于对预处理后输入的图像进行特征抽取与编码,该阶段包括4个隐藏层:对于前2个隐藏层,每个隐藏层包含一步7x7卷积操作,一步层归一化操作,一步线性整流函数激活操作;对于后两个隐藏层,每个隐藏层包含一步3x3卷积操作,一步层归一化操作,一步线性整流函数激活操作;
特征融合阶段将特征提取阶段产生的特征图进行再编码,完成不同感受野下具体语义信息与抽象语义信息的整合,共包括6个稠密连接模块,模块内隐藏层的输入采用稠密连接,每个稠密连接块包括5个隐藏层,每个隐藏层包含一步3x3卷积操作,一步层归一化操作,一步线性整流函数激活操作;
稠密连接定义为:
xl+1=H([x0,…,xl]) (1)
Η(xi)=W*σ(B(xi)) (2)
dl=d0+g·l (3)
其中,H(xi)表示对输入特征图xi进行隐藏层运算,[]指特征图按通道进行级联操作,xi是第i个隐藏层输入的特征图,l是隐藏层的序数,dl表示第l层隐藏层输入的通道数,g表示稠密连接模块中所有卷积层输出的通道数,d0表示输入稠密连接模块第一个隐藏层的特征图的通道数,W表示通过训练学习到的卷积层权重,B()表示层归一化运算,σ()表示线性整流函数激活操作;
上采样阶段完成由特征编码到最终输出的合成图像的转换,包括两个隐藏层,每个隐藏层包含一步3x3转置卷积操作,一步层归一化操作,一步tanh函数激活操作;
所述鉴别器,包含特征提取模块以及预测模块;
其中,特征提取模块包括5个隐藏层,每个隐藏层包含一步卷积操作,一步层归一化操作,一步线性整流函数激活操作,预测模块为一步卷积操作,用于将特征抽取模块得到的特征图转换为预测图;
所述语义保留模块的分割子网络包括预训练特征提取模块以及多层上采样跳层连接;所述预训练特征提取模块为在ImageNet数据集上预训练的VGG-16网络的一部分,共有5个卷积阶段,5次最大池化操作,其中第一和第二个卷积阶段包含两个隐藏层,后三个卷积阶段均包含三个隐藏层,每个隐藏层包含一步3x3卷积操作以及一步线性整流函数激活操作;
两个子网络模型架构定义一致,均为预训练特征提取模块结合多层上采样跳层连接操作;
多层上采样跳层连接定义如下:
预训练特征提取模块的5步最大池化操作后输出的特征图,输出按先后顺序分别定义为v_out1,v_out2,v_out3,v_out4,v_out5;
其中,v_out5经过反卷积操作,线性整流函数激活操作,层归一化操作后与v_out4中特征图按元素值相加得到特征图temp1;
temp1经过反卷积操作,线性整流函数激活操作,层归一化操作后,与v_out3中的特征图按元素值相加得到特征图temp2;
temp2经过反卷积操作,线性整流函数激活操作,层归一化操作后,与v_out2中的特征图按元素值相加得到特征图temp3;
temp3经过反卷积操作,线性整流函数激活操作,层归一化操作后,与v_out1中的特征图按元素值相加得到特征图temp4;
temp4经过反卷积操作,线性整流函数激活操作,层归一化操作后,得到最终的特征图;最终的特征图经过一步1x1卷积操作及一步sigmoid激活操作后,经过阈值化得到预测的分割结果;
所述语义保留模块中相似图像选取模块负责在每张MRI图像输入时,寻找与之最相近的CT图像,最相近的CT图像随机从最高相似度的20张CT图像中选取;所述的相似度定义如下:sim=100dhanming(phash(x),phash(y))+|focus(x)-focus(y)| (4)其中,x,y指用于计算相似度的两张图像,phash()为图像感知哈希算法,通过离散余弦变换降低图片频率,得到图像的二进制指纹;dhanming()为汉明距离,用于获取图像二进制指纹之间的相似度;focus()计算图像粗糙病灶区域比例,对于源域图像即MRI影像,直接取其语义分割标签中值大于0的像素所占图像全体像素比例即可;对于目标域图像即CT影像,对图像进行阈值二值化操作:对于值大于120且小于180的像素值取二值化1,其余像素值取二值化0;
S12:所述基于领域自适应机制的图像语义分割网络包括分割网络以及域鉴别器;
其中,分割网络结构与上述图像合成网络的语义保留模块中的分割子网络结构一致;
其中,域鉴别器输入为隐藏层输出的特征图以及隐藏层经过上采样过程得到的预测,包括4个隐藏层和一个分类层,每个隐藏层包括一步4x4卷积操作,一步带泄露线性整流函数操作,分类层为一个卷积层,用于输出维度为1的预测图;
S2:训练目标域训练数据合成网络
进一步,需要带标签的源域训练数据即MRI图像及其语义分割标签,以及无标签的目标域训练数据即脑CT图像;
对训练数据进行预处理与数据增强:
其中,预处理包括将源域图像,源域标签,目标域图像采样到一致大小,对所有图像进行归一化操作,即将数据处理为0均值和单位方差;
数据增强方法:包括对所有图像亮度值随机浮动20%,对源域图像及相应标签以0.5概率进行水平翻转;
训练模型需要进行多次的反向传播与参数更新,每次更新前向模型输入同样批大小的训练数据,每批训练数据包含n张MRI图像,n张MRI图像相应的语义分割标签,n张脑CT图像,选取n=1;
数据在输入网络前,首先进行匹配对齐即将语义内容接近的脑肿瘤MRI图像和脑出血CT图像进行配对:每取一张待输入网络的源域影像,查找在步骤S12中语义保留模块中相似图像选取模块中存储的最相似目标域影像20张,从中随机选取一张,将两者配对;
每次输入新的数据,进行如下操作:
MRI图像s输入到CT图像生成器Gs,CT图像t输入到MRI生成器Gt;
Gs(s)与目标域图像t输入到目标域鉴别器Dt,Gt(t)与源域图像s输入源域鉴别器Ds,锁定鉴别器更新,根据Wasserstein GAN思想计算生成对抗损失如下:其中,表示从指定分布中提取的数据,t为目标域图像即CT脑出血图像,Dt为目标域图像鉴别器,Gs(s)为源域图像即MRI脑肿瘤图像输入到CT图像生成器Gs()后合成的伪目标域图像即伪CT脑出血图像,p(t)为目标域图像的分布;指t为从目标域图像中提取的;s为源域图像即MRI脑肿瘤图像,Ds为源域图像鉴别器,Gt(t)为目标域图像即CT脑出血图像输入到MRI图像生成器Gt()后合成的伪源域图像即伪CT图像,p(s)为源域图像的分布,指s为从源域图像中提取的;
计算循环一致性损失如下:
srecover=Gt(Gs(s)) (7)
trecover=Gs(Gt(t)) (8)
其中,表示从指定分布中提取数据,Gs(s),s与式(5)中定义一致,Gt(t),t与式(6)中定义一致,srecover为伪目标域图像即伪CT图像输入到CT生成器Gt()后合成的循环源域图像,即循环合成MRI图像,trecover为伪源域图像即伪MRI图像输入到MRI生成器Gs()后合成的循环目标域图像,即循环合成CT图像,p(s)为源域图像的分布,p(t)为目标域图像的分布;
将Gs(s)与源域图像s的标签ys输入到语义保留模块中的分割子网络Ft,冻结分割子网络的更新,计算分割损失:其中,Gs(s)与式(5)中定义一致,ys为源域图像即MRI图像的语义分割标签;Ft为语义保留模块中的伪目标域图像分割子网络;
将srecover与源域图像s的标签ys输入到语义保留模块中的分割子网络Fs,冻结分割子网络的更新,计算分割损失:其中,srecover与式(7)中定义一致,ys与式(10)中定义一致;Fs为语义保留模块中的循环源域图像分割子网络;
得到的语义保留损失为:
其中,为(10)中分割子网络计算得到的损失,为(11)中分割子网络计算得到的损失;
得到生成器损失函数如下并反向传播,优化生成器Gs和Gt:
其中,为整合(5)(6)中的生成对抗损失,(9)中的循环一致性损失,(12)中的语义保留损失得到的生成器损失;
切断Gs(s)的梯度,将S的标签和Gs(s)输入语义保留分割子网络Ft,同上述式(10)计算分割损失,将计算出的损失进行反向传播,优化Ft切断srecover的梯度,将S的标签和srecover输入语义保留分割子网络Fs,同上述式(11)计算分割损失,将计算出的损失进行反向传播,优化Fs切断Gs(s)的梯度,计算损失如下并反向传播,优化鉴别器Dt:
其中,Dt,Gs(s)与式(5)中定义一致,yfake为合成目标域图像即CT图像的域标签,ytrue为源域图像即MRI图像的域标签;
计算损失如下并反向传播,优化鉴别器Ds:
其中,Ds(s),Gt(t)与式(6)中定义一致,ytrue为源域图像即MRI图像的域标签;
重复以上过程,直到达到模型满足预设的收敛条件,收敛条件为运行100轮以上,一轮指使用训练集的全部数据对模型进行一次完整训练;S3:利用步骤S2中训练好的数据合成网络以及带标签的源域图像数据,生成用于训练分割网络的训练数据;
将源域图像数据经过同步骤S2一致的预处理,输入到目标域数据合成网络中的生成器G进行预测;得到合成目标域数据即合成CT图像tsynthetic,存储得到的图像用作训练集;
S4:利用步骤S1中定义的目标域图像语义分割网络,步骤S3中生成的训练数据,以及无标签的目标域图像,训练基于领域自适应的图像语义分割网络;
首先进行数据预处理,将数据处理为0均值和单位方差;
将源域图像以及源域标签送入分割网络,取得分割预测及中间层上采样结果,采样至最终预测分割结果大小,上采样采用双线性插值;计算损失如下并反向传播,优化分割网络的分割性能:其中,F为目标域图像语义分割网络,式(20)中的Fh为F的子集,即语义分割网络F中隐藏层h及之前的网络结构加上一个上采样过程,h取值为h1至h5;s定义与式(5)中一致,ys定义与式(10)中一致,tsynthetic为步骤S3中得到的合成目标域图像即合成CT图像;
将目标域图像送入分割网络,取得分割预测及中间层上采样结果;
暂停域鉴别器更新,将中间层上采样结果送入鉴别器,鉴别器输出预测图,计算对抗损失如下并反向传播,优化分割网络的泛化性能:其中,Fh,tsynthetic定义与式(20)中一致,D为域鉴别器,t定义与式(6)一致;
切断源域和目标域隐层表示之前的梯度更新,将二者送入域鉴别器,计算鉴别器损失如下并反向传播,优化域鉴别器:其中,Fh,tsynthetic定义与式(20)中一致,D为域鉴别器,t定义与式(5)一致;
重复以上过程,直到达到模型满足预设的收敛条件;预设的收敛条件为运行100轮以上,一轮指使用训练集的全部数据对模型进行一次完整训练。