1.一种基于对比学习和空间编码的弱监督医学图像分割配准协同方法,其特征在于,所述方法包括:获取待处理医学图像;根据预先训练的配准和分割模型执行对所述医学图像执行配准和分割的协同处理;
所述配准和分割模型基于如下步骤预先训练生成:
S1,用少量有标注的医学图像数据搭建分割模型,进行预训练,使用预训练的分割模型预测其余图像的分割标注;
S2,将获取的医学图像数据以是否拥有手工分割标注划分为浮动图像和固定图像;
S3,使用分割模型预测图像的分割标注,用预测的分割标注生成相应的空间编码,并使用该编码信息训练Voxel-Morph配准模型;
所述S3,使用分割模型预测图像的分割标注,用预测的分割标注生成相应的空间编码,并使用该编码信息训练Voxel-Morph配准模型,包括:S31,将每对图像中的固定图像送入分割模型中,得到预测的分割标注;
S32,将图像对中图像的分割标注转为one-hot编码,方便后面的计算;
S33,对三维医学图像中的每一个体素都进行空间编码的计算,计算方式如下式:如上式所示,每个体素的空间编码有三位组成,表示三维图像中坐标为(x,y,z)的体素的第n位编码,labelone-shot表示图像的one-hot编码形式的分割标注,其数学表示为一个四维矩阵,i、l、w、h分别表示为所属的解剖结构、长度、宽度和高度;
S34,将每张图像的编码与原图像在相互连接,成为一张四通道的图像,其中原图像占据一个通道,空间编码占据三个通道;
S35,搭建的配准模型采用Voxel-Morph网络架构,将原本的2输入通道修改为6输入通道以便适应增添了空间编码之后新的输入类型;
S36,训练好的配准模型会输出能够将浮动图像配准至固定图像的形变场,如下式所示:Φ=Reger(Imov,Ifix)
其中Reger()表示配准模型,Imov和I′mov分别表示浮动图像和浮动图像向固定图像配准后的结果,Φ表示网络输出的形变场,符号表示通过形变场对图像进行变形操作;
S4,将数据集中的图像进行随机配对,使用配对的两张图像预测的分割标签来生成纹理对应图,使用纹理对应图来训练像素级Siamese模型;所述S4,将数据集中的图像进行随机配对,使用配对的两张图像预测的分割标签来生成纹理对应图,使用纹理对应图来训练像素级Siamese模型,包括:S41,由于Siamese网络的处理对象是一对图像,所以首先将用于训练的医学图像数据集进行随机两两配对,将这两张图像的分割标注转换成one-hot编码;
S42,使用分割模型所预测出的分割标注来计算两张图像之间的结构对应情况,计算过程如下式:其中,Ppos和Pnat分别表示两张配对的两张图像结构相对应的区域和结构不对应的区域;和分别表示两张图像的one-hot分割标注;
S43,使用由分割标注计算得到的监督信息进行Siamese网络的训练,其目标函数由两部分组成,第一部分是对比损失函数,计算公式如下:L=mean(Ppos·d2+Pnat·max(margan-d,0)2)其中,L表示最终用于反向传播的目标函数数值,d表示两张图片在经过Siamese网络编码之后的特征向量的欧氏距离,margin是一个人为设置的阈值;上述目标函数能够约束Siamese网络将图像对应的结构区域的编码结果一致,反之则将差异变大;
S44,第二部分的目标函数是用来约束网络最终的输出结果,使得我们能够通过Siamese网络得到一个反应输入图像对之间相同位置上纹理对应情况的一个置信图,其公式如下:其中,N表示图像矩阵中的体素数量,Pacm表示Siamese网络输出的置信图;
S5,使用Voxel-Morph配准模型为分割网络生成增广数据,其中包括全监督数据与弱监督数据,使用Siamese网络对其中的弱监督数据进行筛选加权,降低其中错误信息的影响,并使用这些信息对分割网络进行再训练;
S6,重复步骤S3到步骤S5,直到配准模型和分割模型收敛,以生成配准和分割模型。
2.根据权利要求1所述的基于对比学习和空间编码的弱监督医学图像分割配准协同方法,所述S1,用少量有标注的医学图像数据搭建分割模型,进行预训练,使用预训练的分割模型预测其余图像的分割标注,包括:S11,所述分割模型采用U-net网络架构,将少量带标签的图像送入网络进行预训练;
S12,使用训练好的分割模型对固定图像进行分割预测,得到固定图像的预测标签。
3.根据权利要求2所述的基于对比学习和空间编码的弱监督医学图像分割配准协同方法,所述S2,将获取的医学图像数据以是否拥有手工分割标注划分为浮动图像和固定图像,包括:S21,设医学图像数据集中图像数量为n,其中仅有少量图像包含器官结构手动分割标注,称其为浮动图像,设其数量为x,其余n-x张图像无分割标注,称其为固定图像;
S22,将浮动图像与固定图像进行随机配对,这样每一对图像中的浮动图像都拥有分割标注,固定图像则没有分割标注。
4.根据权利要求1所述的基于对比学习和空间编码的弱监督医学图像分割配准协同方法,所述S5,使用Voxel-Morph配准模型为分割网络生成增广数据,其中包括全监督数据与弱监督数据,使用Siamese网络对其中的弱监督数据进行筛选加权,降低其中错误信息的影响,并使用这些信息对分割网络进行再训练,包括:S51,将带有分割标注的浮动图像Imov和没有标注的固定图像Ifix送入配准模型中,得到配准后的浮动图像I′mov及其分割标注label′mov;则I′mov和label′mov对应可以视作一对全监督数据,label′mov和Ifix对应可以视作一对弱监督数据;具体流程如下式:Φ=Reger(Imov,Ifix)
S52,将配准模型增广出的全监督数据和弱监督数据送入分割模型中,进行进一步的训练;在使用弱监督数据进行训练时,将Imov和Ifix输入Siamese网络中,得到这两张图像之间结构对应情况的置信图,使用这个置信度图就能够对弱监督数据进行加权筛选,去除弱监督数据中的错误信息;其具体使用方法如下式:Lacm=Pacm·label′mov·log(S(Ifix))
上式中S(Ifix)表示分割模型,实际的计算过程就是将交叉熵函数乘上置信图,对每个体素的损失值进行一个筛选,只有监督信息正确的区域才计入数值进行反向传播。
5.一种电子装置,所述电子装置包括:一个或多个处理器,存储器,所述存储器用于存储一个或多个计算机程序;其特征在于,所述计算机程序被配置成由所述一个或多个处理器执行,所述程序包括用于执行如权利要求1-4任一项所述的基于对比学习和空间编码的弱监督医学图像分割配准协同方法步骤。
6.一种存储介质,所述存储介质存储有计算机程序;其特征在于,所述程序由处理器加载并执行以实现如权利要求1-4任一项所述的基于对比学习和空间编码的弱监督医学图像分割配准协同方法步骤。