1.一种三维医学图像分割模型的训练方法,其特征在于,所述训练方法包括:
根据三维医学图像的分割任务进行信息编码作为任务编码信息;获取与所述分割任务一致的多种类别的单一标注数据集,所述单一标注数据集为至少50张三维医学图像和单一标注信息即标签的集合,将单一标注数据集中包含的所有三维医学图像统一像素和格式后作为原始图像;计算每种类别的单一标注数据集对应的Prototype特征向量;通过编码器进行下采样操作提取原始图像特征和高级语义信息作为下采样信息;通过解码器接收编码器中各对应层级的特征向量作为输入后上采样以恢复原始图像的空间信息并输出与输入大小一致的预分割特征图;
将任务编码信息、下采样信息经过全局池化后获得GAP特征向量以及每种类别数据集对应的Prototype特征向量输入3D卷积层进行特征提取,输出可以指导网络模型处理特定任务的特征向量即包含任务信息的特征图;
采用动态卷积核将所述包含任务信息的特征图生成卷积核参数,所述卷积核参数用于分割的卷积层;采用动态分割头将所述卷积核参数作为卷积操作的参数,对预分割图像进行最后的图像分割得到分割结果;
将所述分割结果与标签图像做损失计算,通过梯度下降的策略进行参数的训练,最后经过至少几百轮训练到得到所述分割模型。
2.根据权利要求1所述的一种三维医学图像分割模型的训练方法,其特征在于,所述计算每种类别的单一标注数据集对应的Prototype特征向量,具体操作步骤包括:使用分割网络模型作为预训练的模型,输入原始图像进行分割处理,取最后一层的特征图即分割特征图,将分割特征图作为原始图像在隐空间的特征映射,然后对所述分割特征图进行三线性插值获得插值特征图,使其尺寸大小与原始图像保持一致;同时通过使用图像的标签作为器官和肿瘤的掩膜Mask;然后,将掩膜Mask与所述插值特征图相乘,从而得到此类别的单一标注数据集中每张原始图像所对应的Prototype信息,最后将此类别的中每张原始图像所对应的Prototype信息累加后求平均值得到对此类别单一标注数据集高度表示的Prototype特征向量。
3.根据权利要求1所述的一种三维医学图像分割模型的训练方法,其特征在于,损失函数采用交叉熵损失,所述梯度下降的策略具体为采用动量为0.99的随机梯度下降,学习率初始为0.01并随着不断训练而衰减。
4.一种三维医学图像分割模型,其特征在于,所述模型由权利要求1-3中任意一项所述模型训练方法训练获得,所述模型包括:Prototype计算模块、编码器模块、解码器模块、任务控制器模块、动态卷积核生成器模块和动态分割头模块;所述Prototype计算模块用于计算每种类别的单一标注数据集对应的Prototype特征向量;所述编码器模块用于提取原始图像特征和高级语义信息作为下采样信息;解码器的作用是接收编码器中各对应层级的特征向量作为输入后上采样以恢复原始图像的空间信息并输出与输入大小一致的预分割特征图;所述任务控制器模块通过采用3D卷积层对输入的所述任务编码信息、所述下采样信息经过全局池化后获得的GAP特征向量以及每一类数据集对应的Prototype特征向量进行特征提取,输出可以指导网络模型处理特定任务的特征向量即包含任务信息的特征图;所述动态卷积核生成器模块用于接收所述包含任务信息的特征图,生成用于分割的卷积层中的卷积核参数;动态分割头模块用于接收所述卷积核参数并作为卷积操作的参数,对解码器输出的预分割图像进行最后的图像分割得到分割结果。
5.根据权利要求4所述的一种三维医学图像分割模型,其特征在于,所述编码器模块和解码器模块为U型结构的卷积神经网络;其中,所述编码器由多个3D残差块组成,每个残差块包含两个卷积核大小为3×3×3的卷积层,每一个卷积层之后应用了组归一化和ReLU激活函数,在每个下采样的步骤中,使用步长为2的卷积来讲输入特征图的分辨率减半,所述编码器中下采样总共执行了四次;当给定图像XF
其中,θ
6.根据权利要求5所述的一种三维医学图像分割模型,其特征在于,所述解码器是与编码器相对称的,解码器对特征图进行上采样以提高其分辨率,在每一步上采样的过程中,上采样的特征图首先与编码器中相对应的低级特征图相加,然后通过残差块增强语义信息,在对特征图进行四次上采样后,就可以得到与输入大小一致的预分割特征图MM
其中,θ
7.根据权利要求6所述的一种三维医学图像分割模型,其特征在于,所述任务控制器模块是一个简单的3D卷积层,首先对编码器的输出FT
其中,θ
8.根据权利要求7所述的一种三维医学图像分割模型,其特征在于,所述动态卷积核生成器模块由3D卷积层构成,接收来自任务控制器的包含任务信息的特征图,生成随该特征图动态变化的卷积核参数ww
其中,θ
9.根据权利要求8所述的一种三维医学图像分割模型,其特征在于,所述动态分割头模块包含三层3D卷积,前两层的通道数为8,最后一层有两个通道,一个通道用于器官分割,另一个通道用于肿瘤分割,动态分割头的输入来自解码器包含多个器官核肿瘤的语义信息的预分割特征图MS
其中,w
10.权利要求4所述分割模型在多任务医学图像分割处理中的应用,其特征在于,所述方法采用所述分割模型对医学图像进行分割处理,输出得到不同器官和相应肿瘤的分割结果。