1.一种基于双分支网络小样本学习的脑肿瘤MRI图像分割方法,其特征在于,包括如下步骤:
步骤1:输入医学图像数据,数据集包括Kaggle数据集和BraTs数据集,所述Kaggle数据集作为预训练网络数据输入,所述Kaggle数据集包括训练集与验证集,所述BraTs数据集作为测试集分割目标图像,所述训练集、验证集、测试集都分为支持集与查询集;
步骤2:构建双分支网络小样本学习分割模型,以U‑Net网络为基础构建双分支网络,接着构建小样本学习网络;所述小样本学习网络分为条件分支、交互模块与分割分支;所述小样本学习网络由所述条件分支提供图像特征,通过双分支并发空间和通道挤压与激发交互模块将所述条件分支的分割特征提供给所述分割分支用于分割新的图像;
步骤3:构建脑肿瘤难样本优化模块加入到所述步骤2中的所述双分支网络小样本学习分割模型,设计一种难样本混合损失函数,一是使用了对比学习方法,由所述支持集的图像与标签产生目标类和非目标类进行优化损失函数,再者是使用所述支持集产生的特征信息来优化脑肿瘤图像难样本部分损失函数;
步骤4:将所述步骤3所获得的所述双分支网络小样本学习分割模型对所述测试集的数据进行预测,得到最后的分割预测图像。
2.根据权利要求1所述的基于双分支网络小样本学习的脑肿瘤MRI图像分割方法,其特征在于,所述步骤1包括:步骤11:输入和读取数据集合;
步骤12:在训练网络中所述Kaggle数据集作为训练集并分为支持集与查询集,将所述支持集与所述查询集输入小样本模型网络进行训练;将所述BraTs数据集作为测试过程的测试集并分为支持集与查询集,所述支持集输入随机选择的5张脑肿瘤图像,所述查询集输入随机提取的样本切片。
3.根据权利要求2所述的基于双分支网络小样本学习的脑肿瘤MRI图像分割方法,其特征在于:将所述Kaggle数据集中的少量脑肿瘤MRI图像作为训练集,所述训练集又分为支持集和查询集,所述支持集为所述查询集提供特征;所述BraTs数据集取5例样本切片,由于脑肿瘤分割为多分类任务,共需要分割出4类,总体构成小样本学习概念:4‑Way 5‑Shot。
4.根据权利要求1所述的基于双分支网络小样本学习的脑肿瘤MRI图像分割方法,其特征在于,所述步骤2包括:步骤21:通过U‑Net作为基准网络构建初步双分支训练网络。
步骤22:在所述双分支训练网络构架基础上构建小样本学习框架;选用框架模型分为三部分:条件分支,交互模块与分割分支,所述条件分支处理支持集图像以模拟新语义类在图像中的样子,所述条件分支将信息传递给所述分割分支;所述分割分支通过利用所述条件分支的信息来分割新查询图像中的新语义类;所述交互模块用以在所述条件分支与所述分割分支之间进行信息的交互使得所述分割分支更好的接收所述条件分支的图像特征,分割图像更准确。
所述交互模块为双分支并发空间和通道挤压与激发交互模块,输入为所述条件分支卷积模块所输出的特征向量与所述分割分支卷积模块输出的特征向量,所述交互模块计算公式如下所示:其中ucon为条件分支卷积块输出的特征向量,useg为分割分支卷积块输出的特征向量,Q(·)函数操作分为两步,第一步为全局平均池化,第二步为两个1*1*1卷积操作,P(·)函数操作为1*1*1的卷积操作,σ(·)函数为sigmoid函数,最后 代表模块的输出。
5.根据权利要求4所述的基于双分支网络小样本学习的脑肿瘤MRI图像分割方法,其特征在于:所述步骤2中,所述小样本学习框架分为所述条件分支与所述分割分支,所述条件分支与所述分割分支皆用所述U‑Net网络为基础得到特征向量,所述条件分支提供的特征向量通过所述交互模块辅助所述分割分支分割;所述条件分支与所述分割分支网络对称布局,均包含四个编码器、解码器和一个瓶颈块;而每一个解码块与编码块都是由卷积块构成,所述条件分支与所述分割分支的卷积块之间由所述双分支并发空间和通道挤压与激发交互模块链接;下采样与上采样的每一层卷积块主要是由两个重复的3*3的卷积块构成,接着使用Relu激活函数以及在下采样的卷积块之间使用步长为2的2*2的最大池化操作,如此反复多次,最后通过1*1的卷积运算后使用Sigmoid的激活函数输出网络的分割概率图。
6.根据权利要求1所述的基于双分支网络小样本学习的脑肿瘤MRI图像分割方法,其特征在于,所述步骤3具体包括以下步骤:步骤31:对脑肿瘤图像数据集中的增强肿瘤区域标记为难样本分割区域;
步骤32:采用对比学习模块,基于难样本特征信息的学习可以从整体语义类的角度区分前景和背景特征,根据脑肿瘤数据集特点,将增强肿瘤区域定位前景,因为其分割数据相对于其他两类较差即为难样本部分,除增强肿瘤区域的其他区域认定为背景类,计算公式如下所示:其中所述条件分支中支持集特征图和支持集标签分别通过标签平均池化操作生成特q q
征信息向量,查询集特征用于通过全局平均池化获得均值向量v ;此外,均值向量v被视为s
查询向量,支持集中难样本区域被视为正键,以p表示;而目标外原型特征被视为负键,以nt
p 表示,τ是温度超参数,τ是一个标量,K指的是负样本的数量;
步骤33:采用难样本区域优化模块,在条件分支的结果中提取关于增强肿瘤的有用信息来优化分割分支中查询集的增强肿瘤损失函数,采用交叉熵损失函数计算,其公式如下所示:其中qi(x)为脑肿瘤难样本区域的标签图,pi(x)为脑肿瘤图像特征中的增强肿瘤特征提取预测图,N为标签数量;
步骤34:将结果LH与对比学习函数结果Lcl和最终查询集分割结果L进行结合,以得到最终的难样本混合损失函数LCH,其公式如下式所示:LCH=L+λ1Lcl+λ2LH
其中λ1与λ2为两块权重系数,其中λ1与λ2范围为[0‑1],L为交叉熵损失函数。