1.一种基于图卷积的Transformer胃癌癌变区域图像分割方法,其特征在于,所述方法具体步骤如下:
Step1、搜集当前已经公开的胃癌图片和正常胃部图片数据集,构成数据集;
Step2、对已有类别标签的胃癌图片上进一步标注像素级标签;
Step3、在数据集中,将已有的胃癌病理学图片进行数据增强,来扩充数据样本;
Step4、采用CNN作为特征提取器来生成特征图;
Step5、将下采样后的特征序列化,并将裁剪的特征块进行嵌入;
Step6、将下采样2倍、4倍、8倍的特征输入多尺度图卷积网络,以建立对分割病变区域特征的远程依赖性;
Step7、将多尺度图卷积网络的输出整合到Transformer的块嵌入中;
Step8、在训练集上,通过焦点损失与三元组损失对整个网络进行训练;
Step9、训练完成后,将测试集图像输入到训练好的网络模型中,在测试集上采用准确性accuracy以及癌症区域和正常区域的平均交并比mIOU来衡量模型的性能。
2.根据权利要求1所述的基于图卷积的Transformer胃癌癌变区域图像分割方法,其特征在于:所述Step1搜集的数据集包括BOT胃切片数据集和seed癌症风险智能诊断数据集。
3.根据权利要求1所述的基于图卷积的Transformer胃癌癌变区域图像分割方法,其特征在于:所述Step2中,人工利用Labelme软件,对已有类别标签的胃癌图片上进一步标注像素级标签,标识的信息包括胃癌肿瘤细胞的病灶区域,以及像素的类别。
4.根据权利要求1所述的基于图卷积的Transformer胃癌癌变区域图像分割方法,其特征在于:所述Step3中使用的数据增强方法包括:镜像、旋转。
5.根据权利要求1所述的基于图卷积的Transformer胃癌癌变区域图像分割方法,其特征在于:所述Step4中,将读取的图片输入特征编码网络,将图像编码为高级特征表示,长宽都下采样到原始特征图的1/8大小。
6.根据权利要求1所述的基于图卷积的Transformer胃癌癌变区域图像分割方法,其特征在于:所述Step5中包括:给定采样后的特征 空间分辨率为H/8×W/8和通道数为64C;首先通过将输入X重塑为一个扁平的二维补丁序列 来token化,i属于1~N之
2 2 2
间,每个patch尺寸为N×P ×C;其中,P为图像的空间维度尺寸大小,N=H×W/P,N是图像块的数量;使用线性投影将特征的补丁XP映射到一个潜在的D维嵌入空间,为了对补丁空间信息进行编码,对特定的位置进行嵌入,并保留位置信息,其中,特定的位置嵌入是网络学习得到的,相当于对空间信息进行编码。
7.根据权利要求1所述的基于图卷积的Transformer胃癌癌变区域图像分割方法,其特征在于:所述Step6包括:
首先将下采样2倍、4倍的特征切成下采样8倍的块大小;
将裁切好的特征与下采样8倍的特征一起输入多尺度图卷积网络,得到基于块的图的邻接矩阵: 为了有效地挖掘和学习区分局部特征之间的关系,采用图网络,通过信息从图中每个节点传播到其邻居节点来聚合和更新节点;图中的第U个节点聚合方式如下所示:
其中 为邻接矩阵, 为A的度矩阵;·和 分别表示点乘法运算和可学习的二维参数矩阵;节点本身及其邻节点根据可学习的二维参数矩阵W进行聚合和更新,用于提供更多的全局和局部块之间关系的信息;还加入激活函数,加快图网络的收敛,节点U的表示如下:
O=GELU(LN(U))
其中,GELU表示高斯误差线性单元,LN表示层归一化, 为扁平的二维补丁序列。
8.根据权利要求1所述的基于图卷积的Transformer胃癌癌变区域图像分割方法,其特征在于:所述Step7中,将Transformer网络和多尺度图卷积网络的输出在通道维度拼接,并使用1×1卷积将特征的通道数降维到与类别数一致,在特征图直接经过双三次插值上采样的过程中,将经过多尺度图卷积网络的下采样2倍、4倍的特征重构回原来的尺寸大小,并补充到对应的上采样过程中,在网络的输出阶段,特征上采样到全分辨率H×W,预测最终的分割结果。