1.一种基于Transformer的宫颈癌病理图像癌变组织的分割方法,其特征在于,包括如下步骤:采集宫颈癌病理图像并进行标注,获得宫颈癌病理图像数据集;
使用DeepLabV3+作为主干网络构建宫颈癌病理图像分割网络,其中,在编码器中添加多特征Transformer单元以提取不同尺度的语义信息;
使用宫颈癌病理图像数据集对所述宫颈癌病理图像分割网络进行训练;
使用训练好的宫颈癌病理图像分割网络对宫颈癌病理图像中的肿瘤和背景部分进行分割;
所述宫颈癌病理图像分割网络包括编码器和解码器;
在编码器中,对输入的病理图像使用多个并行卷积进行特征提取并压缩四次获得初步有效特征,输入多特征Transformer单元后分别使用不同速率的卷积进行连接合并,再进行1x1卷积压缩特征,最终输出多尺度融合特征;
在解码器中,使用1×1卷积来调整压缩两次的初始有效特征层的通道数,并利用调整通道数之后的初始有效特征层获得原始图像特征;使用空心卷积对将编码部分输出的多尺度融合特征进行四倍上采样后,和原始图像特征进行堆叠,再依次使用两个深度可分离卷积和一个1x1卷积进行处理,得到最终的有效特征,最后使用resize进行上采样,得到并输出与输入的病理图像大小相同的分割结果;
所述多特征Transformer单元包括:
DilateFormer模块,基于多尺度扩展注意力和滑窗空洞注意力提取多尺度肿瘤特征图;
多特征通道注意力模块,用于整合多尺度肿瘤特征图中的全局特征信息,获得包含肿瘤全局特征信息、和肿瘤局部边缘与肿瘤细节特征的特征图;
所述DilateFormer模块基于多尺度扩展注意力和滑窗空洞注意力提取多尺度肿瘤特征图,包括以下步骤:在大小为w×w的滑动窗口中对初步有效特征的图像进行稀疏采样,然后进行自注意力计算,提取注意力特征信息,得到肿瘤特征图x,表示为:x=SWDA(Q,K,V,r);
其中,Q、K和V分别表示查询矩阵、键矩阵和值矩阵,这三个矩阵的每一行分别表示一个单一的查询特征向量、键特征向量和值特征向量;SWDA表示滑动窗口空洞注意力特征提取操作;r表示膨胀率,控制滑窗空洞注意力特征提取操作中稀疏采样的稀疏度;
将肿瘤特征图x的通道划分到不同的特征通道中,在不同的特征通道中使用不同的空洞系数对滑动窗口中的查询特征值进行采样,并进行自注意力计算,得到不同尺度的特征信息图组,表示为:hi=SWDA(Qi,Ki,Vi,ri),1≤i≤n;
其中,hi表示尺度为i的特征图,Qi、Ki和Vi分别表示膨胀率取值为ri时的查询的特征值、键的特征值和值的特征值;
将不同尺度的特征信息图组进行融合,并通过线性操作得到最终的多尺度肿瘤特征图:X=Linear(Concat[h1,...,hn]);
其中,X表示多尺度肿瘤特征图,Linear表示通过线性操作进行特征聚合,Concat表示特征融合。
2.根据权利要求1所述的基于Transformer的宫颈癌病理图像癌变组织的分割方法,其特征在于,所述滑动窗口空洞注意力特征提取操作SWDA,包括以下步骤:以输入图像每个坐标(i,j)为中心得到对应的查询特征值、键特征值、值特征值和膨胀率;
计算输出图像每个坐标的像素灰度值,表示为:
其中,xij表示输出图像在坐标(i,j)处的灰度值,qr表示输入图像在(i,j)处的查询特征值,Kr和Vr分别表示膨胀率取值为r时的查询,键和值的特征值;Attention表示自注意力操作,Softmax表示激活函数,H和W分别表示输出图像的高度和宽度。
3.根据权利要求2所述的基于Transformer的宫颈癌病理图像癌变组织的分割方法,其特征在于,所述多特征通道注意力模块的执行过程包括:将多尺度肿瘤特征图X中的不同肿瘤信息合并为一类特征信息,表示为:L=n1×L1+n2×L2+n3×L3;
其中,L表示多尺度肿瘤特征图中融合肿瘤特征得到的特征图,n1、n2和n3分别表示注意力特征权值,L1、L2和L3分别表示多尺度肿瘤特征图中包含肿瘤边缘信息的特征信息、肿瘤细节信息的特征信息和肿瘤全局信息的特征信息;
使用全局平均池化来计算特征信息L的数目,并通过应用通道退化卷积层来生成紧凑的特征表示,得到特征向量;
特征向量经过三个并行卷积层的处理,产生三个特征描述符v1、v2和v3,计算包含肿瘤全局特征信息、肿瘤局部边缘与肿瘤细节特征的特征图U,表示为:U=v1×L1+v2×L2+v3×L3。
4.根据权利要求1所述的基于Transformer的宫颈癌病理图像癌变组织的分割方法,其特征在于,所述使用宫颈癌病理图像数据集对所述宫颈癌病理图像分割网络进行训练,训练过程的损失函数为:FL(pt)=-αt(1-pt)γlog(pt);
其中,Loss表示损失函数;L表示交叉熵损失,xi表示真实标签的第i个元素,yi表示模型预测x属于第i个类别的概率;DL表示Dice损失,|Y∩X|表示X和Y相交的元素个数,|X|和|Y|分别表示X和Y中的元素个数;pt表示样本属于正类的概率,FL(pt)表示聚焦损失,αt表示平衡变量,(1-pt)表示调制因子,γ表示可调聚焦参数。
5.一种基于Transformer的宫颈癌病理图像癌变组织的分割系统,其特征在于,包括:采集模块,采集宫颈癌病理图像并进行标注,获得宫颈癌病理图像数据集;
构建模块,使用DeepLabV3+作为主干网络构建宫颈癌病理图像分割网络,其中,在编码器中添加多特征Transformer单元以提取不同尺度的语义信息,且减少全局注意力计算中的冗余性;
训练模块,使用宫颈癌病理图像数据集对所述宫颈癌病理图像分割网络进行训练;
分割模块,使用训练好的宫颈癌病理图像分割网络对宫颈癌病理图像中的肿瘤和背景部分进行分割;
所述宫颈癌病理图像分割网络包括编码器和解码器;
在编码器中,对输入的病理图像使用多个并行卷积进行特征提取并压缩四次获得初步有效特征,输入多特征Transformer单元后分别使用不同速率的卷积进行连接合并,再进行1x1卷积压缩特征,最终输出多尺度融合特征;
在解码器中,使用1×1卷积来调整压缩两次的初始有效特征层的通道数,并利用调整通道数之后的初始有效特征层获得原始图像特征;使用空心卷积对将编码部分输出的多尺度融合特征进行四倍上采样后,和原始图像特征进行堆叠,再依次使用两个深度可分离卷积和一个1x1卷积进行处理,得到最终的有效特征,最后使用resize进行上采样,得到并输出与输入的病理图像大小相同的分割结果;
所述多特征Transformer单元包括:
DilateFormer模块,基于多尺度扩展注意力和滑窗空洞注意力提取多尺度肿瘤特征图;
多特征通道注意力模块,用于整合多尺度肿瘤特征图中的全局特征信息,获得包含肿瘤全局特征信息、和肿瘤局部边缘与肿瘤细节特征的特征图;
所述DilateFormer模块基于多尺度扩展注意力和滑窗空洞注意力提取多尺度肿瘤特征图,包括以下步骤:在大小为w×w的滑动窗口中对初步有效特征的图像进行稀疏采样,然后进行自注意力计算,提取注意力特征信息,得到肿瘤特征图x,表示为:x=SWDA(Q,K,V,r);
其中,Q、K和V分别表示查询矩阵、键矩阵和值矩阵,这三个矩阵的每一行分别表示一个单一的查询特征向量、键特征向量和值特征向量;SWDA表示滑动窗口空洞注意力特征提取操作;r表示膨胀率,控制滑窗空洞注意力特征提取操作中稀疏采样的稀疏度;
将肿瘤特征图x的通道划分到不同的特征通道中,在不同的特征通道中使用不同的空洞系数对滑动窗口中的查询特征值进行采样,并进行自注意力计算,得到不同尺度的特征信息图组,表示为:hi=SWDA(Qi,Ki,Vi,ri),1≤i≤n;
其中,hi表示尺度为i的特征图,Qi、Ki和Vi分别表示膨胀率取值为ri时的查询的特征值、键的特征值和值的特征值;
将不同尺度的特征信息图组进行融合,并通过线性操作得到最终的多尺度肿瘤特征图:X=Linear(Concat[h1,...,hn]);
其中,X表示多尺度肿瘤特征图,Linear表示通过线性操作进行特征聚合,Concat表示特征融合。