1.基于模糊增强Transformer的弱监督组织病理图像分割方法,其特征在于,包括以下步骤:S1:从组织病理数据集中读取图像其中H和W分别为图像的高度和宽度,进行数据预处理操作,然后将图片切割成N个大小为P×P的不重叠图像块,其中N为图像块的数量,P为图像块的边长;
S2:将预处理后的组织病理图像构建成输入令牌输送到Transformer编码器层,获取Transformer编码器层的注意力矩阵并提取亲和力矩阵最终层图像块令牌输出及类别令牌输出其中D为令牌的维度;
S3:将图像块令牌输出重塑后输入构建的模糊增强注意力模块,基于模糊规则提取图像块令牌输出中的模糊特征,模糊特征与图像块令牌输出拼接后通过卷积操作融合生成模糊增强注意力图;
S4:将生成的模糊增强注意力图经过处理后作为权重引导池化操作,生成图像块令牌预测得分,将类别令牌输出经过降维后生成类别令牌预测得分,将两种得分分别与图像真实标签计算多标签软边缘损失训练Transformer模型;
S5:提取训练好的模型中的模糊增强注意力图,通过ReLU激活函数及最大归一化操作,接着使用亲和力矩阵进行后处理,上采样后通过argmax操作后生成分割结果,其中argmax为获取最大值所在位置索引操作。
2.根据权利要求1所述的基于模糊增强Transformer的弱监督组织病理图像分割方法,其特征在于,所述步骤S2的具体步骤如下:步骤S2.1:将输入令牌Tinput输入Transformer编码器层经过L轮迭代,在迭代过程中经过投影变换生成查询矩阵键矩阵和值矩阵提取注意力矩阵及最终层令牌输出Toutput=AV (2)其中dk为键矩阵的维度,softmax(·)是激活函数,聚合L层的注意力矩阵得到聚合注意力矩阵步骤S2.2:对聚合注意力矩阵Aall在层的维度上取平均得到平均注意力矩阵其中为第i个聚合注意力矩阵;
步骤S2.3:从平均注意力矩阵Amean中提取亲和力矩阵从最终层令牌输出Toutput中提取最终层图像块令牌输出及类别令牌输出
3.根据权利要求1所述的基于模糊增强Transformer的弱监督组织病理图像分割方法,其特征在于,所述步骤S3的具体步骤如下:步骤S3.1:将提取的图像块令牌输出形状重塑为表示为D个大小为的特征图,接着使用模糊隶属函数来刻画特征图中元素与模糊概念的关联性,有效捕捉特征中的不确定性和模糊性,为每个特征图分配K个高斯隶属函数,高斯隶属度函数的计算公式如下:其中cd,k和σd,k表分别为第d个特征图上第k个高斯隶属度函数的中心和宽度,d=1,...,D,k=1,...,K,exp(·)为指数函数,Td表示第d个特征图,μd,k表示在第d个特征图上第k个高斯隶属度函数分配得到的模糊隶属度矩阵,使用公式(4)计算得到最终模糊化的结果步骤S3.2:对模糊高斯核进行采样用于合成具有语义信息的模糊特征,采样的公式如下:其中T′d,k表示通过采样得到的特征图;
步骤S3.3:不同的隶属度值代表图像中不同位置对特定模糊集的隶属度,建立三组模糊规则提取模糊权重,分别与采样得到的特征图相乘提取模糊特征,第一组模糊逻辑用于提取高匹配的语义模糊特征,选择特征图上每个特征点的最大隶属度值作为输出权重来获取高匹配的语义模糊特征运用缩放的softmax运算实现模糊逻辑:其中τ是控制平滑度的缩放温度参数,第二组模糊逻辑用于提取低匹配的语义模糊特征,选择特征图上每个特征点的最小隶属度值作为输出权重来获取低匹配的语义模糊特征运用缩放的softmax运算实现模糊逻辑:第三组模糊逻辑用于提取通用的语义模糊特征,选择特征图上每个特征点的中等隶属度值作为输出权重来获取通用的语义模糊特征运用缩放的softmax运算实现模糊逻辑:其中为模糊化结果在第二个维度上取均值的结果;
步骤S3.4:将提取的三种模糊特征与原始特征进行拼接后使用卷积操作进行融合:其中Concat(·)为拼接操作,Conv(·)为3×3卷积操作,将拼接后的特征通道调整为C个,C为数据集的类别数量,最后生成模糊增强注意力图
4.根据权利要求1所述的基于模糊增强Transformer的弱监督组织病理图像分割方法,其特征在于,所述步骤S4的具体步骤如下:步骤S4.1:模糊增强注意力图中包含位置信息,用于引导池化操作,首先在通道维度上进行softmax归一化生成池化权重αc,x,y:其中表示在模糊增强注意力图中第c个通道上的特征点,
步骤S4.2:以αc,x,y为权重对Afuzzy进行加权池化,增强正确类别在对应位置的权重,从而引导注意力图在合理范围内扩展,生成图像块令牌预测得分步骤S4.3:将步骤S2.3中获取的类别令牌输出通过线性层降维生成类别令牌预测得分yclass=Linear(Tclass) (15)
其中Linear(·)表示线性层;
步骤S4.4:图像块令牌预测得分与类别令牌预测得分分别与真实标签计算多标签软边缘损失:
其中σ(·)表示sigmoid激活函数,最后将Lpatch和Lclass相加作为最终损失函数,通过反向传播最小化损失函数,优化模型参数。
5.根据权利要求1所述的基于模糊增强Transformer的弱监督组织病理图像分割方法,其特征在于,所述步骤S5的具体步骤如下:步骤S5.1:在模型训练完成后,再次将图像放入模型后提取模糊增强注意力图并将每个类别对应的模糊增强注意力图通过ReLU激活函数及最大归一化操作:其中表示类别c对应的模糊增强注意力图,max(·)表示取最大值操作;
步骤S5.2:使用步骤S2.3中提取的亲和力矩阵对模糊增强注意力图进行精细化后处理:其中表示矩阵乘法操作,RN×C(·)和分别表示将矩阵重塑为N×C和的形状;
步骤S5.3:最后,将Afinal上采样至输入图像大小并应用argmax操作,生成最终分割结果pred:其中Upsample(·)表示上采样操作,其中表示在类别维度上取最大值索引,将分割结果进行可视化展示。