1.一种基于自注意力机制的弱监督宫颈癌前病变分级方法,其特征在于,包括如下步骤:步骤S1:病理图像预处理;
步骤S2:以包和示例的层级方式将组织病理图像切分成指定大小的切片;
步骤S3:使用预训练的卷积神经网络(CNN)提取图像局部特征;
步骤S4:使用基于自注意力机制的模型A和B分别编码示例间和包间的关系以增强全局信息捕捉能力,结合全连接层以聚合示例级表征获得包级表征,进而获得全局图像级表征具体为:步骤一,针对由步骤S3得到的卷积神经网络特征图采用步骤S4所述的模型A编码示例间的关系得到步骤二,将由步骤一得到的示例级表征传入一个全连接层以获得包级表征步骤三,针对由步骤二得到的包级表征采用步骤S4所述的模型B编码包间的关系得到步骤四,将由步骤三得到的包级表征传入一个全连接层以聚合包间表示进而获得图像级表征模型A的具体结构如下:一个多头自注意力模块和一个前向传播网络,每个模块输入前都利用一个LayerNorm层进行归一化处理,且都应用了残差连接,由BiCNN得到Bihh计算过程如式(1)~(6)所示:H′=MHSA(Q=BiCNN′,K=BiCNN′,V=BiCNN′)=Concat(head1,…,headh)WO#(1)
H=H′+BiCNN#(4)
FFN(LayerNorm(H))=RELU(LayerNorm(H)β1)β2#(5)Bihh=FFN(LayerNorm(H))+H#(6)
模型B的具体结构如下:一个多头自注意力模块和一个前向传播网络,每个模块输入前都利用一个LayerNorm层进行归一化处理,且都应用了残差连接,由Bhb得到Bbb计算过程如式(7)~(10)所示:M'=MHSA(Q=Bhb′,K=Bhb′,V=Bhb′)=Concat(head1,…,headh)WO#(7)
M=M′+Bhb#(8)
FFN(LayerNorm(M))=RELU(LayerNorm(M)β1)β2#(9)Bbb=FFN(LayerNorm(M)+M)#(10)
步骤S5:使用全连接层,结合Softmax函数得到分级结果。
2.如权利要求1所述的一种基于自注意力机制的弱监督宫颈癌前病变分级方法,其特征在于,步骤S1中所述病理图像预处理具体为:筛选MTCHI中宫颈病理图像,剔除组织区域占比小于25%的图像,采用Reinhard方法做染色标准化处理,利用通道滤波器去除图像中的污渍和阴影部分,以中心裁剪方式将图像缩放为固定尺寸,每张图像包含一个粗粒度的图像级标签。
3.如权利要求1所述的一种基于自注意力机制的弱监督宫颈癌前病变分级方法,其特征在于,步骤S2中所述以包和示例的层级方式将组织病理图像切分成指定大小的切片具体为:利用滑动窗口裁剪经步骤S1得到的图像,首先设置固定尺寸的窗口,沿着图像的行与列滑动剪裁。
4.如权利要求1所述的一种基于自注意力机制的弱监督宫颈癌前病变分级方法,其特征在于,步骤S3中所述使用预训练的卷积神经网络(CNN)提取图像局部特征具体为:选择在ImageNet数据集上预训练的MobileNet-v2模型,迁移其除分类层外的网络结构及预训练参数。
5.如权利要求1所述的一种基于自注意力机制的弱监督宫颈癌前病变分级方法,其特征在于,步骤S5中所述使用全连接层,结合Softmax函数得到分级结果具体为:以输出的最大置信概率对应的级别作为分级结果。
6.如权利要求1所述的一种基于自注意力机制的弱监督宫颈癌前病变分级方法,其特征在于,多头注意力机制中h=8,训练模型采用Adam优化器,利用warm-up策略在初始的500次迭代中学习率由10-7上升到10-4,之后先以10-4训练前50个epoch,衰减一半后再训练剩余的50个epoch。