欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025100030217
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于自监督学习的多视图融合宫颈癌前病变图像分类方法,其特征在于:该方法包括下列顺序的步骤:(1)采集前列腺内窥镜切除手术的视频截图数据,并进行预处理,得到无标注数据,将无标注数据输入自监督训练框架进行自监督训练,优化特征提取,得到优化特征,通过优化特征优化第一视觉Transformer模型的注意力权重,得到优化后的模型权重;

(2)采集患者的宫颈癌前病变阴道镜图像并进行预处理,得到标注的宫颈癌前病变阴道镜醋酸图片、阴道镜碘图片,将优化后的模型权重、标注的宫颈癌前病变阴道镜醋酸图片、阴道镜碘图片分别输入第二视觉Transformer模型、第三视觉Transformer模型进行微调训练,将优化后的模型权重作为第二视觉Transformer模型、第三视觉Transformer模型训练微调时的初始权重,分别得到优化后的第二视觉Transformer模型、第三视觉Transformer模型;

(3)对待分类的宫颈癌前病变阴道镜图像进行预处理,将预处理后的宫颈癌前病变阴道镜图像分别输入优化后的第二视觉Transformer模型、第三视觉Transformer模型进行分级预测,得到宫颈癌前病变阴道镜醋酸图片分类结果和宫颈癌前病变阴道镜碘图片分类结果,将宫颈癌前病变阴道镜醋酸图片分类结果和宫颈癌前病变阴道镜碘图片分类结果进行加权融合,得到最终分类结果;

在步骤(1)中,所述将无标注数据输入自监督训练框架进行自监督训练,优化特征提取,得到优化特征具体是指:(1a)构建教师网络与学生网络:

自监督学习通过构建教师网络和学生网络来实现,这两个网络具有相同的架构,并处理来自同一图像的不同视图;

(1b)图像视图生成:同一张图像经过随机裁剪、缩放、亮度调整、颜色抖动变换后生成两个不同的视图,分别输入教师网络和学生网络;

教师网络更新机制:教师网络的参数通过指数平均移动更新,具体公式为:

θt←ξθt+(1-ξ)θs

其中,θt为教师网络参数,θs为学生网络参数,ξ为动量参数;

学生网络反向传播:学生网络通过梯度反向传播算法更新学生网络权重参数;

(1c)设计损失函数:

响应特征的损失函数通过计算教师网络和学生网络输出的分布差异来优化模型参数;

响应特征:通过softmax对每个响应特征进行归一化,得到每个维度的概率分布σ(zi):其中,zi表示响应特征的第i维特征值;zj表示计算softmax过程中遍历的所有特征向量,共有M个特征向量;

自监督损失:基于响应特征的损失函数定义为:

其中,τt和τs分别表示教师网络和学生网络的温度参数,表示教师网络响应特征的居中操作;ft表示对教师网络的softmax操作,fs表示对学生网络参数的操作;zt表示教师网络特征向量,zs表示学生网络特征向量;

将类别标记即class token向量记作w,多层感知机投影操作记作f,f(w)记作对类别标记特征做多层感知机投影操作;保留类别标记特征带来的全局注意力信息,使用向量拼接后的结果指导学生网络的学习,以获得更好的优化;Φs(w)向量拼接操作表示为:Φs(w)=concat[f(w),w]

最终,自监督训练过程中损失函数表示为:

式中,Ft表示对教师网络取特征向量的计算,Fs表示对学生网络取特征向量的计算,Φt(w)和Φs(w)分别表示计算过程中对教师网络和学生网络参数的拼接操作;

通过交叉熵损失的方式来学习教师网络和学生网络两个不同视图网络得到的分布特征。

2.根据权利要求1所述的基于自监督学习的多视图融合宫颈癌前病变图像分类方法,其特征在于:在步骤(1)中,所述采集前列腺内窥镜切除手术的视频截图数据,并进行预处理,得到无标注数据具体是指:收集来自前列腺内窥镜切除手术的视频截图数据,经过筛选后去除异常影像,得到筛选后的影像,所述异常影像包括模糊图像和过曝图像;对筛选后的影像进行统一的尺寸调整,调整为224*224的大小,去除术中与内窥镜无关区域,并进行旋转、翻转、高斯模糊这些数据增强处理,得到无标注数据。

3.根据权利要求1所述的基于自监督学习的多视图融合宫颈癌前病变图像分类方法,其特征在于:在步骤(1)中,所述自监督训练的具体步骤如下:(5a)权重初始化:使用预训练的Imagenet ViT-1k权重作为初始化权重;

Imagenet ViT-1k是指在Imagenet数据集上训练1k大小的视觉Transformer;

(5b)参数优化:设置权重衰减为0.05,批量大小为32,学习率使用余弦调度器从5e-5开始,训练周期为10个epoch,同时使用早停策略和混合精度训练机制。

4.根据权利要求1所述的基于自监督学习的多视图融合宫颈癌前病变图像分类方法,其特征在于:在步骤(2)中,所述采集患者的宫颈癌前病变阴道镜图像并进行预处理,得到标注的宫颈癌前病变阴道镜醋酸图片、碘图片具体包括以下顺序的步骤:(2a)数据收集:收集包括966名患者的阴道镜图像,共3294张图像组成数据集,所述阴道镜图像包括同一患者的阴道镜醋酸图片和阴道镜碘图片;将采集的图像根据病理宫颈上皮内瘤变分级标注为Normal、CIN1、CIN2和CIN3四个类别;

(2b)数据划分:将数据集按4:1的比例划分为训练集和测试集,其中,训练集包括2635张图像,测试集包括659张图像;

(2c)数据预处理:对数据集进行增强处理,包括随机旋转、裁剪、缩放、颜色变换和亮度调整;将图像的尺寸统一调整为224×224像素,并进行标准化处理。

5.根据权利要求1所述的基于自监督学习的多视图融合宫颈癌前病变图像分类方法,其特征在于:在步骤(2)中,所述微调训练的具体步骤如下:(6a)初始化:使用优化后的模型权重初始化第二视觉Transformer模型、第三视觉Transformer模型;

(6b)优化器与参数设置:使用AdamW优化器,设置权重衰减为0.05,批量大小为64,学习率从5e-3逐步降低至5e-4,训练周期为200个轮次,采用20轮热身机制以加速第二视觉Transformer模型、第三视觉Transformer模型收敛。

6.根据权利要求1所述的基于自监督学习的多视图融合宫颈癌前病变图像分类方法,其特征在于:在步骤(3)中,所述将宫颈癌前病变阴道镜醋酸图片分类结果和宫颈癌前病变阴道镜碘图片分类结果进行加权融合具体是指:采用多层感知机作为特征融合器,将针对醋酸图片的第二视觉Transformer模型的分类结果的类别标志特征,以及针对碘图片的第三视觉Transformer模型的分类结果的类别标志特征作为输入直接拼接,经过多层感知机加权融合后输出最终分类结果,所述多层感知机的计算公式为:y=σ(W*concat[x1,x2]+b)

其中,x1为醋酸图片经过第二视觉Transformer模型生成的类别标志特征向量,x2为碘图片经过第三视觉Transformer模型生成的类别标志特征向量,W为权重矩阵,b为偏置向量,σ为ReLU激活函数,y为最终分类结果向量。