欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021114571893
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于Transformer的关键特征增强胃癌图像识别方法,其特征在于,所述方法具体步骤如下:Step1、搜集当前已经公开的胃癌图片和正常胃部图片数据集,构成数据集;

Step2、对已有类别标签的胃癌图片上进一步标识,标识的信息包括图片是否含有胃癌肿瘤细胞的病灶,以及病灶的位置;

Step3、将已有的胃癌病理学图片进行数据增强,来扩充数据样本;

Step4、首先加载YoloV5网络的预训练的权重,再利用胃癌图像识别数据集对YoloV5网络进行微调;

Step5、分别提取完整图像的全局特征和裁剪图像的局部特征,输入到Transformer网络中,通过多头自注意力增强待分类图像中的病变区域特征;最后,添加一个全连接层作为分类器进行分类;

Step6、在训练集上,通过交叉熵损失与三元组损失对整个网络进行训练;

Step7、利用测试集验证训练好的模型是否达到要求;为评估模型效果,采用所有测试图像的平均分类精度ACA和平均精度AP作为评价指标;

所述Step5的具体步骤如下:

Step5.1、分别提取完整图像的全局特征和裁剪图像的局部特征,输入到Transformer网络中;

Step5.2、Transformer网络中,通过建立全局特征和裁剪图像的局部特征的交叉信息流关系,有助于识别局部病灶特征和全局特征token之间的跨尺度关系,通过跨尺度关系,两个尺度的特征高度对齐并相互耦合;

Step5.3、Transformer网络中分别通过有效处理局部病灶特征fl和全局特征fg的特征映射,从而最大限度地提取局部和全局特征;

Step5.4、上采样局部病灶特征fl,将其与全局特征fg连接,并进行逐个卷积以进行通道双尺度信息融合,得到网络的输出特征fO;

Step5.5、将输出特征fO输入分类器进行分类,分类器由两个全连接层构成。

2.根据权利要求1所述的基于Transformer的关键特征增强胃癌图像识别方法,其特征在于:所述Step1中采用的数据集,包括BOT胃切片数据集和seed癌症风险智能诊断数据集,并将80%的图片分为训练集,20%的图片分为测试集。

3.根据权利要求1所述的基于Transformer的关键特征增强胃癌图像识别方法,其特征在于:所述Step3中使用的数据增强方法包括:镜像、旋转;其中随机抽取训练集图片的30%进行镜像,抽取剩下图片的30%随机进行顺时针90度、180度、270度旋转,剩余的图片不进行操作。

4.根据权利要求1所述的基于Transformer的关键特征增强胃癌图像识别方法,其特征在于:所述Step4中,对在ImageNet上训练的YoloV5网络权重进行微调,调整网络对胃癌肿瘤病灶的检测效果,并用检测结果的坐标在原始数据集上裁剪出包含病灶区域的局部图片。

5.根据权利要求1所述的基于Transformer的关键特征增强胃癌图像识别方法,其特征在于:所述Step5包括:2

Transformer网络中,将尺寸为H×W×C的图像reshape成2维图像块,尺寸为N×P×C;

2 2

其中,P为图像的空间维度尺寸大小,N=H×W/P ,N是图像块的数量,影响输入序列的长度;

位置嵌入被添加到patch嵌入中以保留位置信息;Transformer编码器由多个交互层的多头自注意力和多层感知机组成,多层感知机中包含两个GELU非线性的层;每个块之前应用LayerNorm,同时每个块之后应用残差连接;

对于具有W×H×C大小的全局特征fg,将fg变为一个长度为L的序列Lg;对于具有W×H×C大小的局部病灶特征fl,将fl变平为一个长度为l的序列Ll;通过这样的操作,序列中的每个向量都被视为一个没有空间信息的视觉标记,与卷积结果完全不同,不同标记对之间的依赖关系与它们在特征图中的空间位置无关,为了挖掘局部特征信息在全局特征中的相互关系,采用全连接层将Ll映射为一个长度为L的序列Lg_l;

综合了全局信息,并通过自注意力机制对病灶区域特征耦合关系进行了建模:fQ=WQ×Lg,fK=WK×Lg_l,fV=WV×Lg

其中fQ,fK,fV分别为Transformer中的多头自注意力的输入;其中,WQ、WK、Wv分别表示生成查询、键和值的矩阵;通过计算fQ和fK之间的相似性,获得了fK在fQ不同位置信息的注意权重;最后,计算了注意权重和fV的加权和,从而得到了综合特征:其中, 用于将特征标准化,利用Transformer结构在全局特征中有效加强了关键病灶区域的特征表示,并用多头自注意力来增强待分类图像中的病变区域特征,提升网络对病变区域的判别能力。

6.根据权利要求1所述的基于Transformer的关键特征增强胃癌图像识别方法,其特征在于:所述Step6中的交叉熵损失表示如下:其中,Wcls表示类别分类器,nb表示批处理图像数量Batch size, 为onehot向量,只有第i个元素为1;

除了使用交叉熵损失对网络进行优化以外,还通过三元组损失约束不同胃癌图像特征具有高相似度,不同类别具有低相似度,具体三元组损失优化公式如下:由于Ltri同时对类内和类间样本进行约束,因此n2b=2nb,即nb个胃癌图像样本和nb个非p胃癌图像样本均参与该损失的计算,其中,fi表示n2b个样本中的一个,fi表示fi对应的难正n样本,fi表示fi对应的难负样本,m设置为0.3。