欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025109656739
申请人: 苏州科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-04-02
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于CTE-MIL深度学习架构的结直肠癌病理图像分析平台,其特征在于,具体步骤包括:

前景训练图像处理模块,用于采集若干已知结直肠癌病理所在区域及对应病理组织类型的结直肠病理全切片图像,对采集的各结直肠病理全切片图像进行预处理,将预处理后的全切片图像记为样本训练图像,将样本训练图像与结直肠病理全切片图像一一映射,生成前景提取训练数据集;

分割网络训练模块,用于以CLAM算法模型为理论模型,在其中构建Tissue-Seg分割网络模块,基于前景提取训练数据集内的数据,对Tissue-Seg分割网络模块进行训练,同时在Tissue-Seg分割网络模块引入空间金字塔池化快速算法,感知结直肠癌病理区域的组织结构和边界轮廓,完成训练的Tissue-Seg分割网络模型输出得到对应病理组织的前景掩码,并映射到原结直肠病理全切片图像上,实现结直肠病理全切片图像级的前景分割;

特征单元筛选模块,用于通过对获取的前景掩码图像进行网格化划分,得到若干patch单元图像;基于patch单元图像对CFE特征提取网络模块的骨干网络进行预训练,对每个patch图像利用单隐层注意力打分网络计算其语义响应分数;根据语义响应分数对patch图像进行排序与筛选,将符合要求的记为高响应patch单元图像;所述预训练指以patch单元图像为输入,以其来源全图对应的图像级病理组织类型为标签,对CFE特征提取网络模块的骨干网络进行弱监督训练;

特征提取网络训练模块,用于构建CFE特征提取网络模块,基于高响应patch单元图像对预训练后的CFE特征提取网络模块的骨干网络参数进行特异性调整,并对确定骨干网络参数的CFE特征提取网络模块进行全监督训练,具体为:将高响应patch单元图像统一尺寸后作为CFE特征提取网络模型的输入,并以对应的特征向量类型为标签,对CFE特征提取网络模型进行训练;

注意力机制优化模块,用于在完成CFE特征提取器训练后,将其提取的特征向量作为输入,构建TFAM注意力机制模块,通过该模块计算每个patch的注意力得分,基于注意力得分进行特征加权融合,生成融合特征向量,并将融合特征向量作为MIL分类器的输入,以对应的病理组织类型为标签对MIL分类器进行训练,完成训练的MIL分类器实现病理组织类型的判别。

2.根据权利要求1所述的一种基于CTE-MIL深度学习架构的结直肠癌病理图像分析平台,其特征在于:采集若干已知结直肠癌病理所在区域及对应病理组织类型的结直肠病理全切片图像,其中所述对应病理组织类型覆盖2种结直肠癌组织类型,具体包括:结肠腺瘤组织和直肠腺瘤组织;

对采集的各结直肠病理全切片图像进行预处理,其中所述预处理具体步骤包括:对统一尺寸的结直肠病理全切片图像进行降采样处理,将原始图像缩小至原始尺寸的1/40,其中进行降采样处理具体所依据的公式为:式中,output(i,j)表示结直肠病理全切片图像第i行第j列经降采样处理后的输出像素,k为降采样因子,取40,m表示当前行偏移,n表示当前列偏移,Input(i*k+m,j*k+n)表示位置(i*k+m,j*k+n)的原始像素值,i和j分别代表降采样后图像的行索引和列索引;

基于降采样处理后的结直肠病理全切片图像,采用Labelme工具在降采样处理后的图像中对结直肠癌病理所在区域进行标注,具体标注方式为:通过最大外接多边形对结直肠癌病理组织进行标注,并将完成标注的结直肠病理全切片图像通过脚本处理,生成对应的前景掩码,所述前景掩码具体为:区别被标注结直肠癌病理组织与结直肠病理全切片图像背景的二值掩码,至此完成结直肠病理全切片图像的预处理;

其中所述前景提取训练数据集的生成方法为:将降采样处理后的结直肠病理全切片图像与对应的前景掩码一一映射,形成对应网格,将形成的网格记为前景提取训练数据集。

3.根据权利要求2所述的一种基于CTE-MIL深度学习架构的结直肠癌病理图像分析平台,其特征在于:基于前景提取训练数据集内的数据,对Tissue-Seg分割网络模块进行训练,其中所述Tissue-Seg分割网络模块,模块结构采用卷积Conv+批归一化BN+SiLU激活作为基础单元,同时在Tissue-Seg分割网络模块引入空间金字塔池化快速算法,用于感知结直肠癌病理区域的组织结构和边界轮廓,其中所述空间金字塔池化快速算法具体包括多尺度池化和特征拼接;

Tissue-Seg分割网络模块进行训练的具体逻辑为:以前景提取训练数据集内的降采样处理后的结直肠病理全切片图像作为输入,并以对应的前景掩码为标签,对Tissue-Seg分割网络模块进行训练,训练过程中使用BCELoss函数作为损失函数,优化器选用Adam,初始学习率设为0.001,其中BCELoss函数具体表达式为:式中,表示训练样本第p个像素预测值与真实值的损失,yp表示像素的真实标签,为模型对该像素的预测概率值,其中p为训练样本图像像素点的索引,N图像中的总像素数。

4.根据权利要求1所述的一种基于CTE-MIL深度学习架构的结直肠癌病理图像分析平台,其特征在于:对获取的前景掩码图像进行网格化划分,得到若干patch单元图像,其中得到若干patch单元图像具体步骤包括:设置网格大小,获取掩码图像的尺寸,根据网格大小和掩码图像的尺寸计算网格的行数和列数,通过循环遍历图像,将图像划分为多个patch单元图像,使用切片操作来提取每个patch单元图像,其中patch单元图像不少于1000个;所述前景掩码图像具体指将对应病理组织的前景掩码映射到原结直肠病理全切片图像上所形成的图像;

通过单隐层注意力打分网络计算其语义响应分数,其中计算语义响应分数具体所依据的公式为:

πq=sigmoid[W2*ReLU(W1hq+b1)+b2]

式中,πq表示第q个patch单元图像的语义响应分数,具体范围为[0,1]之间,hq为第q个patch单元图像的特征向量,W1和W2均为权重矩阵,b1和b2表示偏置向量,ReLU为ReLU激活函数,sigmoid表示sigmoid激活函数,q为patch单元图像索引。

5.根据权利要求4所述的一种基于CTE-MIL深度学习架构的结直肠癌病理图像分析平台,其特征在于:其中第q个patch单元图像的特征向量hq具体通过完成预训练的ResNet50模型进行提取,所述ResNet50模型为CFE特征提取网络模块的骨干网络,所述ResNet50模型中删除线性全连接层,特征维度为1024,所述特征向量hq包括patch单元图像区域内病理组织的边界结构、形态分布及纹理语义特征信息;

根据语义响应分数对patch单元图像进行筛选,将符合要求的patch单元图像记为高响应patch单元图像,其中进行筛选具体所依据的逻辑为:基于patch单元图像的语义响应分数,将patch单元图像按照语义响应分数进行降序排列,形成调整单元图像序列,从调整单元图像序列中选取前1000个patch单元图像记为高响应patch单元图像。

6.根据权利要求5所述的一种基于CTE-MIL深度学习架构的结直肠癌病理图像分析平台,其特征在于:所述CFE特征提取网络模块的骨干网络具体为ResNet50模型,其中对ResNet50模型进行预训练,所述预训练过程中采用标准交叉熵损失函数进行优化,输入为全部patch单元图像,以全图对应的图像级病理组织类型为标签,通过标签提供监督信号,引导网络学习到具有判别能力的中间表示,并不是直接输出分类,最终训练完成的模型能够为每个patch生成表达其语义信息的特征向量,对完成预训练的ResNet50模型的卷积层进行冻结,在特异性调整阶段进行解冻;

基于高响应patch单元图像对CFE特征提取网络模块的骨干网络参数进行特异性调整,进行特异性调整具体所依据的逻辑为:以高响应patch单元图像构建以高响应patch单元图像为输入的稀疏训练子集,以高响应patch单元图像对应的图像级病理组织类型为标签,通过端到端的调整训练,更新ResNet50模型参数,所述ResNet50模型的参数具体包括卷积核权重和卷积层的偏置参数。

7.根据权利要求6所述的一种基于CTE-MIL深度学习架构的结直肠癌病理图像分析平台,其特征在于:对确定骨干网络参数的CFE特征提取网络模块进行全监督训练,全监督训练过程中采用交叉熵损失函数作为优化目标,利用Adam优化器进行梯度更新,同时引入图像增强操作,所述图像增强操作具体包括随机旋转、水平翻转和尺度变化。

8.根据权利要求1所述的一种基于CTE-MIL深度学习架构的结直肠癌病理图像分析平台,其特征在于:对输入的特征向量设置具体的注意力得分,其中注意力得分计算所依据的公式为:式中,为第l个特征向量的注意力得分,al和bl分别为第l个高响应patch单元图像,经tanh激活函数处理后的注意力特征和融合门控注意力特征,WC为对已经结合的特征al和bl进行线性变换的权重矩阵,⊙表示逐元素乘法,l为输入特征向量的索引,l∈[1,L],L为输入特征向量的总个数,其中al和bl计算具体所依据的公式为:式中,tanh为tanh激活函数,为第l个高响应patch单元图像通过放缩后的特征向量,σ表示sigmoid函数,Wa和Wb分别为注意力特征和门控输出特征的权重矩阵,其中计算所依据的公式为:式中,ωc为通道注意力权重向量,hl为第l个高响应patch单元图像的特征向量;

基于各特征向量的注意力得分进行特征融合,得到融合特征向量,其中融合特征向量计算所依据的公式为:

式中,z为融合特征向量,softmax为softmax激活函数。