欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023106442103
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于对比学习多模态的弱监督胃癌组织病理图像分类方法,其特征在于,包括:

S1、采集胃癌患者组织病理图像和对应的临床结构化数据;

S2、对组织病理图像和临床结构化数据进行预处理,获得不同放大倍数下的组织病理图像子图块及对应的预处理临床结构化数据;

S3、将不同放大倍数下的组织病理图像子图块分别输入特征提取模型进行对比学习训练,得到不同预设放大倍数组织病理图像的特征提取模型权重;

S4、将S3得到的权重导入到特征提取模型中,得到不同预设放大倍数下的组织病理图像特征提取器;将不同放大倍数下的组织病理图像子图块输入到特征提取器中,输出对应的组织病理图像子图块特征表示;同时,将预处理临床结构化数据输入到自定义的多层感知机中,得到与组织病理图像子图块特征表示同一维度的临床结构化数据特征表示;

S5、将S4输出的组织病理图像子图块特征表示和一一对应的临床结构化数据特征表示划分为训练集、验证集和测试集;

S6、将S5的训练集数据输入多模态融合模型进行训练,之后使用S5的验证集对每一批次训练得到的模型性能进行验证,并保存最好在验证集上取得最好的指标的多模态融合模型的参数作为最终分类模型的权重;最终,在S5的测试集上验证保存的模型性能;

对每张组织病理切片进行预处理包括:剔除不匹配数据、使用滑动窗口切分成预设尺寸的子图块、丢弃空白子图块和进行染色标准化处理;

所述多模态融合模型由多实例聚合模块、张量融合模块、分类器三个模块组成;将不同预设放大倍数下的组织病理图像子图块特征表示进行拼接后生成实例级嵌入;并通过多实例聚合模块由实例级特征生成包级特征嵌入;通过张量融合模块把实例级嵌入、包级特征嵌入和临床结构化数据特征表示进行多模态融合,输出多模态融合向量;最后通过由全连接层组成的分类器输出生存状态预测结果;

所述张量融合模块,用于将临床结构化数据特征表示、实例级嵌入和包级特征嵌入用1将单模态维度扩充到同一维度,然后对各自模态求克罗内克积得到多模态融合向量。

2.根据权利要求1所述的基于对比学习多模态的弱监督胃癌组织病理图像分类方法,其特征在于,对每张组织病理图像进行预处理具体为:依据临床结构化数据的生存标签信息,将没有生存状态信息、没有总生存期信息、生存状态为0且总生存期未超过y年、生存状态为1且总生存期大于y年的组织病理图像剔除;

对组织病理图像在两种不同预设放大倍数下的图片使用滑动窗口裁剪为预设尺寸的子图块,并且过滤掉空白背景超过第一预设阈值的子图块;将所有的子图块进行颜色标准化,上面操作完成后,将剪裁后的子图块按对应的组织病理图像单独保存。

3.根据权利要求1所述的基于对比学习多模态的弱监督胃癌组织病理图像分类方法,其特征在于,对临床结构化数据进行预处理包括:挑选与患者生存相关的属性、去除不匹配数据、对临床结构化数据中连续的数据进行离散化后进行独热编码;其中,临床结构化数据包括属性特征、生存标签。

4.根据权利要求1所述的基于对比学习多模态的弱监督胃癌组织病理图像分类方法,其特征在于,所述多层感知机自定义具体为:多层感知机由三个全连接层组成,分别有128、256、512个节点,使用ReLU激活函数。

5.根据权利要求1所述的基于对比学习多模态的弱监督胃癌组织病理图像分类方法,其特征在于,所述多实例聚合模块,用于将子图块实例级嵌入中的所有实例级特征经过最大池化得到评分最高的关键实例特征pkey,将每个实例特征pf分解为一个查询向量qf和值向量vf;分别表示为:qf=Wa*pf,vf=Wv*pf,f=1,…,n,其中Wa和Wv都是一个权重矩阵;之后使用类似于自注意力机制的方法计算关键实例特征与每个实例特征之间的注意力得分;将得到的注意力得分Score作为权重对每个值向量vf加权,并将所有实例特征的加权信息向量进行相加,形成了包级特征嵌入。

6.根据权利要求5所述的基于对比学习多模态的弱监督胃癌组织病理图像分类方法,其特征在于,所述类似于自注意力机制的方法表达式为:其中,<*,*>表示两个特征向量的内积。

7.一种基于对比学习多模态的弱监督胃癌组织病理图像分类系统,其特征在于:包括权利要求1-6中任意一项所述方法的模块。