欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024100208535
申请人: 吉林大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于视觉自注意力的胸部多疾病诊断模型的构建方法,其特征在于,包括以下步骤:步骤1、数据集划分:

对于ChestX‑ray14数据集,在原有官方数据集分割方式的基础上,对数据集进行重新划分,将具有多张X光片图像的患者的X光片图像按拍摄时间排序,取出最早拍摄的X光片图像中的疾病信息作为患者过往病史信息,同时保证同一患者样本在训练、验证和测试三集中互不交叉;

步骤2、元数据处理:

元数据包含患者年龄、性别、X光片图像拍摄方位以及过往病史,使用one‑hot编码和离散数字编码将所有收集的元数据编码为相同长度特征向量;

步骤3、模型构建:

构建基于视觉自注意力和多层感知器的联合网络模型,所述联合网络模型包括图像特征提取子网络和元数据特征提取子网络;

图像特征提取子网络基于视觉自注意力模型构建,元数据特征提取子网络基于多层感知器构建,分别用于对图像和元数据进行特征提取,将其输出特征融合,生成模型最终的分类特征向量,送入分类器,得到疾病诊断和分类结果;

步骤4、网络的训练:

使用步骤1和步骤2中得到的数据集,对联合网络模型进行训练,生成联合网络模型;

步骤5、使用步骤1和步骤2中得到的测试集对步骤4中生成的联合网络模型进行测试;

在所述步骤2中,患者元数据的编码方式如下:

根据性别不同,将男性和女性分别编码0和1,根据X光片图像拍摄方位分别编码0和1,将患者年龄通过归一化操作从[1,97]转换到[0,1]的范围内;患者过往病史信息采用一个

15维向量编码,前14个维度分别对应数据集中的14种疾病,若患者曾患有某种疾病则编码为1,否则编码为0;若患者不曾患有过14种疾病中的任何一种,则第15维标记为1,表示健康,否则标记为0,基于以上编码规则,为每张胸部X光片图像构建维度为18的元数据向量;

在所述步骤3中,图像特征提取子网络的输入是胸部X光图像,用于学习图像特征,并获得编码的图像特征序列;元数据特征提取子网络的输入是步骤2中得到的元数据向量,学习每个编码特征的权重,提取元数据特征;图像特征提取子网络与元数据特征提取子网络各自的输出特征融合,生成模型最终的分类特征向量,送入分类器进行最终的诊断和分类;

在图像特征提取子网络中,X光片图像首先按滑动窗口的分割方式被划分为大小相同的图像块,然后通过线性变换映射到向量空间中,用于供编码器进行训练;

为了捕获图像块之间的相对位置关系,向每个图像块的向量中额外添加一个位置向量编码,构成最终的输入序列,随后的编码器由11个堆叠的Transformer编码模块构成,每个Transformer编码模块包括一个多头自注意力层、归一化处理层和全连接层,元数据特征提取子网络包括两个全连接层,每个全连接层之后均连接有激活函数和归一化层,图像特征提取子网络与元数据特征提取子网络提取的特征在最后一个维度上进行拼接,完成图像特征与元数据特征的融合;

所述步骤4包括以下具体步骤:

设置初始学习率为0.001,batchsize为16,损失函数为交叉熵损失函数,优化器为Adam优化器,设置训练epoch为100,设置学习率衰减策略,学习率的值根据训练次数的增加呈阶梯式下降,每训练一轮,便进行一次验证,当验证集测试效果达到收敛时,停止训练。

2.根据权利要求1所述的基于视觉自注意力的胸部多疾病诊断模型的构建方法,其特征在于,所述步骤5的具体步骤为:使用步骤1和步骤2中得到的测试集,对训练好的联合网络模型进行测试,获得其对于

14种胸部常见疾病的分类结果,并计算每种疾病的AUC比值。