欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025114772585
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种相似性报告提示跨模态增强医学报告自动生成方法,其特征在于,构建并训练自动生成网络,自动生成网络包括图像特征提取模块、文本特征编码模块、跨模态特征融合模块、动态提示生成模块和报告生成模块;收到原始医学图像和对应文本报告后,自动生成网络执行以下步骤:步骤1、图像特征提取模块采用稠密连接卷积网络DenseNet作为主干网络,对于收到的医学图像,图像特征提取模提取其多尺度视觉特征,输出高层语义图像特征;

步骤2、文本特征编码模块基于预训练好的多模态模型CLIP;收到文本报告,文本特征编码模块的文本编码器依次进行分词处理和特征转换,得到相应文本特征;

在训练阶段,用于训练的医学图像已有对应的报告;

在测试阶段,对于用于测试的医学图像采用动态提示生成模块选取相似病例,并将相似病例对应的文本报告的文本特征加权融合,输出得到动态提示向量,使用动态提示向量替代对应报告;

步骤3、将步骤1所得图像特征和步骤2所得文本特征送入跨模态特征融合模块,跨模态特征融合模块通过计算注意力权重来动态融合对齐两种模态的特征,输出得到融合特征向量;所述跨模态特征融合模块基于CMN记忆模块,包括中间记忆矩阵、跨模态注意力单元和特征融合层,中间记忆矩阵的计算步骤如下:步骤(1)、先进行记忆查询,先输入图像特征、文本序列和记忆矩阵;将和与记忆矩阵中的向量转换到统一空间:,,;

其中为可学习的线性投影矩阵,用于将视觉特征和文本特征映射到统一的查询空间,表示记忆键向量,表示视觉查询向量,表示文本查询向量,是指共享的中间记忆矩阵,表示图像区域特征,是指文本词嵌入;

然后计算每个query与记忆向量的相似度:

;

是指视觉相似度,是指文本相似度,是指视觉查询向量,是指文本查询向量,是指记忆键向量,d是指特征维度;并按照距离选出前K个最相关的记忆矩阵,最后对相似度进行softmax归一化,作为注意力权重、;

步骤(2)、记忆响应先对选出的记忆向量做一次线性变换,变换公式为:;

然后利用前面得到的权重对记忆向量加权求和,公式如下:

,;

最终,将响应向量和分别送入编码器encoder和解码器decoder中,与原始特征结合使用以生成报告;

步骤4、将所得融合特征向量和自回归生成的未结束的报告共同输入CMN后得到增强的特征;

步骤5、将步骤4所得增强后的特征输入报告生成模块,报告生成模块基于Transformer解码器,输出基于自然语言的诊断报告文本。

2.根据权利要求1所述的相似性报告提示跨模态增强医学报告自动生成方法,其特征在于,所述图像特征提取模块包括密集块DenseBlock和过渡层TransitionLayer,所述密集块DenseBlock保留原始输入特征,形成多尺度特征组合,所述过渡层TransitionLayer抑制密集块DenseBlock输出的通道膨胀。

3.根据权利要求1所述的相似性报告提示跨模态增强医学报告自动生成方法,其特征在于,文本特征编码模块基于预训练好的多模态模型CLIP,包括词嵌入层、文本编码器和图像编码器;

训练阶段,文本编码器提取医学图像所对应的文本报告的文本特征;

测试阶段,先计算当前测试医学图像与训练数据中医学图像的余弦相似度,选取相似度较高的K个训练医学图像,即选取Top-K相似样本,然后将这K个医学图像对应的文本报告的文本特征,按相似度进行加权融合,得到动态提示向量。

4.根据权利要求3所述的相似性报告提示跨模态增强医学报告自动生成方法,其特征在于,获得动态提示向量过程中,余弦相似度的计算公式如下:;

上式中,是指测试图像的高层语义图像特征,是指训练数据中第i个医学图像的高层语义图像特征;是指向量点积运算;是指向量的L2范数;

得到各个余弦相似度后,选取Top-K相似样本,按相似度加权融合文本特征,得到动态提示向量:;

上式中,是指第j张相似的训练医学图像对应的文本报告的文本特征;指第j个文本特征的归一化权重,是指第j张相似的训练医学图像的相似度得分。

5.根据权利要求1所述的相似性报告提示跨模态增强医学报告自动生成方法,其特征在于,所述跨模态注意力单元实现模态间的动态语义对齐与信息筛选;特征拼接层实现多源异构特征的深度融合与信息保留;所述中间记忆矩阵存储跨模态关联信息,映射图像特征与文本特征,计算公式如下:;

上式中,Q是指查询矩阵,K和V分别是指键矩阵和值矩阵,是指特征向量的维度,Softmax()是指按行归一化的指数函数。

6.根据权利要求1所述的相似性报告提示跨模态增强医学报告自动生成方法,其特征在于,所述报告生成模块基于Transformer解码器,具体工作方法为:将当前生成的文本序列输入CMN记忆模块,CMN模块通过中间记忆矩阵与图像特征交互,生成增强后的特征,将增强后的特征输入Transformer解码器,在交叉注意力层中对齐图像记忆与临床摘要特征,通过中间记忆矩阵检索相关医学术语,基于综合上下文预测下一个词的概率分布,将新词加入生成序列并更新隐藏状态以保留历史信息,输入CMN记忆模块进行交互,然后通过交叉注意力查看图像记忆,将图像特征和文本特征对齐, 接着,从中间记忆矩阵中检索相关医学术语,基于综合上下文预测下一个词的概率分布,最后,将新词加入生成序列,更新隐藏状态保留生成历史。