1.一种自适应医疗视觉问答方法,其特征在于,包括如下步骤:步骤S100:通过图到链医疗推理模块从医学图像中提取核心实体并生成知识链提示;
步骤S200:通过医学知识增强混合模块融合医学图像与文本特征,生成语义增强的混合图像;
步骤S300:基于增强后的数据集训练多模态大型语言模型,通过联合损失函数优化模型参数,得到医疗视觉问答模型;
步骤S400:将医学图像与问题文本输入医疗视觉问答模型,输出答案及对应的视觉解释;
在步骤S200中,生成语义增强的混合图像,包括如下步骤:步骤S201:将医学图像和划分为个非重叠的图像块,提取视觉特征和,其中;
步骤S202:计算各个图像块与文本特征的语义相关性得分,表达式如下:;
其中,和表示语义相关性得分,为文本嵌入,表示拼接操作,为多层感知机;
步骤S203:根据语义相关性得分裁剪医学图像的高相关性区域并替换医学图像的低相关性区域,生成混合图像。
2.根据权利要求1所述的自适应医疗视觉问答方法,其特征在于,在步骤S100中,生成知识链提示,包括如下步骤:步骤S101:利用结构化提示驱动医学图像分析,提取核心实体集合其中,为实体总数,集合中的每个元素分别代表一个医学实体;
步骤S102:从知识图谱中检索与相关的实体及关系,生成知识链,其中,为路径长度,代表实体间关系。
3.根据权利要求2所述的自适应医疗视觉问答方法,其特征在于,在步骤S102中,从知识图谱中检索与相关的实体及关系,过程如下:构建知识图谱的实体关系矩阵 表示实体与实体间的关系为,为关系类型总数;
通过注意力机制计算实体状态转移权重,其表达式为:;
其中, 表示在第步推理中第个实体到第 个实体的状态转移权重,为关系的得分,为指示函数,当 时指示函数的值为1,否则为0;
迭代更新实体状态,最终聚合得到,其中,表示推理步数,为步骤注意力权重,为总推理步数。
4.根据权利要求3所述的自适应医疗视觉问答方法,其特征在于,在步骤S100中,所述知识图谱为PrimeKG,所述知识链生成过程中,通过路径评分机制筛选Top-K候选实体;
路径评分为路径内关系得分的平均值,表达式如下:;
其中,为路径长度,根据路径评分排序,最终生成与输入查询最相关的知识链。
5.根据权利要求4所述的自适应医疗视觉问答方法,其特征在于,在步骤S203中,替换图像区域为:满足,即当坐标位于医学图像的最大相关性区域时,其余区域保留的原始内容,裁剪区域的大小由超参数控制,卷积核尺寸的表达式为,和为图像高度与宽度,为分块尺寸。
6.根据权利要求5所述的自适应医疗视觉问答方法,其特征在于,在步骤S300中,联合损失函数 的表达式如下:;
;
;
其中,和为权重系数, 为答案序列的总词元数,表示第 个样本答案序列中的第个词元, 表示模型预测目标词元 为下一个输出词元的条件概率,表示第个样本的医学图像, 从开始到当前时刻的问题词元序列, 为开始到前一时刻生成的答案词元序列,表示第个样本的医学图像中第个视觉特征;表示对应的视觉解释标注;为模型参数,为视觉解释元素总数,表示文本生成损失,表示视觉对齐损失。
7.根据权利要求6所述的自适应医疗视觉问答方法,其特征在于,在步骤S300中,增强后的数据集的生成过程如下:将知识链序列化为文本形式,并与原始问题拼接为增强输入,格式为:;
其中,为实体增强后的问题,为视觉解释,表示生成的知识链,表示与该增强输入对应的目标答案文本,为分隔符。
8.一种计算机设备,其特征在于,包括存储器和处理器;
所述存储器用于存储可在处理器上运行的计 算机程序;
所述处理器用于执行所述计算机程序时实现权利要求1至7中任一项所述的自适应医疗视觉问答方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的自适应医疗视觉问答方法的步骤。