1.一种基于知识图谱的医学视觉问答方法,其特征在于,所述方法包括:获取用户输入的问题信息,所述问题信息包括图像信息和文本信息;
通过图像识别模型从所述图像信息中提取图像实体特征,通过自然语言识别模型从所述文本信息中提取文本实体特征和提问意图;
将所述图像实体特征与预先构建的知识图谱中的医学实体进行匹配,得到第一匹配结果;
将所述文本实体特征与预先构建的知识图谱中医学实体的扩展信息进行匹配,得到第二匹配结果;
基于第一匹配结果和第二匹配结果确定与所述问题信息对应的医学实体;
根据所述提问意图和确定的医学实体得到对应所述问题信息的医学回答。
2.根据权利要求1所述的基于知识图谱的医学视觉问答方法,其特征在于,所述知识图谱的构建方法具体包括:获取医学图像数据,对图像进行标注;
获取医学文本数据,对医学文本数据中的医学实体进行标注,并根据标注建立医学实体与医学图像数据的关联关系;
从医学文本数据中抽取医学实体及其关系;
根据医学实体所关联的医学图像数据以及在医学文本数据中的上下文为每个医学实体添加扩展信息。
3.根据权利要求2所述的基于知识图谱的医学视觉问答方法,其特征在于,所述根据医学实体所关联的医学图像数据以及在医学文本数据中的上下文为每个医学实体添加扩展信息的步骤,具体包括:根据医学实体在医学文本数据中的上下文确定医学文本数据所对应的当前语境;
得到医学实体在当前语境中的扩展词语,所述扩展词语包括同义词、反义词、关联医学实体中的至少一个;
将所述扩展词语作为医学实体的扩展信息进行添加。
4.根据权利要求3所述的基于知识图谱的医学视觉问答方法,其特征在于,所述将所述图像实体特征与预先构建的知识图谱中的医学实体进行匹配,得到第一匹配结果的步骤,具体包括:将所述图像实体特征与知识图谱中各个医学实体的嵌入向量分别进行实体相似度计算;
根据计算结果,选择实体相似度大于预设的第一相似度阈值的多个医学实体;
将所选择的多个医学实体按实体相似度排序作为第一匹配结果。
5.根据权利要求4所述的基于知识图谱的医学视觉问答方法,其特征在于,所述将所述文本实体特征与预先构建的知识图谱中医学实体的扩展信息进行匹配,得到第二匹配结果的步骤,具体包括:分别获取第一匹配结果中每个医学实体的扩展信息;
将所述文本实体特征依次与每个医学实体的扩展信息分别进行信息相似度计算;
根据信息相似度计算结果,将多个医学实体按信息相似度排序作为第二匹配结果。
6.根据权利要求5所述的基于知识图谱的医学视觉问答方法,其特征在于,所述基于第一匹配结果和第二匹配结果确定与所述问题信息对应的医学实体的步骤,具体包括:根据所述第二匹配结果的排序顺序,按照预设的修正权重比例得到对所述第一匹配结果的相似度修正值;
在所述第一匹配结果的基础上针对每个医学实体的实体相似度,分别叠加所述相似度修正值进行修正;
将修正后实体相似度最高的医学实体作为与所述问题信息对应的医学实体。
7.根据权利要求6中所述的基于知识图谱的医学视觉问答方法,其特征在于,所述基于第一匹配结果和第二匹配结果确定与所述问题信息对应的医学实体的步骤,具体还包括:如果修正后的实体相似度均小于预设的第二相似度阈值,则根据所述文本实体特征生成引导提示;
获取用户基于所述引导提示输入的补充文本信息;
从所述补充文本信息中提取补充文本特征;
将所述补充文本特征与所述第一匹配结果中每个医学实体的扩展信息进行匹配,得到第三匹配结果;
通过所述第三匹配结果对所述第一匹配结果中每个医学实体的实体相似度进行补充修正。
8.根据权利要求6所述的基于知识图谱的医学视觉问答方法,其特征在于,所述基于第一匹配结果和第二匹配结果确定与所述问题信息对应的医学实体的步骤,具体还包括:获取用户的病例信息;
从病例信息中提取病例实体特征;
将病例实体特征与所述第一匹配结果中每个医学实体的扩展信息进行匹配,得到第四匹配结果;
通过所述第四匹配结果对所述第一匹配结果中每个医学实体的实体相似度进行补充修正。
9.根据权利要求1所述的基于知识图谱的医学视觉问答方法,其特征在于,所述通过图像识别模型从所述图像信息中提取图像实体特征的步骤,具体包括:当通过图像识别模型从所述图像信息中提取的图像实体特征有多个时,根据所述图像实体特征生成确认提示;
获取用户基于所述确认提示输入的确认信息;
根据所述确认信息从多个图像实体特征中筛选出用户所确认的图像实体特征。
10.一种基于知识图谱的医学视觉问答系统,其特征在于,包括:信息获取单元,用于获取用户输入的问题信息,所述问题信息包括图像信息和文本信息;
特征提取单元,用于通过图像识别模型从所述图像信息中提取图像实体特征,通过自然语言识别模型从所述文本信息中提取文本实体特征和提问意图;
特征匹配单元,用于将所述图像实体特征与预先构建的知识图谱中的医学实体进行匹配,得到第一匹配结果;
所述特征匹配单元,还用于将所述文本实体特征与预先构建的知识图谱中医学实体的扩展信息进行匹配,得到第二匹配结果;
实体确认单元,用于基于第一匹配结果和第二匹配结果确定与所述问题信息对应的医学实体;
回答生成单元,用于根据所述提问意图和确定的医学实体得到对应所述问题信息的医学回答。