1.一种轻量化医疗问答系统构建方法,其特征在于,所述方法包括如下步骤:步骤1、基于Transformer模型,对Transformer模型的模编器层数以及注意力头数进行简化,并在模编器输出端插入池化层,得到轻量化Transformer模型,以轻量化Transformer模型作为基础模型,并构建预存答案库,给定训练集,训练集包括覆盖检查、预防、治疗、症状的若干医疗问答对,医疗问答对包括医疗问题以及对应唯一的目标回答;
步骤2、将医疗问题对应唯一的目标回答作为正样本,从训练集中选取与医疗问题具有相关关键词但上下文语义不同的回答作为硬负样本,从训练集中随机选取若干回答作为简单负样本;
步骤3、将训练集输入基础模型,获取问题嵌入向量、正样本嵌入向量、简单负样本嵌入向量以及硬负样本嵌入向量,将正样本嵌入向量、简单负样本嵌入向量以及硬负样本嵌入向量存于预存答案库内;
步骤4、根据问题嵌入向量分别与正样本嵌入向量和简单负样本嵌入向量的相似度构建正样本损失函数,根据问题嵌入向量与硬负样本嵌入向量的相似度构建硬负样本损失函数,将正样本损失函数和硬负样本损失函数加权联合构建联合损失函数;
步骤5、将联合损失函数输入至Adam优化器,设置Adam优化器权重衰减策略和学习策略,以最大化问题嵌入向量与目标回答相似度,以及最小化问题嵌入向量与非目标回答的相似度作为优化目标对基础模型参数进行优化,优化完成后,得到训练后的模型;
步骤6、在训练后的模型输出部分设置临时检索后处理模块,得到轻量化医疗问答系统,并利用轻量化医疗问答系统进行医疗问答;
在所述步骤4中,正样本损失函数关系式如下:
;
其中,表示正样本损失函数,表示问题与目标回答的相似度得分,表示医疗问题,表示医疗问题对应唯一的目标回答,表示问题与目标回答的相似度,表示简单负样本集合,表示问题与简单负样本的相似度,表示正样本和简单负样本的相似度总和,表示温度系数;
硬负样本损失函数关系式如下:
;
其中,表示硬负样本损失函数,表示硬负样本集合,表示问题与硬负样本的相似度,表示正样本和硬负样本的相似度总和,表示温度系数;
将正样本损失函数和硬负样本损失函数加权联合对应的过程存在如下关系式:;
其中,表示正样本损失函数和硬负样本损失函数的加权联合损失函数;
在所述步骤5中,学习策略包括有热身阶段和余弦衰减阶段,其中热身阶段定义为训练步数的前百分之十,且在热身阶段中,学习率从0开始线性增加到预设的最大学习率;在余弦衰减阶段,学习率按余弦函数进行衰减;
热身阶段中,学习率的计算过程存在如下关系式:
;
其中,表示学习率,表示当前训练步数,表示热身阶段的总步数,表示预设的最大学习率;
余弦衰减阶段,学习率的计算过程存在如下关系式:
;
其中,表示预设的最小学习率,表示总训练步数,表示圆周率。
2.根据权利要求1所述的轻量化医疗问答系统构建方法,其特征在于,在所述步骤4中,相似度采用余弦相似度,余弦相似度的计算过程存在如下关系式:;
其中,表示问题和目标回答的余弦相似度,表示问题嵌入向量, 表示目标回答嵌入向量。
3.根据权利要求1所述的轻量化医疗问答系统构建方法,其特征在于,在所述步骤5中,优化目标关系式如下:;
其中,表示模型参数,表示正样本对集合,表示负样本对集合,表示医疗问题,表示给定问题的非目标回答,表示问题与非目标的余弦相似度。
4.根据权利要求1所述的轻量化医疗问答系统构建方法,其特征在于,在所述步骤6中,利用轻量化医疗问答系统进行医疗问答的具体步骤如下:当用户输入一个新的医疗问题时,首先利用训练后的模型生成新的医疗问题的嵌入向量;
计算新的医疗问题的嵌入向量与预先预存答案库内中所有回答嵌入向量之间的相似度得分,得到所有回答的相似度得分;
利用临时检索后处理模块,从新的医疗问题中提取出关键的医疗术语或关键词;
根据所有回答的相似度得分大小筛选前若干个候选回答,再从所述前若干个候选回答中优先返回包含关键词的回答,得到最终的回答。