欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023116084824
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种医疗命名实体识别方法,其特征是,包括:对待识别的医疗文本进行数据预处理,得到待识别数据集;

将所述待识别数据集输入预先获取的命名实体识别模型,得到根据医疗实体类型区分的识别结果;

其中,所述命名实体识别模型的获取方法包括:

对获取到的医疗文本进行数据预处理,得到标记有医疗实体类型的数据集;

从所述数据集中选择出训练样本集;

将所述训练样本集中已标记医疗实体类型的数据输入预先设计的教师模型,得到初始化后的教师模型;

将所述训练样本集中未标记医疗实体类型的数据输入初始化后的教师模型,得到未标记字的伪标签;

对所述未标记字的伪标签进行选择,得到选择出的正伪标签和负伪标签;

利用所述正伪标签和负伪标签及其对应的标记数据训练预先设计的学生模型,得到所述命名实体识别模型;

将所述命名实体识别模型训练后的参数传递给所述初始化后的教师模型并利用已标记医疗实体类型的数据对接受该参数的教师模型进行微调。

2.根据权利要求1所述的医疗命名实体识别方法,其特征是,所述对获取到的医疗文本进行数据预处理,得到标注有医疗实体类型的数据集,包括:对所述医疗文本中的句子进行拆分,得到拆分后的单句;

将所述拆分后的单句与预设的句长阈值max_length‑2进行比较,对句长超过max_length‑2的单句进行截断并用符号[PAD]对句长不足max_length‑2的单句进行补充,并在所述句长一致的单句句首置符号[CLS],句尾置符号[SEP],得到句长一致的单句;

定义医疗实体类型;

将所述句长一致的单句中的字标注为B‑X或I‑X或O,得到标注有医疗实体类型的识别数据集,其中,B‑X表示此元素所在的片段属于X类型并且此元素在此片段的开头,I‑X表示此元素所在的片段属于X类型并且此元素在此片段的中间位置,O表示不属于任何类型,X类型表示定义的医疗实体类型之一。

3.根据权利要求2所述的医疗命名实体识别方法,其特征是,所述预先设计的教师模型和预先设计的学生模型结构相同,分别包括:领域BERT,变分BiLSTM及Softmax层;所述领域BERT的输出数据为变分BiLSTM的输入数据,所述变分BiLSTM的输出数据为Softmax层的输入数据,其中BERT为基于Transformer的双向编码器表示技术、BiLSTM为双向长短期记忆网络。

4.根据权利要求3所述的医疗命名实体识别方法,其特征是,所述将所述训练样本集中已标记医疗实体类型的数据输入预先设计的教师模型,得到初始化后的教师模型,包括:将所述数据集中已标记医疗实体类型的数据放入初始BERT中进行训练得到医疗领域BERT;

基于所述医疗领域BERT获得字嵌入;

引入部首特征,将部首嵌入与所述字嵌入结合得到融合嵌入xt,其中,t表示当前时刻;

利用变分BiLSTM对所述融合嵌入xt进行特征提取,得到所述已标记医疗实体类型的数据中标记字的特征向量 ,所述特征向量ht的计算公式为:;

其中, 代表矩阵乘积,gt、ot分别代表单元门和输出门,且维度均为 ; 代表ht的维度,ct代表存储当前时刻t及其前面所有时刻的混合信息;

所述混合信息ct的计算公式为:

;

其中, 代表哈达玛积,it、ft分别代表输入门和遗忘门,且维度均为 ;ct‑1代表存储上一时刻t‑1及其前面所有时刻的混合信息;

所述输入门it,遗忘门ft,输出门ot以及单元门gt的计算公式为:;

i f o g

其中,W 、W 、W 、W均为维度为 的权重矩阵, 代表融合嵌入xt的i f o g

维度,b、b、b、b 均为维度为 的偏差;

所述标记字的特征向量ht通过Softmax层,得到标记字的标签概率分布;

基于所述标签概率分布得到输出标签,所述输出标签 的计算公式为:;

定义所述已标记医疗实体类型的数据 ,其中N为已标记医疗实体类型的数据中的句子个数,Xi代表已标记医疗实体类型的数据中的第i个句子,Yi代表已标记医疗实体类型的数据中第i个句子的标签序列, ,其中xij表示已标记医疗实体类型的数据中第i个句子中的第j个字, 表示已标记医疗实体类型的数据中第i个句子的长度;

基于输出标签 和标记数据DL,通过交叉熵损失函数L对教师模型进行初始化训练,得到所述教师模型的初始化目标,公式为:;

tea

其中, 为输出标签yij的概率, 表示教师模型,θ 表示教师模型的参数。

5.根据权利要求4所述的医疗命名实体识别方法,其特征是,所述将所述训练样本集中未标记医疗实体类型的数据输入初始化后的教师模型,得到未标记字的伪标签,包括:将所述未标记医疗实体类型的数据输入初始化后的教师模型中,通过MC‑dropout对所述未标记医疗实体类型的数据中未标记字的标签概率分布进行预测,预测公式如下:;

其中,pij为未标记医疗实体类型的数据中第i个句子的第j个字的标签概率分布,K为采样次数,hij为未标记医疗实体类型的数据中第i个句子的第j个字经过变分BiLSTM后的特征向量,Wk为模型权重,且Wk~q(W),q(W)是dropout分布;

基于预测的未标记字的标签概率分布获取所述伪标签。

6.根据权利要求5所述的医疗命名实体识别方法,其特征是,所述对所述未标记字的伪标签进行选择,得到选择出的正伪标签和负伪标签,包括:利用标签选择策略中的不确定性估计和置信度预测对所述未标记字的标签进行选择,得到正伪标签和负伪标签,其中,所述正伪标签的含义为很可能预测正确的标签,每个字最多只有一个正伪标签,所述负伪标签的含义为很可能预测错误的标签,每个字可有多个负伪标签;

所述正伪标签为不确定性和置信度满足条件uij<βp,且max(pij)>αp,所述负伪标签为不c确定性和置信度满足条件uij<βn,且pij>αn,其中,uij为未标记医疗实体类型的数据中第i个c句子的第j个字的不确定性值,pij代表未标记医疗实体类型的数据中第i个句子的第j个字预测为第c类标签的概率,βp、αp分别为正伪标签在不确定性和置信度方面的阈值且αp>0.5,βn、αn分别为负伪标签在不确定性和置信度方面的阈值;

所述标签选择策略中的不确定性估计的计算公式为:;

其中,H(·)代表熵计算,c代表预测标签中的第c类标签,C代表所有预测标签的总数。

7.根据权利要求6所述的医疗命名实体识别方法,其特征是,将所述正伪标签和负伪标签及其对应的标记数据输入预先设计的学生模型,得到所述命名实体识别模型,包括:通过交叉熵损失函数L对所述正伪标签对应标记的样本数据进行训练,得到正伪标签标记数据的训练目标,公式为:;

P *

其中,Lij表示未标记医疗实体类型的数据中第i个句子的第j个字xij的正伪标签的损失值, 表示未标记医疗实体类型的医疗实体类型的数据中第i个句子的* stu *

第j个字的正伪标签yij的概率, 表示学生模型,θ 表示学生模型的参数,xij表示已标记医疗实体类型的数据中第i个句子中的第j个字;

通过交叉熵损失函数L对所述负伪标签对应标记的样本数据进行训练,得到负伪标签标记数据的训练目标,公式为:;

N *

其中,Lij表示未标记医疗实体类型的数据中第i个句子的第j个字xij的负伪标签的平均损失值, 表示未标记医疗实体类型的数据中第i个句子的第j个字被c c c c c

预测为第c个标签yij的概率,Sij∈{0, 1},当yij为负伪标签时,Sij=1,反之,当yij不是负c *伪标签时,Sij=0,mij为未标记医疗实体类型的数据中第i个句子的第j个字x ij的负伪标签数量;

定义已标记医疗实体类型的数据 ,其中M为已标记医疗实体类* *

型的数据中的句子个数,Xi代表未标记医疗实体类型的数据中的第i个句子,Y i代表未标记医疗实体类型的数据中第i个句子的标签序列, ,其中, 表示已标记医疗实体类型的数据中第i个句子的长度;

基于所述已标记医疗实体类型的数据DU和所述正伪标签标记数据的训练目标以及负伪标签标记数据的训练目标,得到所述学生模型总训练目标,公式为:;

其中,MP为正伪标签数量,MN为负伪标签数量。

8.根据权利要求7所述的医疗命名实体识别方法,其特征是,方法还包括:从所述数据集中选择出测试集,将所述测试集输入每n轮训练以及最后一轮训练生成的命名实体识别模型,并通过计算命名实体识别模型的识别结果精确率P,召回率R以及综合性能指标F1值,得到最佳命名实体识别模型,其中:计算命名实体识别模型的识别结果精确率P,召回率R以及综合性能指标F1值,计算公式为:;

;

;

其中,TP、FP、FN分别为真正例,假正例和假反例的个数,精确率P指识别正确的实体数与识别出实体总数的比值,召回率R指正确识别的实体数与实体总数的比值,当出现精确率和召回率冲突的问题时,利用F1对P值和R值综合考虑;

将第n轮模型的性能与第2n轮模型的性能评价指标值进行对比,得到性能更优模型,若第n轮性能优于第2n轮性能,则保存第n轮模型,若第n轮性能劣于第2n轮性能,则保存第2n轮模型;

将最后一轮模型的性能与上一性能更优模型的性能评价指标进行对比,得到所述最佳命名实体识别模型。

9.一种医疗命名实体识别装置,其特征是,包括:数据预处理模块,用于对待识别的医疗文本进行数据预处理,得到待识别数据集;

数据识别模块,用于将所述待识别数据集输入预先获取的命名实体识别模型,得到根据医疗实体类型区分的识别结果;

命名实体识别模型获取模块,用于获取所述命名实体识别模型,所述命名实体识别模型的获取方法包括:对获取到的医疗文本进行数据预处理,得到标记有医疗实体类型的数据集;

从所述数据集中选择出训练样本集;

将所述训练样本集中已标记医疗实体类型的数据输入预先设计的教师模型,得到初始化后的教师模型;

将所述训练样本集中未标记医疗实体类型的数据输入初始化后的教师模型,得到未标记字的伪标签;

对所述未标记字的伪标签进行选择,得到选择出的正伪标签和负伪标签;

利用所述正伪标签和负伪标签及其对应的标记数据训练预先设计的学生模型,得到所述命名实体识别模型;

将所述命名实体识别模型训练后的参数传递给所述初始化后的教师模型并利用已标记医疗实体类型的数据对接受该参数的教师模型进行微调。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时,实现如权利要求1‑8中任一项所述的医疗命名实体识别方法。