1.一种中文医疗命名实体识别方法,其特征在于,包括以下步骤:步骤1,将用于训练的医疗文本进行字符级切分,得到用于训练的医疗文本切分字符;
将用于识别的医疗文本进行字符级切分得到用于识别的医疗文本切分字符;
步骤2,对用于训练的医疗文本切分字符进行标注,得到用于训练的标注医疗文本,其中,医疗命名实体的开始字符标注为‘B’,医疗命名实体的非开始字符标注为‘I’,不是实体的字符标注为‘O’;
步骤3,使用步骤2得到的用于训练的标注医疗文本对基于注意力机制的语言预处理模型进行训练,得到训练好的基于注意力机制的语言预处理模型;基于注意力机制的语言预处理模型包括依次连接的字嵌入层、位置向量嵌入层和注意力机制层;
步骤3.1,将步骤2得到的用于训练的标注医疗文本以句为单位送入基于注意力机制的语言预处理模型的字嵌入层;字嵌入层使用跳字模型生成每一个字的字向量;跳字模型使用一个中间字预测其周围的字,对于长度为L的医疗文本,文本序列中第 个字表示为 ,最大化给定一随机中心字生成其所有背景字的概率: (1)其中, 表示从文本中的第一个字开始计算概率, 表示对于每一个中心字计算所有与其距离不超过 的背景字的出现概率, 表示窗口大小,表示以 为中心字, 为窗口大小,其各个背景字 的出现概率,式(1)等价于最小化第一损失函数: (2)
其中, 表示对数损失函数;
假设中心字 在文本中索引为 ,背景字 在文本中索引为 ,第一损失函数中给定中心字生成背景字的条件概率通过归一化指数函数 为: (3)其中, 表示索引为 的中心字向量, 表示索引为 的背景字向量, 表示背景字向量的转置, 表示两个向量的点乘, 表示以自然常数e为底数的指数函数;使用随机梯度下降法求解上式中的中心字向量 的梯度: (4)
使用式(4)迭代训练基于注意力机制的语言预处理模型直到第一损失函数值小于第一阈值 ,训练结束后,对于医疗文本中任意一索引为 的字,均得到其作为中心字的向量;
步骤3.2,将字嵌入层生成的字向量送往位置向量嵌入层,位置向量嵌入层使用位置向量表示每个字符的位置关系,并将字向量和位置向量叠加,获取字的新特征向量;位置向量计算公式如公式(5)和公式(6)所示: (5) (6)其中, 为二维矩阵,矩阵的列数和之前生成的字向量维度相同, 的行表示每一个字,列表示每一个字在各维度的位置向量,总列数等于字向量的总维数; 为位置向量的总维度, 表示向量具体的维数, 表示索引为 的字的位置向量在偶数维度的值,使用正弦函数计算; 表示索引为 的字的位置向量在奇数维度的值,使用余弦函数计算;最后将位置向量和字向量相加得到字的新特征向量,如公式(7)所示: (7)其中, 表示索引为 的字的位置向量, 表示任意一索引为 的字作为中心字的字向量, 表示嵌入了位置信息的新特征向量;
步骤3.3,使用注意力机制学习字符间的长距离依赖关系,使字向量包含句中其它所有字的信息;注意力机制层的输出为最终生成字向量,进而完成基于注意力机制的语言预处理模型的训练;
注意力机制计算公式如公式(8)所示:(8)
其中, 表示注意力分数,表示查询向量, 表示键向量, 表示值向量, 表示键向量维数的平方根, 函数为归一化指数函数;
归一化指数函数softmax函数: (9)其中, 表示数组, 表示数组 中的第 个元素, 的值即为数组 中第 个元素的指数与其它所有元素指数和的比值;
步骤4,使用步骤2得到的用于训练的标注医疗文本对医疗实体识别模型进行训练,得到训练好的医疗实体识别模型,医疗实体识别模型包括依次连接的双向门控循环网络层、多头注意力层和条件随机场层;
步骤4 .1,使用双向门控循环网络层对字向量进行双向编码,双向门控循环网络层包括一个正向门控循环网络层和一个反向门控循环网络层,正向门控循环网络层学习后文特征,反向门控循环网络层学习前文特征,从而使生成的向量更好地捕捉前后文语义信息,学习上下文关系;门控循环网络层仅由更新门和重置门组成 ,其中更新门决定过去传递到未来的信息量,重置门决定过去信息的被遗忘量,门控循环网络层计算如公式(10)‑公式(13)所示:
(10) (11) (12) (13)其中, 为更新门在 时刻的输出状态, 为重置门在 时刻的输出状态, 为候选状态, 表示 时刻网络的输出状态, 表示当前时刻的输入状态, 表示上一时刻门控循环网络节点输出的隐藏状态, 表示 函数, 表示激励函数 为训练更新门 的权重参数, 为训练重置门 的权重参数, 为计算候选状态 时所用的权重参数; 表示两个向量相连;更新门 用来控制当前时刻网络的输出状态 中要保留多少历史状态 ,重置门 的作用是决定了候选状态 对上一时刻门控循环网络节点输出的隐藏状态 的依赖程度;
步骤4 .2,使用多头注意力层进一步提取多重语义:多头注意力层实质指进行两次以上的注意力头运算,对于通过双向门控循环网络层的 时刻网络的输出状态 ,首先通过公式(16)进行单头注意力计算: (16)
其中, 表示 个注意力头计算的结果,表示总共有 个注意力头, 为生成查询向量的权重参数, 为生成键向量的权重参数, 为生成值向量的权重参数, 为 维度的调节平滑项, 为归一化指数函数,最后,拼接这 次的计算结果并做一次线性变换,得到对于每一时刻 通过双向门控循环网络层的 时刻网络的输出状态 的多头注意力运算结果,如公式(17)所示:(17)
其中, 表示多头注意力层的计算结果, 为权重参数;
步骤4.3,使用条件随机场层获取最优标签序列:对于输入句子 ,句子标签序列 的打分为:
(18)其中, 表示输入句子x生成标签序列y的打分函数, 为序列长度,为转移得分矩阵, 表示由标签 转移到标签 的转移得分, 和 表示句中起始和终止标签, 表示第 个字被标记为 的概率;归一化得到 标签序列的最大概率,如公式(19):
(19)其中,表示真实的标签序列,表示所有可能标签序列的集合;
使用最大似然估计法求解医疗实体识别模型的最小化第二损失函数,如公式(20): (20)
其中, 表示第二损失函数值,迭代训练医疗实体识别模型直至第二损失函数值小于第二阈值 ,然后,利用维特比算法求得全局最优序列,全局最优序列即为最终医疗领域命名实体识别的标注结果;
最后,根据标签序列识别文本中的医疗命名实体;其中,如果字符标注为(B),则代表其是医疗命名实体的首字符,如果字符标注为(I),则代表其是医疗命名实体的非开始部分,如果字符标注为(O),则代表其不是医疗命名实体;
步骤5,识别时,将用于识别的医疗文本切分字符导入到训练好的基于注意力机制的语言预处理模型中生成字向量;将得到的生成字向量导入训练好的医疗实体识别模型中识别文本中的医疗命名实体。
2.根据权利要求1所述一种中文医疗命名实体识别方法,其特征在于:步骤4 .1中函数值域为(‑1,1),表达式如公式(14)所示: (14)其中, 表示函数的输入。
3.根据权利要求2所述一种中文医疗命名实体识别方法,其特征在于:步骤4 .1中激励函数值域为(‑1,1),表达式如公式(15)所示: (15)。
4.根据权利要求3所述一种中文医疗命名实体识别方法,其特征在于:步骤4.3中利用维特比算法求得全局最优序列,如公式(21)所示: (21)其中, 为集合中使得分函数取得最大值的标签序列。