欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021116083555
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种命名实体识别方法,包括:

提取待识别文本中的特征,得到特征向量序列;

对所述特征向量序列进行全局置信度评价,确定全局标签置信度集合序列,作为全局识别结果,其中,所述全局标签置信度集合序列包括至少一个全局标签置信度集合,所述至少一个全局标签置信度集合与所述至少一个字符一一对应;

对所述特征向量序列进行局部置信度评价,确定局部标签置信度集合序列,作为局部识别结果,其中,所述局部标签置信度集合序列包括至少一个局部标签置信度集合,所述至少一个局部标签置信度集合与所述至少一个字符一一对应;

针对所述待识别文本中的每个字符,从所述全局标签置信度集合序列中确定与所述字符相匹配的全局标签置信度集合,其中,所述全局标签置信度集合包括多个全局标签置信度,所述多个全局标签置信度与多个命名实体类别一一对应;

针对所述待识别文本中的每个字符,从所述局部标签置信度集合序列中确定与所述字符相匹配的局部标签置信度集合,其中,所述局部标签置信度集合包括多个局部标签置信度,所述多个局部标签置信度与所述多个命名实体类别一一对应;

针对所述多个命名实体类别中的每个命名实体类别,为与所述命名实体类别相对应的局部标签置信度和与所述命名实体类别相对应的全局标签置信度分别配置不同的权重,加权求和,确定标签置信度,得到标签置信度集合;

针对所述待识别文本中的每个字符,从所述标签置信度集合中确定目标标签置信度:以及

基于所述待识别文本中的每个字符的目标标签置信度,确定所述命名实体标签序列,其中,所述命名实体标签序列包括至少一个命名实体标签,所述待识别文本包括至少一个字符,所述至少一个命名实体标签与所述至少一个字符一一对应,所述命名实体标签用于表征所述字符是否为命名实体。

2.根据权利要求1所述的方法,还包括:

基于所述命名实体标签序列,从所述待识别文本中确定第一实体集合;

基于预定命名实体匹配规则,从所述待识别文本中确定第二实体集合;以及基于所述第一实体集合和所述第二实体集合,确定目标实体集合。

3.一种命名实体识别模型的训练方法,包括:

将训练样本的样本文本输入至初始命名实体识别模型中,得到样本标签置信度集合序列,其中,所述训练样本包括所述样本文本和所述样本文本的待确认样本标注结果序列;所述样本文本包括至少一个样本字符,所述待确认样本标注结果序列包括至少一个待确认样本标注结果,所述至少一个样本字符与所述至少一个待确认样本标注结果一一对应;

基于所述待确认样本标注结果序列和所述样本标签置信度集合序列,确定目标样本标注结果序列;

基于所述样本标签置信度集合序列,确定样本命名实体标签序列;以及

基于所述目标样本标注结果序列和所述样本命名实体标签序列,调整所述初始命名实体识别模型的参数,得到所述命名实体识别模型;

其中,所述将训练样本的样本文本输入至初始命名实体识别模型中,得到样本标签置信度集合序列包括:将所述样本文本输入至初始命名实体识别模型的初始特征提取模块,得到样本特征向量序列,其中,所述初始命名实体识别模型包括所述初始特征提取模块、初始全局置信度评价模块和初始局部置信度评价模块;

利用所述初始全局置信评价模块处理所述样本特征向量序列,得到全局样本标签置信度集合序列,其中,所述全局样本标签置信度集合序列包括至少一个全局样本标签置信度集合,所述至少一个全局样本标签置信度集合与所述至少一个样本字符一一对应;

利用所述初始局部置信度评价模块处理所述样本特征向量序列,得到局部样本标签置信度集合序列,其中,所述局部样本标签置信度集合序列包括至少一个局部样本标签置信度集合,所述至少一个局部样本标签置信度集合与所述至少一个样本字符一一对应;

针对所述样本文本中的每个样本字符,从所述全局样本标签置信度集合序列中确定与所述样本字符相匹配的全局样本标签置信度集合,其中,所述全局样本标签置信度集合包括多个全局样本标签置信度,所述多个全局样本标签置信度与多个命名实体类别一一对应;

针对所述样本文本中的每个样本字符,从所述局部样本标签置信度集合序列中确定与所述样本字符相匹配的局部样本标签置信度集合,其中,所述局部样本标签置信度集合包括多个局部样本标签置信度,所述多个局部样本标签置信度与所述多个命名实体类别一一对应;

针对所述至少一个样本字符中的每个样本字符,为与所述命名实体类别相对应的所述全局样本标签置信度和与所述命名实体类别相对应的所述局部样本标签置信度分别配置不同的权重,加权求和,确定样本标签置信度,得到样本标签置信度集合序列,其中,所述样本标签置信度集合序列可以包括至少一个样本标签置信度集合,所述至少一个样本标签置信度集合与所述至少一个样本字符一一对应。

4.一种命名实体识别装置,包括:

提取模块,用于提取待识别文本中的特征,得到特征向量序列;

全局识别模块,用于对所述特征向量序列进行全局命名实体识别,得到全局识别结果;

其中,所述全局识别模块包括:

全局识别单元,用于对所述特征向量序列进行全局置信度评价,确定全局标签置信度集合序列,作为所述全局识别结果,其中,所述全局标签置信度集合序列包括至少一个全局标签置信度集合,所述至少一个全局标签置信度集合与所述至少一个字符一一对应;

局部识别模块,用于对所述特征向量序列进行局部命名实体识别,得到局部识别结果;

其中,所述局部识别模块包括:

局部识别单元,用于对所述特征向量序列进行局部置信度评价,确定局部标签置信度集合序列,作为所述局部识别结果,其中,所述局部标签置信度集合序列包括至少一个局部标签置信度集合,所述至少一个局部标签置信度集合与所述至少一个字符一一对应;以及结果确定模块,用于基于所述全局识别结果和局部识别结果,确定所述待识别文本的命名实体标签序列,其中,所述命名实体标签序列包括至少一个命名实体标签,所述待识别文本包括至少一个字符,所述至少一个命名实体标签与所述至少一个字符一一对应,所述命名实体标签用于表征所述字符是否为命名实体;

其中,所述结果确定模块包括:

第一确定单元,用于针对所述待识别文本中的每个字符,从所述全局标签置信度集合序列中确定与所述字符相匹配的全局标签置信度集合,其中,所述全局标签置信度集合包括多个全局标签置信度,所述多个全局标签置信度与多个命名实体类别一一对应;

第二确定单元,用于针对所述待识别文本中的每个字符,从所述局部标签置信度集合序列中确定与所述字符相匹配的局部标签置信度集合,其中,所述局部标签置信度集合包括多个局部标签置信度,所述多个局部标签置信度与所述多个命名实体类别一一对应;

第三确定单元,用于针对所述多个命名实体类别中的每个命名实体类别,为与所述命名实体类别相对应的局部标签置信度和与所述命名实体类别相对应的全局标签置信度分别配置不同的权重,加权求和,确定标签置信度,得到标签置信度集合;

第四确定单元,用于针对所述待识别文本中的每个字符,从所述标签置信度集合中确定目标标签置信度;以及第五确定单元,用于基于所述待识别文本中的每个字符的目标标签置信度,确定所述命名实体标签序列。

5.根据权利要求4所述的装置,还包括:

第一集合确定模块,用于基于所述命名实体标签序列,从所述待识别文本中确定第一实体集合;

第二集合确定模块,用于基于预定命名实体匹配规则,从所述待识别文本中确定第二实体集合;以及目标集合确定模块,用于基于所述第一实体集合和所述第二实体集合,确定目标实体集合。

6.一种命名实体识别模型的训练装置,包括:

训练模块,用于

将训练样本的样本文本输入至初始命名实体识别模型中,得到样本标签置信度集合序列,其中,所述训练样本包括所述样本文本和所述样本文本的待确认样本标注结果序列;所述样本文本包括至少一个样本字符,所述待确认样本标注结果序列包括至少一个待确认样本标注结果,所述至少一个样本字符与所述至少一个待确认样本标注结果一一对应;

基于所述待确认样本标注结果序列和所述样本标签置信度集合序列,确定目标样本标注结果序列;

基于所述样本标签置信度集合序列,确定样本命名实体标签序列;以及

基于所述目标样本标注结果序列和所述样本命名实体标签序列,调整所述初始命名实体识别模型的参数,得到所述命名实体识别模型;

其中,所述将训练样本的样本文本输入至初始命名实体识别模型中,得到样本标签置信度集合序列包括:将所述样本文本输入至初始命名实体识别模型的初始特征提取模块,得到样本特征向量序列,其中,所述初始命名实体识别模型包括所述初始特征提取模块、初始全局置信度评价模块和初始局部置信度评价模块;

利用所述初始全局置信评价模块处理所述样本特征向量序列,得到全局样本标签置信度集合序列,其中,所述全局样本标签置信度集合序列包括至少一个全局样本标签置信度集合,所述至少一个全局样本标签置信度集合与所述至少一个样本字符一一对应;

利用所述初始局部置信度评价模块处理所述样本特征向量序列,得到局部样本标签置信度集合序列,其中,所述局部样本标签置信度集合序列包括至少一个局部样本标签置信度集合,所述至少一个局部样本标签置信度集合与所述至少一个样本字符一一对应;

针对所述样本文本中的每个样本字符,从所述全局样本标签置信度集合序列中确定与所述样本字符相匹配的全局样本标签置信度集合,其中,所述全局样本标签置信度集合包括多个全局样本标签置信度,所述多个全局样本标签置信度与多个命名实体类别一一对应;

针对所述样本文本中的每个样本字符,从所述局部样本标签置信度集合序列中确定与所述样本字符相匹配的局部样本标签置信度集合,其中,所述局部样本标签置信度集合包括多个局部样本标签置信度,所述多个局部样本标签置信度与所述多个命名实体类别一一对应;

针对所述至少一个样本字符中的每个样本字符,为与所述命名实体类别相对应的所述全局样本标签置信度和与所述命名实体类别相对应的所述局部样本标签置信度分别配置不同的权重,加权求和,确定样本标签置信度,得到样本标签置信度集合序列,其中,所述样本标签置信度集合序列可以包括至少一个样本标签置信度集合,所述至少一个样本标签置信度集合与所述至少一个样本字符一一对应

7.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1或2所述的命名实体识别方法或权利要求3所述的命名实体识别模型的训练方法。

8.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1或2所述的命名实体识别方法或权利要求3所述的命名实体识别模型的训练方法。