欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022105755093
申请人: 华侨大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种融合词汇和句法信息的中文命名实体识别方法,其特征在于,包括:步骤1、将原始输入文本映射为字向量,使用改进后的词集匹配算法引入外部词汇信息,并整合在每个字的输入表示中;

步骤2、根据字的输入表示,利用双向LSTM抽取上下文信息;

步骤3、使用NLP工具从原始输入文本中获取词性标签和句法成分,并且使用健值记忆网络构造句法向量,再通过门控机制对上下文向量与句法向量进行加权融合,获得特征向量;

步骤4、将特征向量输入标签预测层的CRF中,实现中文命名实体识别。

2.根据权利要求1所述的融合词汇和句法信息的中文命名实体识别方法,其特征在于,所述步骤1,具体包括:步骤1.1,将输入的文本视为一个句子,用序列表示为x=(x1,x2,..,xn);其中,xi表示在长度为n的句子x中第i个字;为了更好的利用词汇信息,将每个字匹配字典的结果分为如下“BIES”四个词集:(1)词集B(xi)包含所有在x上以xi开头的词语;

(2)词集I(xi)包含所有在x上xi为中间的词语;

(3)词集E(xi)包含所有在x以xi为结尾的词语;

(4)词集S(xi)包含所有xi为单字的词语;

步骤1.2,得到每个字对应的“BIES”词集后,将每个词集压缩为一个固定维数的向量;

改进的词集匹配算法包含静态词集算法和动态词集算法,静态词集算法为了保证计算效率,使用词语出现的频率来代表对应的权重,单个词集的静态词集向量计算方法如下:其中, 表示词 在语料库中出现的次数; 表示词集T出现词语的总次数;

表示将词语 映射为词向量;T表示“BIES”四个词集中的一个; 表示字xi对应词集T的向量表示;

为了更好的保留信息,将四个静态词集表示为一个整体,通过拼接整合成一个固定维度的向量:其中,τi表示字xi对应的静态词集向量;

动态词集算法使用注意力机制来衡量字符和匹配词之间的信息,计算不同匹配词的注意力权重,增强有用的词汇并抑制作用不明显的词汇,如下:其中, 表示将词语 映射为词向量;q是与 维度相同的训练向量; 为通过注意力机制得到的词语注意力分数; 为归一化后的词语注意力权重; 表示单个词集的动态词集向量;m表示字xi对应词集T匹配到的词语个数;

通过注意力权重进行加权求和得到动态词集向量,将四个动态词集表示为一个整体并压缩为一个固定维度的向量:其中,Aτi表示为字xi对应的动态词集向量;

步骤1.3,为了充分考虑两个词集中每个词语的重要性,对对动态词集向量 和静态词集向量 动态加权组合;使用评估函数θi来衡量静态词集向量 和动态词集向量 对实体识别任务的作用:θi=σ(Wθ1.τi+Wθ2.Aτi+bθ)

其中,Wθ1、Wθ2是可训练矩阵;bθ是偏置项;

将字向量、静态词集向量τi和动态词集向量Aτi组合在一起,作为最终包含外部词汇信息的输入表示:x

其中,表示字xi的最终向量表示;l是向量维度与 匹配的1向量;e表示将字xi转为对应的字向量;*表示点乘计算;表示向量拼接。

3.根据权利要求2所述的融合词汇和句法信息的中文命名实体识别方法,其特征在于,所述步骤2,具体包括:序列编码层采用双向LSTM来获取每个字的上下文向量,所述双向LSTM为前向LSTM和反向LSTM的结合;使用 表示i时刻前向LSTM的隐藏层状态,使用 表示i时刻反向LSTM的隐藏层状态;通过拼接相对应的前向和反向LSTM状态,获得最终的上下文向量

4.根据权利要求3所述的融合词汇和句法信息的中文命名实体识别方法,其特征在于,所述步骤3,具体包括:步骤3.1,使用Stanford CoreNLP工具对原始文本进行分词,并使用Berkely Neural Parse工具抽取输入文本的词性标签和句法成分信息两种句法信息;其中词性标签表示单个字的标签信息,句法成分表示文本跨度的结构分组信息;

步骤3.2,对于输入序列中的每个xi,将它的上下文特征和句法信息映射到键值记忆网络KVMN中的键和值上,分别表示为Ki=[ki,1,...ki,j,...,ki,mi]和Vi=[vi,1,...vi,j,...vi,mi];

步骤3.3,使用两个嵌入矩阵将ki,j和vi,j分别映射到 和 上,对于每个xi关联的上下文特征Ki和句法信息Vi,分配给句法信息的权重γij为:T

其中,hi是xi从序列编码层中获得的隐藏向量;hi是hi的转置形式;

将权重γi,j应用到对应的句法信息vi,j上,如下:其中,αi为KVMN模型对应xi的加权句法信息;因此,KVMN可以保证语法信息根据其对应的上下文特征进行加权,从而对重要信息进行区分和使用;

步骤3.4,为了更好的利用KVMN编码过的句法信息,对句法向量αi和上下文向量hi动态加权组合,使用评估函数λi来衡量上下文向量hi和句法向量αi对句子的贡献:λi=σ(Wλ1.hi+Wλ2.αi+bλ)

其中,Wλ1和Wλ2是可训练矩阵;bλ是偏置项;σ表示sigmoid激活函数;

再将句法向量αi和上下文向量hi组合在一起:

其中,l是向量维度与hi匹配的1向量,而最后得到的Oi就是融合了上下文信息和句法信息的特征向量。

5.根据权利要求4所述的融合词汇和句法信息的中文命名实体识别方法,其特征在于,所述步骤4,具体包括:对于输入序列x=(x1,x2,..,xn),给定预测序列y=(y1,y2,y3,...,yn),计算得出预测序列的得分,如下:其中,M是转移矩阵, 表示从标签yi到标签yi+1的转移分数; 表示句子中第i个字的第yi'个标签的概率得分;y0和yn+1分别表示开始和结束标签;n表示输入序列的长度;

使用softmax函数来计算预测序列y产生的概率p(y|x),如下:其中,Yx为解空间,表示y所有的可能预测序列的集合;是整个序列标注解空间的一个实例, 表示该实例的得分;

在训练过程中,最大化正确预测序列的似然概率log(p(x,y)),如下:*

经过不断的迭代训练、反向传播后,得到的y就是利用CRF序列标注的结果,即最后模型的输出:训练过程不断最大化目标函数

6.一种融合词汇和句法信息的中文命名实体识别系统,其特征在于,包括:输入表示获取模块,用于将原始输入文本映射为字向量,使用改进后的词集匹配算法引入外部词汇信息,并整合在每个字的输入表示中;

上下文向量获取模块,用于根据字的输入表示,利用双向LSTM抽取上下文信息;

上下文信息和句法信息融合模块,用于使用NLP工具从原始输入文本中获取词性标签和句法成分,并且使用健值记忆网络构造句法向量,再通过门控机制对上下文向量与句法向量进行加权融合,获得特征向量;

序列标注模块,用于将特征向量输入标签预测层的CRF中,实现中文命名实体识别。