1.融合词汇类别表征的中文领域文本命名实体识别方法,其特征在于:所述融合词汇类别表征的中文领域文本命名实体识别方法包括如下步骤:Step1、获得基于文本的词向量表示及其对应的类别向量表示;
Step2、获得含有类别信息的融合特征表示;
Step3、将融合特征表示输入Transformer编码器;
Step4、基于交互门控机制进行信息筛选;
Step5、CRF解码生成预测标签。
2.根据权利要求1所述的融合词汇类别表征的中文领域文本命名实体识别方法,其特征在于:所述Step1中,构建了包含词汇类别信息的词典,词典数据来源于搜集的领域文本及数据集的训练集信息,以“词汇,词汇类别”的格式储存;在获得文本中包含的词汇后,根据词典匹配对应的类别并获得Word2vec训练的词向量以及类别向量。
3.根据权利要求1所述的融合词汇类别表征的中文领域文本命名实体识别方法,其特征在于:所述Step1具体包括如下:对于输入的文本序列,分别获取字符向量 匹配的词汇向量 及其类别向量对于字符嵌入,使用在语料上所训练的字符向量来作为字符的初始嵌入;具体做法为:根据训练好的character embedding lookup table,在基于标准分词后的中文语料库Gigaword上使用Word2vec工具训练的嵌入集合;由此将字符xi映射到字符嵌入表示及bigram嵌入表示领域词嵌入使用word2vec进行训练,维度为50,窗口设置为5,最小词频设置为5,共训练5轮;最后得到领域词嵌入索引Ew,将每个词汇yj映射到一个词嵌入表示对于词汇的类别嵌入,构建了一个包含词汇类别的领域词典Lt,以“词汇,词汇类别”的格式储存,构成包含词汇类别信息的领域词典Lt;Lt将词汇yj映射到类别tj,再通过Ew映射到一个嵌入表示tj=Lt(yj) (4)
若词汇没有找到对应的类别,则将其映射为一个固定的随机初始化的嵌入表示。
4.根据权利要求1所述的融合词汇类别表征的中文领域文本命名实体识别方法,其特征在于:所述Step2中,得到类别向量表示后,将其和词向量进行拼接,获得含有类别信息的融合特征表示。
5.根据权利要求1所述的融合词汇类别表征的中文领域文本命名实体识别方法,其特征在于:所述Step2具体包括如下:Step2.1、对于输入的文本序列S={x1,x2,...xm},其中xi表示句子中的字,通过不同的字符跨度匹配文本中的词及其类别向量,将类别表征显式嵌入词向量;模型从序列开头以不同的span与词典Ew中的词汇比对,若有和字符集合相同的词,则将匹配到的词yj放在句子的后面,此时文本序列变成S1={x1,x2,...xn,y1,y2,...ym};
Step2.2、然后,将输入序列中的各个字符xi映射到一个字符嵌入表示 以及一个bigram特征嵌入 将 和 拼接得到融合bigram特征的字符嵌入 此时模型的输入嵌入序列为
其中, 表示向量的拼接运算;
Step2.3、对于文本序列中的词汇yj,将输入序列中的各个词映射到一个词汇嵌入并将各个词映射到一个类别嵌入 随后,将每个词汇的类别向量与词汇向量 拼接得到融合类别表征的词汇向量表示 用e表示嵌入,计算过程如下所示;
Step2.4、最后,将向量 和 通过线性变换变为 dmodel
表示多头注意力维度,此时模型的输入向量序列为
6.根据权利要求1所述的融合词汇类别表征的中文领域文本命名实体识别方法,其特征在于:所述Step3中,获得含有类别信息的融合特征表示后,将融合特征表示输入Transformer编码器,得到融合词以及类别信息的字符特征;采用{B,M,E,O,S}标记方案,其中,B表示实体的起始位置、M表示中间位置、E表示结束位置,O表示没有实体的位置,S表示一个字的实体。
7.根据权利要求1所述的融合词汇类别表征的中文领域文本命名实体识别方法,其特征在于:所述Step3包括如下:给每一个字符和词汇增加了两个位置编码,分别表示该字或词在句子中开始和结束的位置,hi和ti分别表示字符和词汇的头、尾位置坐标,并从四个不同的角度来计算xi和yj的距离,从而得到四个相对距离矩阵 其中 表示xi和yj头坐标之间的距离矩阵, 表示xi的尾坐标和yj头坐标之间的距离矩阵, 表示xi的头坐标和yj尾坐标之间的距离矩阵, 表示xi和yj尾坐标之间的距离矩阵;将这四个距离拼接后作一个非线性变换,得到xi和yj的位置编码向量Rij,具体计算过程如公式8‑10所示;
其中,dmodel表示多头注意力维度,Wr是可学习参数, 表示向量的拼接运算,d表示四个相对位置矩阵,k表示位置编码的维数索引;将得到的输入向量序列Ex与可学习参数矩阵Wq,Wk,Wv相乘得到注意力权重矩阵Q,K,V,再带入公式12、13进行计算;
[Q,K,V]=Ex[Wq,Wk,Wv] (11)Att(Q,K,V)=softmax(A)V (13)其中Wk,E、Wk,R、u、v是可学习参数,A是注意力分数;接下来的计算多头注意力,通过h个不同的线性变换对Q,K,V进行映射,将不同的Attention拼接起来并再做一次线性变换,计算过程如下所示:Multi(Q,K,V)=Concat(head1,...,headh)Wm (14)Q K V
headi=Att(QWi ,KWi ,VWi) (15)Q K V
其中Wm,Wi ,Wi ,Wi 是可学习参数矩阵,h表示注意力头的数量,最后将Multi‑head Attention结果输入到FFN层得到输出的字符特征表示其中zi是Multi‑head Attention层输出的字符向量。
8.根据权利要求1所述的融合词汇类别表征的中文领域文本命名实体识别方法,其特征在于:所述Step4中,获得融合词及类别信息的字符特征后,再进行一次信息增强并基于交互门控机制平衡字符及类别表征的贡献。
9.根据权利要求1所述的融合词汇类别表征的中文领域文本命名实体识别方法,其特征在于:所述Step4包括如下内容:根据每个字符所对应的词汇的类型,将相应的类别表征和编码器输出的字符表征拼接;一个字符所对应的类型有两个以上时,将一个字符xi所对应的多个词汇yj、yj+1...通过计算得到相应的类别表征 将其拼接并通过线性变换得到相应的类别表征再将 和字符表征 拼接,计算公式如下所示;
其中 表示字符所对应词汇的类别表征,Wt、bt是可学习参数,因为不同字符所对应词汇的数量不同,统计句子中字符所对应词汇数量,一个字符所对应的最多词汇的数量为l;
对词汇数量不足l的字符,通过一个固定的随机初始化的向量进行补充,使句子中所有字符向量的维度保持一致;
为了动态平衡字符表征与类别表征的贡献,通过交互门控机制来控制类别表征的占比,门控机制计算公式如下所示;
其中σ表示sigmod函数,⊙表示矩阵元素间乘法,Gi是门控输出,Wg、Ug、bg是可学习参数。
10.根据权利要求1所述的融合词汇类别表征的中文领域文本命名实体识别方法,其特征在于:所述Step5中,将门控输出的字符特征输入CRF模型解码,得到实体标签信息。