1.一种多特征金融领域命名实体识别方法,其特征在于,该方法由两部分构成,第一部分是金融实体边界划分模型,第二部分是金融实体分类模型:(1)金融实体边界划分模型:该模型引入门控机制,可以灵活调整进入多通道注意力模块的样本;将si作为Bert模型的输入序列,假设当前字符cj通过Bert模型学习到的特征表示为hj,将其传递给CRF模型,计算出关于cj的联合标签的条件分布概率p(cj|1,2,...,cj‑1),通过一个规范化熵exp ectation即判断cj的输出是否符合预期,计算公式如下:这里,N表示所有序列标签的个数;
(2)金融实体分类模型:将分词结果作为预训练语言模型的输入,此时,原来的句子si由实体和一般单词{w1,w2,...,ws}组成,同时,为了更好的解决金融领域实体表达的多样性问题,将si以单词Mask为单位输入进预训练语言模型的同时,也把si所在的文档D以单词为单位作为BiLSTM层的输入,并通过attention层来计算当前单词wj和文档中其他单词的相关性,以计算出wj的全局特征表示
2.根据权利要求1所述的多特征金融领域命名实体识别方法,其特征在于,所述金融实体边界划分模型的多通道注意力机制如下:定义1doorthreshhold为是否需要将字符cj交给多通道注意力模型的阈值,如果expectaion(cj)>doorthreshold则CRF模型得出的结果即是预期结果,否则将cj通过Bert得到的特征表示hj交给多通道注意力机制;
对于一些复杂的金融实体来说,首先以目标字符cj为单位在字典Ν中通过n‑gram匹配
1 2 n
得到词语组集合{phrases ,phrases ,...,phrases },将n设置成词典中词语的最大长度,l对于空词语组phrases所对应的注意力通道,采取Mask的方式将其掩盖住不参与计算,则多通道注意力机制可简化为:k
这里, 为每个非空词语组phrases 所包含的词语, 是词语 的特征
k
表示,d表示词语组phrases 中所包含的词语个数,然后得到关于字符cj的新的特征表示W表示训练权重,之后,就将得到的新的特征表示交给CRF模型来预测标签。
3.根据权利要求1所述的多特征金融领域命名实体识别方法,其特征在于,所述金融实体分类模型中首先对文本进行了预处理,仅保留对文档中与当前句子si更加相关的句子参与计算,然后引入BiLSTM层和attention层,将si以单词为单位输入BERT模型的同时,也把si所在的文档D以单词为单位作为BiLSTM层的输入,并通过attention层来计算当前单词wj和文档中其他单词的相关性,以计算出wj的全局特征表示
4.根据权利要求3所述的多特征金融领域命名实体识别方法,其特征在于,文本预处理采用无监督方法来自动提取文档中与si相关的句子,利用TextRank是将文本中的每个句子分别看做一个节点,如果两个句子有相似性,那么认为这两个句子对应的节点之间存在一条无向有权边,计算句子si在文本中权重的公式如下:这里d表示阻尼系数,In()和Out()表示的是指向该句子的句子集合以及从该句子出发达到别的句子的集合,wji表示的是句子si和sj的相似权重,之后,先采用皮尔森相关系数来代替原来方法中的相似性,如果两个句子之间有相关性,那么认为两个句子对应的节点之间有一条边,边上权重为两个句子的皮尔森系数值,关于句子si的相关图构造完成之后,来计算图中句子sj与当前句子si的相关分数score(sj),表示句子si的特征表示,cov()表示协方差,σ()表示标准差,对相关图中句子按照分数进行排序,选取其中的top k个句子作为si密切相关的句子,构成集合S={s1,s2,...,si,...,sk+1},将这些句子以单词为单位即{w1,w2,...,wN}作为BiLSTM的输入,设当前单词为句子si中的单词wj,则可得到关于wj的特征表示h'j:h'j=BiLSTM(S)。
5.根据权利要求4所述的多特征金融领域命名实体识别方法,其特征在于,金融实体分类模型中的所得到的特征h'j作为Attention层的输入,利用Attention层来计算当前单词wj与集合S中其他单词wd(d=1,2,...,j‑1,j+1,...,N)的相关性,该Attention权重值bjd可表示为:T
f(wj,wd)=(h'j) Wah'd
此时,可以得出单词wj基于文档层面的一个全局特征表示
单词wj由Attention层得到的输出 可表示为:
将该特征与wj通过预训练语言模型得到的特征表示 组合在一起,得到关于单词wj的新的特征表示将 传递给上层的CRF作为输入,输出最后的分类结果。