欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022114064997
申请人: 山西大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于双图的层次特征融合的文档级命名实体识别方法,其特征在于,所述方法包括以下步骤:步骤1,将文档数据利用不同的方法分别得到字符向量表示和词向量表示;

步骤2,通过双向长短期记忆网络获取词的上下文信息表示;

步骤3,根据文档结构分别构建词级图和句子级图;

步骤4,根据不同的图节点更新策略对构建的双图进行更新,分别获得融合文档全局信息的词节点向量表示和句子节点向量表示;

步骤5,融合句子节点和词节点的信息,生成具有多个层次文档特征的词向量表示;

步骤6,根据序列标注的原理,首先通过双向长短期记忆网络对融合后的词向量进行编码,充分获取文档信息,然后使用条件随机场获得最佳的标签序列,完成文档级命名实体识别任务;

所述步骤4的具体过程为:

步骤4.1,相邻句子之间存在关系的概率较大,因此句子级图采用图卷积神经网络更新节点,图卷积神经网络可以通过聚合邻居节点更新节点信息,对于第l层句子节点,第l+1层句子节点更新方式定义为:(5)

式(5)中为句子级图的邻接矩阵,为第l层可训练的参数,表示sigmoid函数,是一种非线性激活函数;

步骤4.2,由于相同的实体可能出现在文档的任何位置,需要词节点学习远距离的节点信息,因此词级图通过重复混合不同距离的邻居节点特征表示学习远距离节点信息,对于第l层词节点,第l+1层词节点更新方式定义为:(6)

(7)

(8)

(9)

式(6)-(8)中表示词级图的邻接矩阵,表示两个词级图的邻接矩阵相乘,表示三个词级图的邻接矩阵相乘,为第l层可训练的参数,表示更新后的一阶词节点矩阵表示,表示更新后的二阶词节点矩阵表示,表示更新后的三阶词节点矩阵表示。

2.根据权利要求1所述的一种基于双图的层次特征融合的文档级命名实体识别方法,其特征在于,所述步骤1的具体过程为:步骤1.1,根据给定的词向量嵌入表进行查找,获得第i个词向量表示;

步骤1.2,根据卷积神经网络获取第i个词的各个字符向量表示,对字符向量表示进行最大池化操作获取该词的字符特征,得到第i个词的字符向量表示;

步骤1.3,对步骤1.1和1.2得到的词向量表示和字符向量表示进行拼接,得到最终的词向量表示,可以表示为:(1)

式(1)中的[,]符号表示两个向量的拼接操作。

3.根据权利要求1所述的一种基于双图的层次特征融合的文档级命名实体识别方法,其特征在于,所述步骤2的具体过程为:将步骤S1得到的词向量表示作为双向长短期记忆网络的输入,获得第i个词的上下文表示,可以表示为:(2)

式(2)中的表示正向的长短期记忆网络,表示反向的长短期记忆网络。

4.根据权利要求1所述的一种基于双图的层次特征融合的文档级命名实体识别方法,其特征在于,所述步骤3的具体过程为:步骤3.1,将每个词作为一个节点构建词级图,构建边的规则:(1)相邻词之间构建一条边;(2)为了利用文档的共指信息,相同的两个词之间构建一条边;每个图节点的初始向量表示采用步骤2中双向长短期记忆网络的输出进行表示,将所有的词节点向量表示按行构成矩阵,可以表示为:(3)

式(3)中下标q表示文档中词的数量;

步骤3.2,将每个句子作为一个节点构建句子级图,相邻句子之间构建一条边,对每个句子包含的所有词向量表示进行平均得到每个句子节点的向量表示,所有句子节点向量表示按行构成矩阵,可以表示为:(4)

式(5)中下标m为文档中句子的数量,表示文档中的第一句包含的所有词的集合。

5.根据权利要求1所述的一种基于双图的层次特征融合的文档级命名实体识别方法,其特征在于,所述步骤5的具体过程为:将更新后的词节点向量表示和该词所在的句子节点向量表示进行拼接,获得全局文档信息表示,可以表示为:(10)

式(10)中、分别表示更新后的单个句子节点向量表示和单个词节点向量表示。

6.根据权利要求1所述的一种基于双图的层次特征融合的文档级命名实体识别方法,其特征在于,所述步骤6的具体过程为:步骤6.1,为了充分利用文档语义信息,通过双向长短期记忆网络对进行编码得到,可以表示为:(11)

步骤6.2,条件随机场是一种无向图模型,能够学习到训练数据中与标签有关的约束条件,提高命名实体识别的准确度,在CRF模块中,输出分数最高的标签序列作为预测标签序列,对于给定序列,其预测的标签序列,标签序列的得分被定义为:(12)

式(12)中是条件转移矩阵,表示从标签转移到标签的概率,是双向长短期记忆网络计算输出的初始得分矩阵,表示第i个标签是的概率,表示可训练的参数。