欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022103486143
申请人: 山西大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多粒度实体异构图的篇章级事件抽取装置,其特征在于:包括编码器模块、句子级实体抽取模块、段落级实体抽取模块、多粒度融合模块、异构图构建模块、事件检测模块和论元识别模块;

所述编码器模块包括句子级编码器和段落级编码器,分别用于对篇章中的句子粒度和段落粒度的文本进行编码,得到句子和段落中每个字或词的语义化向量化表示;

所述句子级实体抽取模块是从句子粒度的文本中提取实体;

所述段落级实体抽取模块是从段落粒度的文本中提取实体;

所述多粒度融合模块是对来自句子和段落粒度的实体按照规则进行融合;

所述异构图构建模块是通过定义的规则,将句子与实体之间进行连接,并基于图卷积网络产生跨句之间的信息交互,获得具有全文感知的句子和实体的向量化表示;

所述事件检测模块是基于具有全文感知的句子的向量化表示进行多个二分类,以判断某一事件是否被触发;

所述论元识别模块是以路径扩展的方式在候选实体集中识别论元。

2.一种基于多粒度实体异构图的篇章级事件抽取方法,其特征在于:包括以下步骤:步骤1:通过编码器模块中两个独立的编码器分别对篇章中的句子和段落文本进行编码,得到句子和段落中每个字或词的语义化向量化表示;

步骤2:利用所述句子级实体抽取模块,基于步骤1得到的句子的语义化向量化表示以提取句子中的实体;

步骤3:利用所述段落级实体抽取模块,基于步骤1得到的段落的语义化向量化表示以提取段落中的实体;

步骤4:利用所述多粒度融合模块对来自步骤2和步骤3的两种粒度的实体进行融合;

步骤5:利用所述异构图构建模块,基于定义的规则,建立句子与实体之间的连接,并基于图卷积网络建立跨句的信息交互,获得具有篇章级上下文感知的句子和实体的向量化表示;

步骤6:利用所述事件检测模块,基于步骤5获得的具有篇章级上下文感知的句子的向量化表示进行多次分类,以检测文中触发的事件类型;

步骤7:利用所述论元识别模块识别每个事件的论元,获得每个事件的论元,得到最终的结构化事件,完成篇章级事件抽取。

3.根据权利要求2所述的一种基于多粒度实体异构图的篇章级事件抽取方法,其特征在于:所述步骤1的具体操作为,采用Transformer作为编码器进行编码,计算公式如下所示:{t1,t2,...,ti,...,tn}=Transformer({w1,w2,...,wi,...,wn})其中,n为篇章中的句子数量,wi表示句子中第i个token,也为Transformer编码器模型的输入, 表示第i个句子编码后的向量化表示,这里S表示输入的序列长度,为

128;D表示隐藏层的维度,为1024;按照上述公式逐个对篇章的每句话进行编码;

同时,使用动态滑动窗口的方式从句子s1开始构造一个段落 该段落中的token序列 其长度小于或等于预先设置的最大长

度M,其中m为 中token的个数,随后窗口向后滑动产生下一个段落,这样就将一个文章划分成K个段落P={p1,...,pK},然后,使用训练语言模型RoBERTa编码每个段落中的字或词,具体公式如下所示:inputi=[CLS]+Ti+[SEP]

x=RoBERTa_wwm_ext(inputi)

其中,Ti为篇章中第i个段落中的文本,长度为510,[CLS]表示开始位置,[SEP]表示分隔符,inputi表示RoBERTa模型的输入, 表示段落文本的向量化表示,d表示隐藏层维度,base版本是768,large版本为1024。

4.根据权利要求2所述的一种基于多粒度实体异构图的篇章级事件抽取方法,其特征在于:所述步骤2提取句子中实体的具体操作为,将每个句子的向量化表示经过全连接层FFN进行多标签分类,并使用条件随机场中的Viterbi算法来解码具有最大概率的标签序列,计算公式如下所示:T=FFN({t1,t2,...,ti,...,tn})

Zsent=Viterbi(T)

其中, 表示每个字或词属于每一个类别的概率,numtag为分类的标签个数, 表示句子实体抽取最终得到的标签序列;

所述步骤3提取段落中实体的具体操作为,先使用BiLSTM辅助模型更好地理解上下文,再将每个段落的向量化表示经过全连接层FFN进行多标签分类得到每一个token的属于每个标签的概率序列;最后使用条件随机场中的Viterbi算法来解码具有最大概率的标签序列来;具体计算公式如下所示:g=BiLSTM(x)

Score=FFN(g)

Zpara=Viterbi(Score)

其中, 为x经过T层BiLSTM后的向量化表示, 表示g经

过全连接层FFN求得的分数, 表示段落实体抽取最终得到的标签序列。

5.根据权利要求2所述的一种基于多粒度实体异构图的篇章级事件抽取方法,其特征在于:所述步骤4中对来自句子和段落两种粒度的实体进行融合的规则为:①选择两种粒度的实体集中共同存在的实体;②选择仅在段落级实体集中存在的实体;③选择仅在句子级中的某一句存在,且该句所在的段落中的其他句子中也存在的实体。

6.根据权利要求2所述的一种基于多粒度实体异构图的篇章级事件抽取方法,其特征在于:所述步骤5的具体操作为,异构图是由实体节点和句子节点构成;对于实体节点,由于一个实体节点e可能包含多个token,因此使用平均池化策略来获得该实体节点的初始化表示;同样地,对于一个句子节点,对该句中的token使用最大池化策略并加上该句的位置编码得到该句子节点初始化表示;具体公式如下所示:he=MeanPooling({ti}i∈e)

其中,he为实体节点e的初始化表示, 为句子节点si的初始化表示;

在构建边时,采用如下的规则构成四种类型的边:①所有句子节点进行连边;②句子节点与该句内的实体节点之间进行连边;③同一句子中的所有实体节点连边;④不同句子中的同一个实体提及连边;

在构建异构图后,通过L层的GCN进行信息的传递,对于一个第l层的节点u,通过如下公式更新其表示:l

其中,W是可学习到的参数,σ为激活函数, 表示节点u的邻居节点,cu,v为归一化常数, 为l层中节点u的向量表示, 为l+1层中节点u的向量表示,v表示 集合中的一个节点;

随后通过将每层的节点u表示拼接起来,通过可学习到的参数Wa进行线性变换获得节点u的最终表示:最后,再次使用最大池化策略将相同的实体提及嵌入合并到单个嵌入中:ei=MeanPooling({hj}j∈Mention(i)),其中Mention(i)表示第i个实体提及的集合,hj表示集合中第j个实体的提及的向量表示,ei表是第i个实体最终向量表示;

在这个阶段后,获得了具有篇章级上下文感知的实体的向量化表示

和句子的向量化表示 其中Ns为句子的个数,Ne为不同实体提

及的个数,dm表示隐藏层的维度。

7.根据权利要求2所述的一种基于多粒度实体异构图的篇章级事件抽取方法,其特征在于:所述步骤6的具体操作为,基于句子特征矩阵S,利用多头注意力机制进一步挖掘句子对事件的感知程度;经过在S上进行多头注意力的计算后,将计算的结果输入到C个分类器中进行二分类以判断每个事件类型r是否被触发;其中,C为事件类型的个数,具体公式如下所示:A=MultiHead(Q,S,S)

rt=FFN(A)

R=Concat(r1,...,rC)

其中, 为可训练得到的参数, 为每个事件类型的分数。

8.根据权利要求2所述的一种基于多粒度实体异构图的篇章级事件抽取方法,其特征在于,所述步骤7的具体操作为:对于每种事件类型,预先定义事件角色的顺序;然后,从第一个角色开始逐步进行扩展,其中每个扩展的节点要么是实体,要么是空节点;在扩展的每一步,将其形式化为二分类的问题,即判断每个实体是否要进行扩展;由于事件角色可能存在多个符合条件的实体,在节点拓展时或许会产生多个分支;这样,每个路径都可以看作一个事件的论元集;对于一条由实体序列组成的事件论元路径,将路径中的实体拼接得到该路径的表示 其中Ei1和 均表示路径中的实体的向量表示;随后使用LSTM对其进行编码并加上事件类型的嵌入转换为向量Gi后将其存储进全局存储器中;在识别其它事件第J个角色的论元时,对每个实体通过加入角色名嵌入来获得该实体新的表示 其中RoleJ指第J个角色名的嵌入;随后,将实体嵌入 句子特征S,当前的路径 和全局存储器G拼接后输入到Transformer中获得新的实体特征矩阵 其中ε表示实体的数量,具体公式如下所不:其中 和 分别为 S,Uj和G经过Transformer后得到的新的表示;将路径扩展视为多个二分类问题,即对 中的每一个实体 进行分类来判断是否进行路径扩展。

9.一种电子设备,其特征在于:包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求2~8任一项所述的一种基于多粒度实体异构图的篇章级事件抽取方法。

10.一种非暂态计算机可读存储介质,其特征在于:所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求2~8任一项所述的一种基于多粒度实体异构图的篇章级事件抽取方法。