1.一种端到端的多任务联合篇章级事件抽取方法,其特征在于:所述方法的具体步骤如下:步骤1:使用预训练语言模型对文本进行编码,得到每个句子的特征表示,然后经过线性变换获取事件检测特征、实体识别特征、事件论元识别特征三组特征分别作为事件检测、实体识别和事件论元识别三个模块的输入;
步骤2:在事件检测模块中,将事件检测看作多分类任务,使用从预训练语言模型获取具有上下文语义信息的词,并筛选出对某种事件类型来说贡献最大的词作为伪触发词,来完成无触发词的事件检测;同时,通过回归的方式对每种类型的事件数量做出预测;另外,对于多个事件来说,针对每个事件及每种事件类型选出得分最高的词作为伪触发词,作为论元识别的最终的伪触发词特征;
步骤3:在实体识别模块中,利用片段打分方式识别文档中的实体作为候选论元;
步骤4:在事件论元识别模块中,将候选论元特征与最终的伪触发词特征融合,采用多标签分类方法,预测事件论元及论元角色的关系;
步骤5:将事件检测、实体识别、事件论元识别三个模块通过现有的多任务联合学习方式进行联合优化训练,用训练好的模型实现端到端的篇章级事件抽取;
所述步骤1中包含以下步骤:
步骤1.1:对输入的文档d进行分句预处理操作,得到n个句子的文档:;
使用预训练语言模型PLM分词器对句子进行分词处理,每个句子表示为:;
其中,n代表文档的句子数,l代表句子切分项token的数量, 代表token的特征维度;
步骤1.2:将文档的n个句子经过预训练语言模型PLM编码后,得到每个句子的向量序列:;
于是文档表示为: ,其中, ;
然后,针对事件检测模块、实体识别模块、事件论元识别模块,对句子向量进行三组线性变换,分别得到事件检测特征 、实体识别特征 、事件论元识别特征 :事件检测特征: ;
实体识别特征: ;
论元识别特征: ;
其中, 代表进行线性变换后的新的token特征维度;
所述步骤2中包含以下步骤:
步骤2.1:在事件检测模块中,将得到的事件检测特征 再次进行两个线性变换得到两组特征: 和 :;
;
其中, 代表进行两个线性变换后的新的token特征维度; 用作事件类型和事件数量的预测, 用作伪触发词的识别;token代表句子切分项;
步骤2.2:将 中所有句子的隐状态拼成一个长序列 , ,其中,N代表文档中的token数;
步骤2.3:将 通过层归一化和线性层后得到文档中所有token对于每种事件类型的分数:;
其中,N代表文档中的token数,m代表事件类型数;步骤2.4:对于事件类型的预测,将事件类型的预测看作多分类任务,对于每一种事件类型取文档中所有token对于每种事件类型的分数最大的值作为对应事件类型的得分:;
对文档的事件类型标签 ]和所得事件类型得分 ,采用交叉熵损失计算事件类型损失 :;
均分别表示事件类型标签中的其中一个事件类型;
步骤2.5:对于事件数量的预测,将其看作回归任务,对每一种事件类型,将文档中所有token对于每种事件类型的分数经过sigmoid激活函数后取和作为每类事件的事件数量:;
对文档的每种事件类型对应的事件数量标签 和所得每类事件的事件数量 ,采用均方误差损失计算事件数量损失 :; 均分别表示事件类型
分别对应的事件数量;
步骤2.6:对于伪触发词的识别,认为对于每种事件类型来说贡献最大的token就是触发词;所以,首先针对文档中不定的k个事件和m种事件类型,从步骤2.3所得的文档中所有token对于每种事件类型的分数中,选出k组得分最高的token及其索引:;
然后通过索引,从 找到伪触发词的特征 ,其中 ;
步骤2.7:为了后续计算,将伪触发词的特征 进行维度变换得到最终的伪触发词的特征 :;
其中,代表事件数量;
所述步骤3中包含以下步骤:
步骤3.1:在实体识别模块中,首先对步骤1所得实体识别特征 进行线性变换得到 和 :
;
;
Q作为实体片段头部特征,K作为实体片段尾部特征, 表示Q中的元素,表示K中的元素,n代表文档的句子数,l代表句子切分项token的数量, 代表进行线性变换后的新的token特征维度;
步骤3.2:接着,采用内积的方式,为文档中每一种可能的实体片段进行打分: ;
得到文档中所有片段的得分 ,其中 表示文档中所有片段;然后选择片段得分大于0的片段作为候选论元,表示为 ;i代表实体片段头部,j代表实体片段尾部;
训练过程中,命名实体识别采用多标签分类交叉熵损失:;
所述步骤4中包含以下步骤:
步骤4.1:在事件论元识别模块中,为了简化计算,只使用实体头部特征进行计算,将步骤1得到的事件论元识别特征 进行线性变换得到所有实体头部特征 :;
n代表文档的句子数,l代表句子切分项token的数量, 代表进行两个线性变换后的新的token特征维度;
步骤4.2:通过实体标签索引,在实体头部特征 中找到候选论元的实体头部特征,其中, 代表候选论元的个数;
步骤4.3:为了识别候选论元的角色类型,对候选论元的实体头部特征 进行线性变换和维度变换得到 : ;
其中, 代表论元角色的类型数;
步骤4.4:使用爱因斯坦求和约定,对步骤2所得的最终的伪触发词特征 与候选论元实体头部特征 进行计算: ;
其中, ;
目的是综合候选论元特征和事件伪触发词特征,对所有候选论元 进行多标签分类,预测候选论元与论元角色的关系;
对候选论元的识别使用多标签分类交叉熵损失:;
其中, 是单个候选论元,i代表实体片段头部,j代表实体片段尾部,m代表事件类型数。
2.根据权利要求1所述的端到端的多任务联合篇章级事件抽取方法,其特征在于:所述步骤5中包含以下步骤:将事件检测、实体识别、事件论元识别三个模块通过现有的多任务联合学习方式进行联合优化训练,用训练好的模型实现端到端的篇章级事件抽取,其中事件检测模块包括事件类型的预测和事件数量的预测,联合学习的损失为:;
为事件类型损失, 为事件数量损失, 为命名实体识别采用的多标签分类交叉熵损失, 为对候选论元的识别使用的多标签分类交叉熵损失。
3.一种端到端的多任务联合篇章级事件抽取系统,其特征在于,包括用于执行如权利要求1‑2任一权利要求所述的方法的模块。