1.基于阅读理解的汉越跨语言新闻事件要素抽取方法,其特征在于:所述方法的具体步骤如下:Step1、实验数据集构建:构建实验所需要的数据集,数据集包含阅读理解中文数据集、中文事件可比数据集和越南语新闻事件要素抽取数据集;
Step2、新闻文本关键句检索模型构建:训练了一个新闻文本句子打分模型,来动态检索出有可能包含答案的序列;
Step3、新闻事件要素抽取模型构建:在Step2的基础上,同时对源语言和目标语言的训练数据进行建模,从而实现源语言到目标语言的知识迁移,获得新闻事件要素抽取结果;
所述Step3的具体步骤为:
Step3.1、问题生成:将所有的语义角色划分为不同的类别,与时间相关的语义角色、与地点相关的语义角色、与人物相关的语义角色、与组织机构相关的语义角色,然后为每个类别设计不同的问题模板;
Step3.2、双语编码器进行编码:利用mBERT对源语言和目标语言进行编码,提取新闻文本特征;
Step3.3、双语解码器进行解码:利用多头注意力机制来提取源语言知识,以提高目标语言答案抽取性能;
Step3.4、新闻事件要素过滤层进行过滤:通过启发式规则来过滤非法答案,得到新闻事件要素集;
所述步骤Step3.2的具体步骤为:
使用mBERT对中文和越南语的问题Q和新闻文本的关键子序列Z进行编码;给定越南语的问题QT和关键子序列ZT,使用特殊字符[CLS]和[SEP]拼接成PT输入到mBERT;
相应地将中文问题QS和关键子序列ZS拼接成PS输入到mBERT中;PT和PS经过编码后分别得到隐层表示 其中L表示输入关键文本的长度,h表示mBERT的隐层大小。
2.根据权利要求1所述的基于阅读理解的汉越跨语言新闻事件要素抽取方法,其特征在于:所述Step1包括:Step1.1、阅读理解中文数据集采用CMRC 2018;在越南网站爬取了708篇越南新闻文本,并根据抽取式阅读理解的形式进行标注;
Step1.2、然后根据预先定义的事件类型的关键词爬取并筛选了932篇中文新闻,形成了中文事件可比数据集。
3.根据权利要求1所述的基于阅读理解的汉越跨语言新闻事件要素抽取方法,其特征在于:所述Step2的具体步骤为:Step2.1、切分新闻文本数据:使用Step1中的语料作为输入,通过使用动态规划算法将新闻长文本P切分成[X0,X1,…,XT‑1];
Step2.2、检索关键句子:训练了一个新闻文本句子打分模型,对新闻长文本中的句子序列[X0,X1,…,XT‑1]进行评分,以实现动态地抽取出和问题高度相关的句子。
4.根据权利要求3所述的基于阅读理解的汉越跨语言新闻事件要素抽取方法,其特征在于:所述Step2.2的具体步骤为:Step2.2.1、给定一个问题Q={q1,q2,…,qn},其中n表示问题中序列长度;将打分模型的输入初始化;
Step2.2.2、训练一个基于mBERT的一个评分模型,对每个子序列进行评分将得分最高的子序列加到关键子序列中;经过多次迭代推理最终得到新闻长文本的关键子序列。
5.根据权利要求1所述的基于阅读理解的汉越跨语言新闻事件要素抽取方法,其特征在于:所述步骤Step3.3的具体步骤为:Step3.3.1、分别将目标语言BERT的深度表示BT和源语言BERT的深度表示BS看作多头注意力机制中的键和值,将其视为一个解码的过程,为了将中文的表示融合到越南语表示中,计算BT和BS的自注意力,来过滤和答案抽取无关的冗余信息;
Step3.3.2、为进一步提升注意力计算的精度,计算AT和AS之间的注意力得到Step3.3.3、在Step3.3.2的基础上,计算 和 之间的注意力权重R′,Wr为权重;
h*h
R=WrR′+br,Wr∈
Step3.3.4、在Step3.3.3的基础上,通过残差连接和层归一化以获得最终的表示HT;
HT=softmax[BT,LayerNorm(BT+R)]Step3.3.5、在Step3.3.4的基础上,利用HT来预测目标语言越南语答案的跨度为答案开始的位置;
Step3.3.6、最后计算其交叉熵损;
6.根据权利要求1所述的基于阅读理解的汉越跨语言新闻事件要素抽取方法,其特征在于:所述Step3.4中,启发式规则采用如下方式:(1)有效答案的开始位置在结束位置之前;
(2)有效答案的似然概率应该大于一定的阈值δ,δ是模型的超参数;
(3)使用标准实体过滤策略,在新闻文本中实体信息已知的情况下,进一步过滤答案,只保留和已知实体边界重合的答案;
最后模型将事件要素答案生成结果进行汇总,作为最终的新闻事件要素抽取结果。