欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021107430354
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于阅读理解的汉越跨语言新闻事件要素抽取方法,其特征在于:所述方法的具体步骤如下:Step1、实验数据集构建:构建实验所需要的数据集,数据集包含阅读理解中文数据集、中文事件可比数据集和越南语新闻事件要素抽取数据集;

Step2、新闻文本关键句检索模型构建:训练了一个新闻文本句子打分模型,来动态检索出有可能包含答案的序列;

Step3、新闻事件要素抽取模型构建:在Step2的基础上,同时对源语言和目标语言的训练数据进行建模,从而实现源语言到目标语言的知识迁移,获得新闻事件要素抽取结果;

所述Step3的具体步骤为:

Step3.1、问题生成:将所有的语义角色划分为不同的类别,与时间相关的语义角色、与地点相关的语义角色、与人物相关的语义角色、与组织机构相关的语义角色,然后为每个类别设计不同的问题模板;

Step3.2、双语编码器进行编码:利用mBERT对源语言和目标语言进行编码,提取新闻文本特征;

Step3.3、双语解码器进行解码:利用多头注意力机制来提取源语言知识,以提高目标语言答案抽取性能;

Step3.4、新闻事件要素过滤层进行过滤:通过启发式规则来过滤非法答案,得到新闻事件要素集;

所述步骤Step3.2的具体步骤为:

使用mBERT对中文和越南语的问题Q和新闻文本的关键子序列Z进行编码;给定越南语的问题QT和关键子序列ZT,使用特殊字符[CLS]和[SEP]拼接成PT输入到mBERT;

相应地将中文问题QS和关键子序列ZS拼接成PS输入到mBERT中;PT和PS经过编码后分别得到隐层表示 其中L表示输入关键文本的长度,h表示mBERT的隐层大小。

2.根据权利要求1所述的基于阅读理解的汉越跨语言新闻事件要素抽取方法,其特征在于:所述Step1包括:Step1.1、阅读理解中文数据集采用CMRC 2018;在越南网站爬取了708篇越南新闻文本,并根据抽取式阅读理解的形式进行标注;

Step1.2、然后根据预先定义的事件类型的关键词爬取并筛选了932篇中文新闻,形成了中文事件可比数据集。

3.根据权利要求1所述的基于阅读理解的汉越跨语言新闻事件要素抽取方法,其特征在于:所述Step2的具体步骤为:Step2.1、切分新闻文本数据:使用Step1中的语料作为输入,通过使用动态规划算法将新闻长文本P切分成[X0,X1,…,XT‑1];

Step2.2、检索关键句子:训练了一个新闻文本句子打分模型,对新闻长文本中的句子序列[X0,X1,…,XT‑1]进行评分,以实现动态地抽取出和问题高度相关的句子。

4.根据权利要求3所述的基于阅读理解的汉越跨语言新闻事件要素抽取方法,其特征在于:所述Step2.2的具体步骤为:Step2.2.1、给定一个问题Q={q1,q2,…,qn},其中n表示问题中序列长度;将打分模型的输入初始化;

Step2.2.2、训练一个基于mBERT的一个评分模型,对每个子序列进行评分将得分最高的子序列加到关键子序列中;经过多次迭代推理最终得到新闻长文本的关键子序列。

5.根据权利要求1所述的基于阅读理解的汉越跨语言新闻事件要素抽取方法,其特征在于:所述步骤Step3.3的具体步骤为:Step3.3.1、分别将目标语言BERT的深度表示BT和源语言BERT的深度表示BS看作多头注意力机制中的键和值,将其视为一个解码的过程,为了将中文的表示融合到越南语表示中,计算BT和BS的自注意力,来过滤和答案抽取无关的冗余信息;

Step3.3.2、为进一步提升注意力计算的精度,计算AT和AS之间的注意力得到Step3.3.3、在Step3.3.2的基础上,计算 和 之间的注意力权重R′,Wr为权重;

h*h

R=WrR′+br,Wr∈

Step3.3.4、在Step3.3.3的基础上,通过残差连接和层归一化以获得最终的表示HT;

HT=softmax[BT,LayerNorm(BT+R)]Step3.3.5、在Step3.3.4的基础上,利用HT来预测目标语言越南语答案的跨度为答案开始的位置;

Step3.3.6、最后计算其交叉熵损;

6.根据权利要求1所述的基于阅读理解的汉越跨语言新闻事件要素抽取方法,其特征在于:所述Step3.4中,启发式规则采用如下方式:(1)有效答案的开始位置在结束位置之前;

(2)有效答案的似然概率应该大于一定的阈值δ,δ是模型的超参数;

(3)使用标准实体过滤策略,在新闻文本中实体信息已知的情况下,进一步过滤答案,只保留和已知实体边界重合的答案;

最后模型将事件要素答案生成结果进行汇总,作为最终的新闻事件要素抽取结果。