1.面向汉越跨语言事件检索的事件预训练方法,其特征在于:所述面向汉越跨语言事件检索的事件预训练方法的具体步骤如下:Step1、实验数据集构建:利用爬虫技术从维基百科新闻页面爬取汉越双语新闻数据,并通过人工标注构建实验所需要的数据集,数据集包含事件要素掩码预训数据集、跨语言对比学习数据集和汉越跨语言事件检索数据集;
Step2、汉越跨语言事件预训练模型构建:利用事件要素掩码预训练和跨语言对比学习训练了一个汉越跨语言事件预训练模型,改善多语言预训练模型的汉越双语对齐表征,并将事件知识融入模型;
Step3、跨语言事件检索模型构建:在Step2的基础上,对汉越跨语言事件预训练模型进行微调,获得汉越跨语言事件检索结果。
2.根据权利要求1所述的面向汉越跨语言事件检索的事件预训练方法,其特征在于:所述Step1的具体步骤为:Step1.1、通过爬虫技术从维基百科新闻页面爬取汉越双语新闻数据,将每条新闻样本与其对应日期进拼接,同时把样本中的超链接作为事件要素加入事件要素集,然后使用谷歌在线翻译将每条新闻翻译为对应目标语言,利用fasttext提供的对齐词向量获得跨语言词嵌入,最后将cosine相似度大于0.4的加入事件要素掩码预训练数据集;
Step1.2、在Wikidata中找到事件要素集中的每个事件要素所对应的页面,然后判断对应目标语言的同一事件要素是否存在,若存在,则将源语言的事件要素描述作为查询,对应目标语言的链接到的页面的第一个段落作为查询的正例,构成跨语言对比学习事件要素数据集,同时,选取部分数据对齐标注相关性用于微调。
3.根据权利要求1所述的面向汉越跨语言事件检索的事件预训练方法,其特征在于:所述Step2包括,利用事件要素掩码预训练emlm和跨语言对比学习ccl对mBERT继续进行预训练,具体为:Step2.1、给定一个中文事件句Sentencezh,句子中的事件要素为ell(l=1,2,3...),首先用[MASK]标记符将ell进行替换,然后与越南语伪平行事件句Sentencevi进行拼接,最后的输入是一个包含特殊标记符的序列inputemlm=[CLS]+Sentencezh+[SEP]+Sentencevi+(k) N×dim[SEP];然后经过嵌入层以及k层Transformer将其转换为对应的上下文表征H ∈R ,其中N表示最大序列长度,dim表示隐藏层维度;将得到的最后一层输出的序列表示送至随后的线性层,得到每个被掩码的事件要素的概率;对于在Sentencezh中每一个被[MASK]标记替换的位置ell,最后对应的表示为Hl,具体计算过程如下:(0)
H =Embedding(inputemlm)
(k) (k‑1)
H =Transformers(H )
在事件要素掩码预训练中,只对Sentencezh中的事件要素进行替换,这样做的原因是鼓励模型利用越南语伪平行句的语义信息来还原被替换的部分,同时学习跨语言特征,事件要素掩码预训练的损失函数如下:Step2.2、给定一个中文查询短语Qzh,其对应的相关文档为 不相关文档为
通过编码器分别获得查询和文档的对应表征 模型的训练目标
为最大化 与 的相似性,最小化 的相似性,具体计算过程如下:
其中,sim(·)是任何相似度算法,将这一训练目标扩展到了查询和文档属于与不同语言的情况。
4.根据权利要求1所述的面向汉越跨语言事件检索的事件预训练方法,其特征在于:所述Step3的具体步骤为:Step3.1、给定一个中文查询短语Qzh,首先基于跨语言事件预训练模型emBERT将查询切分为{q1,q2,...qt}序列,其中n代表查询的长度,qt(t=1,2,3...)表示查询中的每个词,与ColBERT不同,不添加标识查询的特殊标记符,而是直接在查询Qzh前添加特殊标记符[CLS],使模型学习区分不同语言的查询和文档,然后使用emBERT对查询序列Qzh={q1,q2,...qt}进行上下文表征,最后把输出的[CLS]作为查询的上下文表示eq,具体对查询的编码公式如下:eq=Normalize(emBert([CLS]q1q2...qt))
Step3.2、与查询编码器类似,将越南语的新闻文档表示为Dvi={d1,d2,...dm},m代表文档长度,dj(j=1,2,3...)表示文档中的词,通过emBERT获得文档的上下文表示ed,具体对文档的编码公式如下:ed=Normalize(emBert([CLS]d1d2...dm))
Step3.2、在给定的查询的文档经过emBERT编码得到对应表示eq和ed后,通过后期交互机制计算查询和文档的相关性分数,使用MaxSim操作符获得得分的总和计为Scoreq,d,具体计算过程如下所示: