欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023108499360
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.融入事件知识的汉越跨语言事件检索方法,其特征在于:所述方法的具体步骤如下:

Step1、在汉越维基百科和越南新闻网采集相应对齐数据,对数据集进行预处理,构建实验数据集;

Step2、构建汉越跨语言事件预训练模块进行持续预训练来改善模型在汉越低资源语言上的表征效果,并通过对事件知识的掩盖预测值与真实值基于对比学习进行差异判别,促使模型更好地理解和捕捉事件知识特征;

Step3、在Step2的基础上,将模型在汉越检索数据集上进行微调,进一步提升模型在汉越跨语言检索上的性能,检测出与查询提及事件一致的越南语文档;

所述Step2包括:

Step2.1、构建汉越跨语言事件预训练模块包括在基础的mbert模型新增两个新的预训练任务模块;两个新的预训练任务模块包括触发词掩盖预测模块TMP和检索建模排序模块RS,模型对于不同的预训练模块采用不同的输入语言对;

通过触发词掩盖预测模块TMP将语言对中标注好的触发词进行掩盖,并将预测结果映射到全词表上不断纠正模型的预测准确性;

通过检索建模排序模块RS对查询召回文档这一过程进行建模,构建正例和负例语言对,不断优化模型对于正负例的判别,改进模型在检索下游任务上的排序准确性;

Step2.2、在Step2.1的基础上,构建基于对比学习的生成鉴别器模块GDC,将预测结果映射到触发词表上,对事件知识的掩盖预测值与真实值基于对比学习进行差异判别,促使模型更好地理解和捕捉事件知识特征;

所述Step2.1中,通过触发词掩盖预测模块TMP将语言对中标注好的触发词进行掩盖,并将预测结果映射到全词表上不断纠正模型的预测准确性的具体步骤如下:Step2.1.1、针对触发词掩盖预测的输入序列x,使用了Bert模型的MLM预训练任务中的Bert模型预测头线型层组件,对被掩盖的触发词进行预测并将结果映射在全词表标签空间上,并通过softmax层获得最终全词表的标签预测概率分布:其中,p(xt|x)是全词表的标签预测概率分布,xt是输入序列x中t位置索引语言对被屏蔽的触发词,hJ(x)是Bert模型预测头的输出,fδ是线型层模块,其将被掩盖的词向量映射到全词表标签空间δ;

Step2.1.2、使用交叉熵损失来计算每个触发词掩码预测的目标;训练过程中按照6:2:2的随机概率从匹配到的触发词列表中随机采样一个、两个或三个触发词,并将其掩盖在查询文本中;在匹配掩盖的过程中,仍有部分概率将掩盖触发词的数量设置为2或3;

其中ltmp是TMP模块的损失,是触发词在全词表标签空间的真实标签,是被掩盖的触发词在全词表标签空间的对应真实概率标签分布。

2.根据权利要求1所述的融入事件知识的汉越跨语言事件检索方法,其特征在于:所述Step1的具体步骤为:Step1.1、先后从维基百科和越南新闻网采集获取相应数据,为了完成汉越跨语言事件检索,最终构建了对齐汉越语言对;

Step1.2、对于维基百科,从汉语和越南语维基页面编年史中提取出具有相同月份的文档数据DocC和DocV;只对汉语文档数据DocC通过超链接的拼接得到汉语查询文档QueC,并将汉语查询文档QueC和越南语文档DocV在跨语言词嵌入上使用余弦相似度计算两个文档之间的相似度,如果结果大于预设的阈值β,则将他们视为相似语言对,实现了汉语和越南语相关语言对的对齐;

Step1.3、对于新闻网数据,在越南语新闻文本ArtV中选取段首文本SentV作为语言对的文档部分,通过汉越跨语言摘要生成模型输出生成汉语摘要SentC作为语言对的查询部分。

3.根据权利要求1所述的融入事件知识的汉越跨语言事件检索方法,其特征在于:所述Step2.1中,通过检索建模排序模块RS对查询召回文档这一过程进行建模,构建正例和负例语言对,不断优化模型对于正负例的判别,改进模型在检索下游任务上的排序准确性的具体步骤如下:Step2.1.3、对于检索建模排序模块RS输入序列y中的不相关文档选择,为了避免模型陷入固定的梯度导致优化过程收敛于局部最优解,在训练过程中使用随机采样来匹配不相关文档D-V;检索建模排序模块RS对输入序列y的正负例分别编码,得到编码后的正负例y{QD+}k和y{QD-}k,其中k∈batch_size,batch_size表示一次训练所选取的样本数;

Step2.1.4、在排序分数生成层,用一个可学习的参数权重矩阵W乘以序列正负例编码输出的y{QD+}k和y{QD-}k,分别得到排序分数S+和S-:并使用交叉熵损失对模型进行优化;通过不断优化W和最小化交叉熵损失函数lrs,模型将提高对正例的排序分数S+,并持续降低对负例的排序分数S-,使模型在检索场景下对正负例进行更好的判断,改进召回文档的排序过程;其中求解过程为:S+/-=y{QD+/-}k*W。

4.根据权利要求1所述的融入事件知识的汉越跨语言事件检索方法,其特征在于:所述Step2.2的具体步骤为:Step2.2.1、利用真实语言对作为正样本,在模型预测的触发词和真实触发词不一致时,把预测触发词从全词表上映射到触发词词表标签空间η上,将生成的预测文本作为负样本;通过生成鉴别器将正负样本作为对比来不断优化模型预测触发词的正确率;

其中,ld是GDC模块的损失,D(xt|x)=Sigmoid(fη(hD(xt))),a是用来判断模型预测是否正确的二进制标签,f是线型层模块,其将被掩盖的词向量映射到触发词词表标签空间η,hD和触发词掩盖预测模块的hJ是共用的Bert模型预测头;

Step2.2.2、在生成正负例的过程中,有p%的概率不使用模型预测的触发词,而是先对时间触发词预测任务和事件触发词预测任务进行分类,再从触发词表中随机抽取相同长度的触发词来替换预测的触发词;将p设置为50,以保证正负样本的相对均衡;

汉越跨语言事件预训练模块中的触发词掩盖预测模块TMP以及基于对比学习的生成鉴别器模块GDC的损失函数为将触发词掩盖预测模块得到的交叉熵损失和对比损失进行混合并通过前向传播层对模型进行迭代和优化,同时,检索建模排序模块的损失采用交叉熵损失。

5.根据权利要求1所述的融入事件知识的汉越跨语言事件检索方法,其特征在于:所述Step3的具体步骤为:Step3.1、将问答数据集中的问题部分作为检索任务中的查询部分,将问题所对应的正确回答和通过问答任务生成的多个预测回答作为检索中的相关文档,将其他问题回答和相对应通过问答任务生成的多个预测回答作为查询对应的不相关文档;最终得到不同语言的查询和相关与不相关文档的评估数据集;

Step3.2、在Step3.1的基础上,采用平均准确率,MAP指标来评估模型在检索任务中的性能:其中N表示相关文档的总数,position(i)表示第i个相关文档在检索结果列表中的位置,平均准确率即多个查询平均正确率AP的均值;平均准确率作为检索任务的通常评价指标,能够从整体上反映模型的检索性能;

Step3.3、在Step3.1的基础上,通过检索建模排序模块对检索场景进行优化,所以在微调的过程中仅微调最后三个编码层以避免过度匹配;在评估过程利用交叉熵损失对模型进行优化,将最大训练次数设置为20次;当模型在开发集上获得最佳的MAP分数时,程序在测试集上进行评估并记录相应的MAP分数,最终选择最佳分数作为结果保存。