1.基于上下文的汉越跨语言句嵌入方法,其特征在于:所述方法的具体步骤如下:Step1、使用汉语与越南语同主题的可比语料构建汉越平行句对数据集与非平行句对数据集作为正例和负例,进行相应预处理操作后用于孪生网络线性微调层的训练;
Step2、基于mBERT模型获取训练集对应的汉越上下文跨语言句嵌入,并融合孪生网络结构搭建线性微调层,用于对mBERT模型中获取到的汉越上下文跨语言句嵌入进行重构,并构建对比损失用于反向优化线性微调层;
Step3、将mBERT模型与优化好的线性微调层进行组合,得到基于上下文的汉越跨语言句嵌入模型mBERT-SF,用于获取高质量的汉越上下文跨语言句嵌入;
所述Step2的具体步骤为:
Step2.1、基于多语预训练模型mBERT获取训练集中对应的汉越上下文跨语言句嵌入CLSStep2.2、构建两个结构相同的子网络Network1和Network2组成线性重构层,分别对汉越输入句对中对应的上下文跨语言句嵌入CLSy=pf(Wx)(1)
公式1中,x代表子网络Network1和Network2重构后的输出,其中pf(Wx)代表Dropout层的输出,p为神经元的随机剔除概率、W为全连接层fc的权重值;最终结果y即可代表经微调层重构后的汉语和越南语上下文跨语言句嵌入EStep2.3、采用对比损失构建匹配层用于反向微调两个子网络,使正例中的汉越上下文跨语言句嵌入尽可能相似,负例间的嵌入相似度尽可能低,如公式2所示;
D(E
其中,E
所述Step3的具体步骤为:
Step3.1、将mBERT模型与优化好的线性微调层进行融合,组成mBERT-SF模型;
Step3.2、当输入新的汉语或越南语句子时,首先基于mBERT模型获取其对应的汉越或越南语上下文跨语言句嵌入;然后,通过融合孪生网络结构的线性微调层对其进行重构,使具有相似语义的汉越上下文跨语言句嵌入在共享嵌入空间中拥有更为相近的向量表示,有效缓解多语预训练模型中汉越句级平行语料稀缺和语言差异性大导致的语义对齐误差问题。
2.根据权利要求1所述的基于上下文的汉越跨语言句嵌入方法,其特征在于:所述Step1的具体步骤为:Step1.1、从维基百科数据中抽取同主题词条下的汉越伪平行句对;
Step1.2、分别剔除其中字词数量小于5的中文和越南语句子;
Step1.3、利用正则化方法去除含有特殊字符的错误句对;
Step1.4、从剩余的句对中人工筛选出语义相似度最高的若干对汉越平行句对作为正例,同时人工精标注若干条汉越平行句对作为测试集,平行句对的数据标签l=0;
Step1.5、通过为正例中的汉语句子随机抽取同属于正例数据集但语义信息不对应的越南语翻译句作为负例,并将其与正例进行混合,共同构成训练集,负例规模同正例相同,数据标签l=1。