1.基于样本损失加权去噪的汉越神经机器翻译方法,其特征在于:所述方法的具体步骤如下;
Step1、首先获取中文-越南语双语数据,构建双语语料库;
Step2、然后计算每个训练样本的跨语言句子相似度、句子对齐程度、句子流畅度得到综合评价分数;
Step3、接着对训练数据进行评估,计算每个训练示例的置信度分数,作为权重去约束翻译模型训练损失;
Step4、之后根据归一化后的置信度分数以及综合评价分数对损失进行加权处理,使模型更加关注高置信度的训练样本,减少噪声干扰;
Step5、最后对翻译模型进行迭代训练,直到翻译模型收敛;
所述Step3包括:
采用贝叶斯神经网络来量化翻译模型在翻译训练样本时的自信程度,并通过翻译概率的方差来衡量翻译模型对训练示例的置信度,得到置信度分数;
所述Step4包括:将每个句对的质量得分wn和归一化后的置信度分数an作为权重损失的因素,将权重值与损失函数相乘,得到加权损失函数,随着训练步长的增加动态调整损失函数的权重,定义为公式(1)(2)所示:其中,u是一个超参数,e是训练epochs,μ是一个具有依赖于训练时期e的衰减函数。
2.根据权利要求1所述的基于样本损失加权去噪的汉越神经机器翻译方法,其特征在于:所述Step1的具体步骤为:Step1.1、使用爬虫技术在网站上爬取中越平行数据,去除过长或过短以及乱码的句子;
Step1.2、使用越南语-英语平行数据将英语数据通过英中翻译模型生成更多的汉越伪平行数据;
Step1.3、使用jieba分词工具对中文语料进行分词,构建中越双语语料库。
3.根据权利要求1所述的基于样本损失加权去噪的汉越神经机器翻译方法,其特征在于:所述Step2的具体步骤为:Step2.1、使用LaBSE句子嵌入模型计算中文与越南语句子相似度、句子对齐工具fast_align计算中文与越南语句对基于对齐率的归一化句子对齐质量以及MacBERT中文预训练语言模型计算生成中文的流畅度;
Step2.2、通过得到的中文与越南语句子相似度、中文与越南语句对基于对齐率的归一化句子对齐质量、中文的流畅度计算每个句对质量得分,把每个句对质量得分作为综合评价分数。
4.根据权利要求3所述的基于样本损失加权去噪的汉越神经机器翻译方法,其特征在于:所述Step2包括:使用LaBSE句子嵌入模型计算中文与越南语句子相似度Ssimilarity、句子对齐工具fast_align计算中文与越南语句对基于对齐率的归一化句子对齐质量Salign以及MacBERT中文预训练语言模型计算生成中文的流畅度Sfluency,对于中文-越南语句子对{(x1,y1),...,(xN,yN)},其中每个句对质量得分为公式(3)所示:其中m,β,γ为权重比例,且和为1。
5.根据权利要求1所述的基于样本损失加权去噪的汉越神经机器翻译方法,其特征在于:所述Step3的具体步骤为:Step3.1、针对当前由θ参数化的NMT模型和N个句子对{(x1,y1),...,(xN,yN)}组成的小批量样本,对于每个样本,随机停用NMT模型的部分神经元并重新计算翻译概率同时保持中文句子xn和越南语句子yn固定,这种随机前馈重复K次,为句子级别的翻译概率生成K个样本;
Step3.2、计算翻译概率的方差:对于每个样本,计算句子级翻译概率的期望,为公式(4)所示:则句子级翻译概率的方差为公式(5)所示:
Step3.3、计算第n个中文-越南语句子对(xn,yn)的置信度分数,为公式(6)所示:其中α是超参数,用于衡量自信和不自信的例子分数之间的差距,α的绝对值越大代表判别方式越高,反之亦然,(xn,yn)为第n个中文-越南语句子对,为随机停用NMT模型的部分神经元的NMT模型参数,为第k遍随机停用部分神经元的NMT模型参数;为了确保训练过程的稳定性并保持与常规模型相同的损失规模,采用softtmax对置信度得分进行归一化,为公式(7)所示:
6.根据权利要求1所述的基于样本损失加权去噪的汉越神经机器翻译方法,其特征在于:所述Step4的具体步骤为:Step4.1、将每个句对的质量得分和归一化后的置信度分数作为权重损失的因素,将权重值与损失函数相乘,得到加权损失函数,随着训练步长的增加动态调整损失函数的权重。
7.根据权利要求1所述的基于样本损失加权去噪的汉越神经机器翻译方法,其特征在于:所述Step5的具体步骤为:Step5.1、使用基于梯度下降的Adam优化算法,对翻译模型进行迭代训练,直到翻译模型收敛;在训练过程中,采用early stopping方法来避免过拟合,提高翻译模型的泛化能力。