欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020110201996
申请人: 昆明理工大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于枢轴的汉越联合训练神经机器翻译方法,其特征在于:所述方法首先利用汉越平行语料训练翻译模型得到汉语和越南语的词向量表征;其次以英语作为枢轴语言对汉语-英语,英语-越南语翻译模型进行联合训练,再将汉语-英语、英语-越南语翻译模型的汉语、越南语的向量表示与汉越模型得到的汉语、越南语的向量表示计算优化从而进行汉越联合训练。

2.根据权利要求1所述的基于枢轴的汉越联合训练神经机器翻译方法,其特征在于:所述方法的具体步骤如下:Step1、获取汉、英、越单语语料,再经过过滤、去噪音、去除停用词、命名实体识别和标注、分词预处理后,分别构建汉英平行语料、英越平行语料和汉越平行语料;

Step2、基于枢轴的神经机器翻译,融入注意力机制的神经机器翻译先将源语言句子编码为向量序列,然后在解码生成目标语言;利用存在的源语言-枢轴语言和枢轴语言-目标语言的平行语料库,分别训练源语言到枢轴语言和枢轴语言到目标语言的翻译模型;

Step3、基于枢轴的汉越联合训练神经机器翻译,采取联合训练的方法,使用汉越平行语料训练汉越神经机器翻译模型,得到汉语与越南语的向量表示,并且把汉语与越南语的向量表示加入到汉英,英越的联合训练中,对汉越进行联合训练从而提升汉越神经机器翻译性能。

3.根据权利要求2所述的基于枢轴的汉越联合训练神经机器翻译方法,其特征在于:所述步骤Step1的具体步骤为:Step1.1、首先使用xpath从互联网上爬取相关网页的汉英越单语语料,把已爬取出的单语语料,经过过滤、去噪音处理,构建出文本级语料,并以json格式储存到数据库中;

Step1.2、对各单语语料进行去除停用词、命名实体识别和标注、分词、词干提取和词形还原的数据处理;

Step1.3、构建英越平行语料规模70万句对、汉英语料规模1000万句对、汉越平行语料。

4.根据权利要求3所述的基于枢轴的汉越联合训练神经机器翻译方法,其特征在于:所述步骤Step1.3中:在训练模型之前对汉越语料进行分词处理,其中汉语分词采用结巴分词,越南语分词采用Underthesea-Vietnamese NLP工具,构建汉越平行语料规模10万句对。

5.根据权利要求2所述的基于枢轴的汉越联合训练神经机器翻译方法,其特征在于:所述步骤Step2的具体步骤:Step2.1、在神经机器翻译模型训练中,给定源语言单词的序列表示为x=(x1,...,xn),目标语言单词的序列表示为y=(y1,...,yn),源语言-目标语言的平行语料库表示为Step2.2、基于注意力机制的神经机器翻译先将源语言句子编码为向量序列,然后在生成目标语言时,通过注意机制动态寻找与生成该词相关的源语言词语信息,用于增强了神经网络机器翻译的表达能力;用P(y|x;θx→y)表示一个基于注意力机制的神经机器翻译模型,θx→y是模型参数,基于注意力机制的神经机器翻译模型的最大似然估计表示和最大对数似然估计表示模型分别为:Step2.3、根据轴语言的方法,定义源语言-枢轴语言的语料库和枢轴语言-目标语言的语料库,使用轴语言桥接源语言和目标语言,建立基于枢轴的汉越神经机器翻译模型。

6.根据权利要求5所述的基于枢轴的汉越联合训练神经机器翻译方法,其特征在于:所述步骤Step2.3的具体步骤为:Step2.3.1、假设存在枢轴语言z=(z1,...,zn),则源语言-枢轴语言的语料库枢轴语言-目标语言的语料库Step2.3.2、利用存在的源语言-枢轴语言和枢轴语言-目标语言的平行语料库,分别训练源语言到枢轴语言和枢轴语言到目标语言的翻译模型表示为:Step2.3.3、源语言到枢轴语言和枢轴语言到目标语言的翻译模型的对数似然函数表示为:

7.根据权利要求2所述的基于枢轴的汉越联合训练神经机器翻译方法,其特征在于:所述步骤Step3的具体步骤为:Step3.1、使用汉英,英越平行语料来对汉越进行联合训练: 与 表示的是汉语-英语,英语-越南语的似然函数,汉越神经机器翻译联合训练表示为:Step3.2、在联合训练中,存在级联翻译错误,为了降低枢轴语言带来的传播误差,所以词在语义空间中词的表示要一样,通过轴词嵌入即英语的词嵌入来连接汉语到英语的神经机器翻译模型和英语到越南语的神经机器翻译模型,鼓励这两个模型在两个词汇表的交集中为枢轴词生成相同的向量表示;

Step3.3、使用汉越平行语料训练汉越神经机器翻译模型,得到汉语与越南语的向量表示,并且把汉语与越南语的向量表示加入到汉英,英越的联合训练中,对汉越进行联合训练从而提升汉越神经机器翻译性能。

8.根据权利要求7所述的基于枢轴的汉越联合训练神经机器翻译方法,其特征在于:所述步骤Step3.2的具体步骤为:Step3.2.1、定义vwzx→z是汉语-英语的词表中的英语,vwzz→y是英语-越南语的词表中的英语,用w∈(vwzx→z∩vwzz→y)表示w是汉语-英语,英语-越南语词表中共有英语的词;

Step3.2.1、为减小源到枢轴模型和枢轴到目标模型之间的差异,在训练模型的似然函数中加入一个连接项R,λ是超参数,并同时通过惩罚欧氏距离来约束汉语到英语的神经机器翻译模型和英语到越南语的神经机器翻译模型,则基于枢轴联合训练的注意力机制神经机器翻译模型表示为:

9.根据权利要求7所述的基于枢轴的汉越联合训练神经机器翻译方法,其特征在于:所述步骤Step3.3的具体步骤为:Step3.3.1、基于枢轴联合训练的注意力机制汉越神经机器翻译模型表示为:

Step3.3.2、训练过程中基于枢轴的汉越联合训练神经机器翻译模型的最大似然估计表示为:源语言到枢轴语言的模型的参数θx→z的偏导数计算为:

源语言到枢轴语言的模型的参数θz→y的偏导数计算为: