欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022106657577
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.融合主题信息的篇章级神经机器翻译方法,其特征在于:所述方法的具体步骤如下:Step1、使用双语数据,对其进行上下文对齐、BPE分词相关预处理后用于训练;

Step2、对源语言篇章语料的上下文句子进行去除低频词和高频词,以及生成词表处理后,使用开源的ETM主题词嵌入模型训练主题词嵌入,并抽取主题词嵌入;

Step3、将训练得到的主题词嵌入进行向量相加,得到单一的词嵌入向量,并分别与对应上下文句子的每个向量进行相加得到最终的词嵌入,将最终的词嵌入作为翻译模型的上下文编码器的输入;

Step4、最后,先用不带上下文的双语语料预训练一个Transformer模型,固定Transformer模型的编码器和解码器参数,在此基础上,引入一个额外的上下文编码器编码上下文句子,以及引入一个额外的注意力层将上下文信息和Transformer的当前句子信息相关联,并通过一个门控机制作为编码端最终的输出。

2.根据权利要求1所述的融合主题信息的篇章级神经机器翻译方法,其特征在于:所述Step1的具体步骤为:Step1.1、基于IWLST的TED演讲数据集,获取篇章级双语平行语料;

Step1.2、去除双语语料中的特殊符号,对语料进行分词操作,汉语语料使用jieba工具进行分词,英语、德语、法语语料使用MOSES工具进行BPE分词,并去除分词后长度小于6的句子。

3.根据权利要求1所述的融合主题信息的篇章级神经机器翻译方法,其特征在于:所述Step2的具体步骤为:Step2.1、首先预处理BPE分词后的篇章上下文句子,去掉出现次数低于2和高于800的词,并随机初始化每个词的词嵌入向量;

Step2.2、基于ETM模型,将主题个数设置为70‑80个,使用预处理过的上下文句子,训练主题模型;

Step2.3、ETM首先采用logistic‑normal分布获得第m个文档的主题分布,之后对主题分布进行多项式分布采样获得第n个词的主题,主题的词汇分布则是由主题的向量表示ρ与各个词的词向量α点乘后再softmax表示;

主题生成过程如下:对每个文档m,采样文档m的主题概率分布θm=softmax(δm),再对文档m中的每个词wm,n,选择一个隐含主题Zm,n~cat(θm),生成词嵌入其中ρ是一个L×V的矩阵,L为词嵌入大小,V是词表大小,θm表示第m对个文档的主题概率分布,δm服从正态分布δm~N(0,I),Zm,n表示第m个文档的第n个词的隐藏主题,wm,n表示第m个文档的第n个词,θm服从logistic‑normal分布,其中I为其参数;

Step2.4、主题模型在训练阶段采用变分推断来计算模型参数的对数边际似然估计值,利用公式(1)‑(4)计算损失函数,之后用梯度下降更新并求解模型参数ρ,α和v;

为了计算ρ,α的最大边际似然估计值:

首先,计算每个词的条件分布:

计算主题的词分布参数βk:

最后用变分推理来计算ρ,α和v的对数边界似然估计值:

其中θmk表示主题分布,ν表示变分参数, 表示数学期望,KL(·)表示KL散度,q(·)表示高斯分布。

4.根据权利要求1所述的融合主题信息的篇章级神经机器翻译方法,其特征在于:所述Step3的具体步骤为:Step3.1、首先利用主题模型训练获得的词嵌入列表,对上下文句子分词之后,通过查询词表得到上下文句子的主题词嵌入表示;然后将主题词嵌入表示的每个词嵌入进行加和,得到单一的词嵌入向量topics,如公式(5)所示:其中ti为句子的第i个主题词嵌入,m为词个数;

Step3.2、最后将topics与上下文句子进行词嵌入后的每个词嵌入向量xi相加得到最终的上下文编码器的输入E={e1,e2,e3,...,em},如下公式(6)所示:ei=xi+topics   (6)。

5.根据权利要求1所述的融合主题信息的汉越跨语言词嵌入方法,其特征在于:所述Step4的具体步骤为:(1) (2) (k)

Step4.1、对于给定的源语言文档的k个句子序列X=x ,x ,...,x ,代表源语言的第k句话包含I个词,对应的目标语言文档的k个句子序列(1) (2) (k)

为Y=y ,y ,...,y , 代表目标语言的第k句话包含J个词,因此将篇章翻译的概率表示如公式(7)所示:

其中 表示已翻译出的前m‑1个词,X<k表示第k句的上下文句子;

Step4.2、篇章神经机器翻译模型采用和Transformer相同的词嵌入方式,编码器以及解码器;为了体现语料的词在句子中不同位置的区别以及先后顺序,在计算词嵌入矩阵之后采用位置嵌入加入位置特征,如式(8)、式(9)所示:编码器的核心是自注意力部分,如式(10)所示:

其中,Q,K,V均为输入词向量矩阵,dk为输入向量维度,自注意力机制计算句子中的每个词与这句话中的所有词之间的关联程度,利用计算得到的关联程度对每个词进行加权求和就能得到每个词的新的语义表征;此外还采用了“多头”注意力模式,扩展了模型专注与不同位置的能力,给出了注意力层的多个“表示子空间”,如式(11)、式(12)所示:o

MultiHead(Q,K,V)=Concat(head1,...,headh)W   (11)Q K V

headi=Attention(QWi ,KWi ,VWi)   (12)Step4.3、篇章机器翻译模型引入了一个上下文编码器和上下文注意力层,将上下文句子的表征和当前句子的表征通过一个上下文注意力层得到新的表征,上下文注意力层的Q是当前句子编码器输出的句子的表征矩阵,K,V是上下文编码器输出的上下文句子的表征矩阵。

为了平衡混合了上下文表征后的新的句子表征与当前句子表征的权重,在计算混合上下文表征时加入了一个上下文门控,如公式(13)、式(14)所示:gj=σ(Wg[sj,cj]+bg)   (13)

sj=gj⊙sj+(1‑gj)⊙cj   (14)

其中sj是当前句子编码器的输出,cj是上下文注意力层的输出,σ是sigmoid函数。

最后在解码时通过多头注意力机制在结合从编码器中得到混合上下文表征,从而得到一个输出,之后将输出与上一次的输入合并再作为解码器的输入,直到输出一个结束的提示。