欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019106936376
申请人: 南京邮电大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种面向神经机器翻译的位置编码方法,其特征在于,包括以下步骤:(1)将训练语料中的非重复词汇构成词典,并对其初始化,形成词汇空间矩阵,随机初始化位置缩放系数和位置偏移量,形成位置缩放系数向量矩阵和位置偏移量向量矩阵;

(2)将训练语料中源语句中的单词词汇通过one-hot方法映射到所述词汇空间矩阵的对应向量上,生成词汇嵌入向量;

(3)从训练语料中抽取源语句向量矩阵,将其中包含的词汇嵌入向量与位置缩放系数向量矩阵逐元素相乘,再与位置偏移量向量矩阵逐元素相加;

(4)将步骤(3)中的结果输入到深度学习模型中进行正向传播,并将结果与源语句所对应的目标翻译语句进行softmax计算得出模型损失;

(5)将模型损失通过反向传播更新模型参数、缩放系数向量组、位置偏移量向量组和词汇空间矩阵;

(6)重复步骤(2)至步骤(5)直至所述深度学习模型收敛。

2.根据权利要求1所述的面向神经机器翻译的位置编码方法,其特征在于:步骤(3)生成的词汇序列为S=(wp1,...,wpN),其中,其中,i=1,...,N,N为词汇嵌入向量的个数, 表示词汇嵌入向量,dmodel表示词汇的嵌入维度, 为步骤(1)中所述的位置缩放系数向量矩阵, 为步骤(1)中所述的位置偏移量向量矩阵,

其中, 为可训练参数。

3.根据权利要求1所述的面向神经机器翻译的位置编码方法,其特征在于:步骤(4)中的深度学习模型为RNN模型、CNN模型、Transformer模型和BERT模型中的一种。

4.根据权利要求1所述的面向神经机器翻译的位置编码方法,其特征在于:步骤(4)中所述深度学习模型使用深度学习工具tensor2tensor建立。

5.根据权利要求1所述的面向神经机器翻译的位置编码方法,其特征在于:步骤(5)中通过反向传播更新参数的方法为带Momentum的梯度下降算法。

6.一种计算机存储介质,其上存储有计算机程序,其特征在于:所述计算机程序在被计算机处理器执行时实现权利要求1至5任一项所述的方法。