欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020112298816
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于依存图网络的汉越神经机器翻译方法,其特征在于:首先将获取的源语言的依存句法解析树利用图编码器转化为依存图,并对其编码获取依存图结构信息;再将依存图结构信息送入编码端与源语言序列信息融合,利用这种融合信息送入解码端指导模型翻译。

2.根据权利要求1所述的基于依存图网络的汉越神经机器翻译方法,其特征在于:所述方法具体步骤包括:

Step1、编码依存图结构信息:引入图编码器将源语言的依存句法解析树转化为依存图,并对其编码获取依存图结构信息;

Step2、融合依存图结构信息和序列信息:该步骤在基于Transformer的编码层基础上进行了扩展,在两个子层多头注意力层和前馈层之间增加了一个图注意力层,在序列编码器端融合依存图结构信息和序列信息;

Step3、在解码端,增加了一个图和序列注意力机制的子层,通过增加子层后的解码端利用融合后的信息和目标语言序列信息指导解码器目标译文生成。

3.根据权利要求1所述的基于依存图网络的汉越神经机器翻译方法,其特征在于:所述Step1中,源语言的依存句法解析树的获取包括:通过爬虫爬取网站汉越平行语料,对获取语料进行依存句法解析,获取源语言的依存句法解析树。

4.根据权利要求1‑3任意一项所述的基于依存图网络的汉越神经机器翻译方法,其特征在于:所述源语言的依存句法解析树的获取具体步骤如下:(1)、通过调用scrapy爬取汉越网站汉越双语平行语料,进行清洗后放入数据库中;

(2)、针对汉语语料,利用ltp平台,获取汉语的依存句法解析树,针对越南语,利用Vncorenlp,获取越南语的依存句法解析树。

5.根据权利要求2所述的基于依存图网络的汉越神经机器翻译方法,其特征在于:所述步骤Step1的具体步骤为:

Step1.1、首先将依存句法解析树转化为有向连通图,在转换的过程中对词节点和标签进行向量化,其中,词节点根据词表进行向量化,标签根据标签词表进行向量化;

Step1.2、采用门控图神经网络GGNNs上的GGNN图编码器,实现对图结构的序列化编码,并将边的信息转化为节点信息,然后融入图隐藏状态G中,得到依存图结构信息。

6.根据权利要求2所述的基于依存图网络的汉越神经机器翻译方法,其特征在于:所述步骤Step2的具体步骤为:

Step2.1、首先,在编码层上进行了扩展:原始的transformer模型的编码器包含两个子层,第一层是多头自注意力层,第二层是前馈神经网络层,在两个子层之间增加了一个图和序列的注意力机制,用来融合依存图结构信息和序列信息;

Step2.2、多头自注意力层:利用多头注意力机制对源语言输入序列E,进行自注意力计算,然后将h个注意力进行拼接,最终得到源语言的多头注意力输出向量,也即源语言的序列信息D,该步骤目的是学习句子内部的词依赖关系,捕获句子的内部结构信息;

Step2.3、图‑序列注意力子层:通过Multihead机制,实现对源语言的依存图结构信息G和源语言的序列信息D相互关注和融合,实现对依存图结构信息和序列信息相互关注,得到输出向量N;

N=MultiHead(D,G,G)      (1)Step2.4、在第三个前馈神经网络子层,对N向量进行残差链接和归一化计算,最终编码器输出融合依存图结构信息的序列向量S:S=LN(FFN(LN(N))+LN(N))       (2)。

7.根据权利要求2所述的基于依存图网络的汉越神经机器翻译方法,其特征在于:所述步骤Step3中,为了利用融合信息S指导解码器目标译文生成,在解码端进行了扩展,扩展了一个图和序列注意力机制的子层,解码端内部共包含四个子层,通过这四个子层去指导目标语言的译文生成;其中,这四个子层具体如下:(1)、多头注意力层:利用多头注意力机制对目标语言词嵌入序列T向量进行计算,得到目标序列的上下文向量;

M=MultiHead(T,T,T)        (3)(2)、图‑序列注意力层:将图编码器输出的结构向量即源语言的依存图结构信息G和解码端第一层输出的目标语言上下文向量M进行关注,得到关注向量B;

B=MultiHead(M,G,G)      (4)(3)、编码‑解码注意力层:将图‑序列注意层输出的关注向量B和Transformer的序列编码器输出的融合依存图结构信息的序列向量S进行多头计算;

H=MultiHead(B,S,S)       (5)(4)、全连接的前馈神经网络层:利用上一层的输出向量H,计算得到当解码器输出的目标端的隐向量F;

F=LN(FFN(LN(H))+LN(H)       (6)最后softmax层生成目标语言译文,目标词 的概率分通过softmax层计算源语言X与0

上一个目标词y<j得到,θ是模型的学习参数,W是权重矩阵, 为预测第j个目标词的词向量,由此生成目标语言的译文o

p(yj,|X,y<j;θ)=softmax(WFj)     (7)。