欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2018107840728
申请人: 苏州大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于语法规约指导的神经机器翻译方法,其特征在于,包括:获取训练数据,基于语法规约计算源端训练数据的注意力层指导损失Δatt,目标端训练数据的生成层指导损失Δatt;

对计算得到的源端训练数据的注意力层指导损失Δatt与目标端训练数据的生成层指导损失Δatt的和与句对(X,Y)的交叉熵损失分配不同的权重比例,定义网络整体损失具体计算公式为:loss=-(1-λ)*logP(Y|X)+λ*(Δatt+Δtgt)其中,-logP(Y|X)是交叉熵损失,λ是权重,用来分配交叉熵损失与两个指导损失之和的分配比例。

2.根据权利要求1所述的基于语法规约指导的神经机器翻译方法,其特征在于,源端训练数据的注意力层指导损失Δatt的具体计算公式为:其中,αji计算了目标端j时刻单词对应源端i时刻单词注意力权重对应的注意力权重,lj为目标端词yj对应的源端短语最左边索引,rj为目标端词yj对应的源端短语最右边索引。γj为短语对的置信度:其中,n=rj-lj+1, 为通过语法规约得到的词对齐的极大似然估计。

3.根据权利要求1所述的基于语法规约指导的神经机器翻译方法,其特征在于,目标端训练数据的生成层指导损失Δatt的方法包括:对目标端短语的开始标0,短语其他部分标1,目标端短语的开始、短语其他部分的标签通过MLP子层预测得到:其中σ为sigmoid函数,sj-1为目标端隐藏层,Wb, ob为权重矩阵,输出pj∈[0,1]表示yi为1的概率,子层的指导损失Δtgt计算如下:Δtgt是为了用来衡量目标端短语真实标签与MLP子层预测标签之间的不一致程度。

4.根据权利要求1所述的基于语法规约指导的神经机器翻译方法,其特征在于,训练时候是最小化损失函数,解码时候是最大化得分,J(θ)也就是对应的句子打分结果,解码时最大化