1.融入分类词典的汉越混合网络神经机器翻译集外词处理方法,其特征在于:
具体步骤如下:
Step1、分类词典的构建;根据集外词的分类来构建分类词典,构建好的分类词典中包括双语词典、实体词典和规则词典;
Step2、首先对文本进行预处理,具体为:将切分后的源语言句子通过扫描查找分类词典的方法进行合并恢复句子中的规则短语,然后用RNNSearch中的编码器对这些短语进行标签标记;
Step3、构建基于RNNsearch的汉越混合网络解码器并生成最终翻译;采用门控单元构建一个包含词级模式和短语模式的混合网络解码器来决定在解码时使用哪个解码模式进行解码,并生成最终翻译;
所述步骤Step3中:
使用带门控单元的RNN解码器来生成最终的翻译结果,分为短语模式和词级模式;
短语模式为通过分类词典进行短语翻译,这类短语大多为前面提到的三类集外词,包括一是稀有词,二是实体,包括人名、地名、组织机构名和专有名词;三是数字、日期、符号和时间;
词级模式主要分为两种情况:一种情况是翻译的词本身在模型的词表中,对于这类集内词直接通过模型的词表翻译生成;另一种情况是该词不在词表中,即为集外词,这类的词同样通过查找融入的分类词典进行翻译生成;
所述步骤Step3中:
解码器模型中通过一个门控单元来决定在t时刻使用哪个解码模式,其中门控单元是二进制指示符变量,§∈{0,1},0代表词级模式,1代表短语模式;对于模型简单分为三种情况:Ⅰ:当通过门控单元确定为1时,则通过短语模式进行翻译,此时需要查找分类词典进行翻译;Ⅱ:当通过门控单元确定为0时,则通过词级模式进行翻译,这里为当翻译的词不在模型的词表中,为集外词,则通过查找分类词典进行翻译;Ⅲ:当通过门控单元确定为0时,则通过词级模式进行翻译,这里为当翻译的词在模型的词表中,则通过查找模型词表进行翻译。
2.根据权利要求1所述的融入分类词典的汉越混合网络神经机器翻译集外词处理方法,其特征在于:所述步骤Step1具体包括:集外词被分为三类,一是稀有词,即模型词表外的词,二是实体,包括人名、地名、组织机构名和专有名词;三是数字、日期、符号和时间;构建的分类词典中主要包括双语词典、实体词典和规则词典;双语词典的构建一方面使用GIZA++词对齐对语料进行对齐处理,对对齐结果排除词表内的词;另一方面在词典中加入部分人工整理添加的双语词典;实体词典的构建主要基于维基百科进行词条抽取;规则词典的构建采用基于规则方法,对语料进行正则化处理。
3.根据权利要求1所述的融入分类词典的汉越混合网络神经机器翻译集外词处理方法,其特征在于:所述步骤Step2的具体步骤为:首先对切分后的源语言句子通过扫描查找分类词典的方法进行恢复合并规则短语,然后使用RNNSearch中的编码器将源语言句子编码为表示形式,在编码的时候进行标签化标记,用于帮助模型定位和区分短语和单词;将合并后的短语标记为1,其余单词标记为0。