1.融入分类词典的汉越神经机器翻译集外词处理方法,其特征在于:所述融入分类词典的汉越神经机器翻译集外词处理方法的具体步骤如下:Step1、语料收集:收集汉语-越南语语料,并分为训练集、测试集和验证集;
Step2、分类词典的构建:分析集外词的特点,将集外词分为三类,包括稀有词、实体词、以及数字、符号、日期和时间,并有针对性的构建出分类词典,分类词典包括双语词典、实体词典和规则词典;
Step3、分类词典的融入:通过查找分类词典对数据中的集外词进行识别,在模型的编码端对三类集外词进行标签替换,然后将标签替换后的数据通过模型翻译成带有标签的目标语言,最后查阅分类词典将标签恢复;
Step4、同类集外词处理:当一句话中出现多个同类集外词时,对同类标签采用标记排序进行定位标识;
Step5、模型训练及翻译:在步骤Step1、Step2、Step3、Step4的基础上,对融入了分类词典的神经机器翻译模型进行训练,然后把待翻译的数据通过训练好的模型进行翻译,得到最终的翻译结果。
2.根据权利要求1所述的融入分类词典的汉越神经机器翻译集外词处理方法,其特征在于:所述步骤Step2中,将集外词分为三类来构建分类词典,一是稀有词,常规词表以外的词,利用常规词表以外的词构建双语词典;二是实体词,包括人名、地名、组织机构名和专有名词,利用实体词构建实体词典;三是数字、符号、日期和时间等,将这些词利用基于规则的方法进行正则化处理构建规则词典。
3.根据权利要求1所述的融入分类词典的汉越神经机器翻译集外词处理方法,其特征在于:所述步骤Step2中,对于双语词典的构建,先对语料进行对齐处理,然后排除词表内的词来构建双语词典;对于实体词典的构建,主要基于维基百科进行词条抽取;对于规则词典,类似数字和符号这类词,在翻译前后不会改变词的本身形式,直接进行翻译;对于日期和时间这类词,利用基于规则的方法用正则表达式进行处理,从而构建成规则词典。
4.根据权利要求1所述的融入分类词典的汉越神经机器翻译集外词处理方法,其特征在于:所述步骤Step3的具体步骤为:对于双语词典的融入,首先查找分类词典中的双语词典将句中稀有词替换成标签,然后通过神经机器翻译模型对句子进行翻译,再查找双语词典对翻译后的标签位置进行翻译恢复;
对于实体词典的融入,查找分类词典中的实体词典,将句中实体词替换成标签,并且对不同的实体替换成不同的标签,通过模型将句子翻译后,查找实体词典对标签进行恢复;
对于规则词典的融入,分为直接融入和间接融入;直接融入指数字和符号这种翻译前后不会改变本身形式的词,能直接进行翻译;间接融入指时间和日期,通过正则表达式对这类词进行规则定义,然后再将其进行融入;主要过程是通过查找分类词典中的规则词典,将句中的时间和日期这类词替换为相应的标签,利用模型将句子翻译后,再查找规则词典对标签进行恢复;由于在前处理阶段构建的双语词典和实体词典之间存在部分重复词,在融入分类词典时,考虑到实体词典的标签多样性,通过设置优先级的方法优先查阅实体词典。