1.基于分化适配器的汉老泰多语言神经机器翻译方法,其特征在于:所述方法的具体步骤如下:
Step1、数据处理和模型预训练:首先构建平行语料库,然后利用平行语料来建立一个预训练的汉-老-泰多语言神经机器翻译模型;
Step2、进行基于分化适配器的汉-老-泰多语言神经机器翻译模型微调:对预训练的汉-老-泰多语言神经机器翻译模型进行共享训练时,首先对预训练后的原始模型的各模块进行参数干扰分析,评估各模块的参数干扰程度;然后,根据参数干扰分析的结果,为Step1得到的机器翻译模型中参数干扰程度大的模块添加分化适配器并进行微调再训练;
Step3、构建基于分化适配器的汉-老-泰多语言神经机器翻译装置:将Step2基于分化适配器的汉-老-泰多语言神经机器翻译模型整合为可在服务器上调用的API接口;通过调用模型API接口,构建了一个多端的汉-老-泰多语言神经机器翻译装置;该装置由客户端和服务端组成;客户端的任务是接收用户提供的原始老挝语或泰语文本,将其传送至服务端进行翻译处理,服务端负责执行翻译任务,并将结果返回给客户端;
所述Step1的具体步骤为:
Step1.1数据构建:把主题词组作为提示输入给大语言模型,大语言模型利用这些主题词组提示能准确识别出与中文语料和泰文语料相关的内容;然后,通过提供中泰平行语料例句,以及如何过滤重复信息的提示,大语言模型能快速学会从杂乱数据中提取高质量的中泰平行语料,以初步构建高质量平行语料数据;
Step1.2数据处理:采用东南亚语言词法句法分析平台,进行分词和正则化处理,在语言专家的协助下构建停用词表,能有效清除语料中的英语实体;同时提供人工翻译样本,让大语言模型学习参考表达方式;输入常见的翻译偏差词组,提醒大语言模型避开偏差;提供反例句子,让大语言模型识别翻译错误;设置各种约束条件,并在结果生成后加入检测机制进行修正;
Step1.3数据准备:使用字符序列及音素序列训练统一框架的多语言神经机器翻译模型;使用了G2P工具将Step1.2的文本数据转化成了对应的音素文本,构造包括老、泰文本—老、泰音素文本—汉语文本的平行句对数据集;从中分别选取泰语-汉语平行句对以及老挝语-汉语平行句对作为训练集,每种语言组合还各自选取了验证集和测试集;
Step1.4模型预训练:选择一个现有的多语言翻译模型,作为原始模型进行预训练;在Transformer翻译框架下,对原始模型的编码端设计音素特征表示模块和泰老文本表示模块;然后,Step1.3处理的字符序列和音素序列经过数据预处理后传递到编码层;通过交叉注意力机制,获得了融合了音素特征的泰老文本表示,从而缩短泰老语言之间的语义距离,更有效地提取和编码输入文本的信息,以便在解码端进行交互生成预测的翻译序列;这样,一个完整的预训练过程就得以完成,最终得到一个预训练好的汉-老-泰多语言神经机器翻译模型,为分化适配器方法提供模型支持;
所述Step2的具体步骤为:
Step2.1、基于Step1训练的汉-老-泰多语言神经机器翻译模型,为该模型的每个注意力模块和前馈神经网络模块增加一个并行的适配器路由判断模块;
该模块用来根据上述的参数干扰分析方法为每个模块判断是否需要为每个语言对增加一个并行的适配器模块;对于基础模型中的任意一个注意力模块和前馈神经网络模块module,给定该模块输入向量input,该模块输出output计算如下:其中
Step2.2、分别利用泰语-汉语和老挝语-汉语的验证集对模型进行前向传播,并计算对应的反向传播梯度,假设根据Step2.2中的梯度
其中,
Step2.3、根据计算出泰-汉和老-汉翻译模型的每个模块的梯度余弦相似度,并对其进行排序,选出相似度最低的模块,即参数干扰程度大的模块;
Step2.4、分别为每个语言对在各个干扰程度大的模块上添加一个并行的适配器,该适配器结构与对应的基础模型模块相同,并使用对应的基础模型模块参数对其进行初始化;
Step2.5、冻结基础模型的参数,并使用泰-汉和老-汉双语训练数据在基础模型上微调各自语言对的适配器参数,模型每微调一定步数计算一次梯度,计算
2.根据权利要求1所述的基于分化适配器的汉老泰多语言神经机器翻译方法,其特征在于:所述Step3的具体步骤为:Step3.1、将训练好的“.pt”格式模型部署到服务器端上,通过调用该模型,实现多用户并发请求的功能;
Step3.2、用户将原始待翻译的泰语或老挝语文本输入翻译装置客户端;客户端将输入的文本传递给服务器端的翻译模型;该模型负责将输入文本翻译成目标语言,并将翻译结果返回到客户端界面上显示;
具体而言,用户输入的泰语或老挝语文本经过模型编码器进行编码,生成相应的泰语或老挝语句子的编码表征;然后,编码器的输出被传递给解码器,解码器根据表征来生成目标语言的翻译结果;最终,基于分化适配器的汉-老-泰多语言神经机器翻译再训练模型,构建了一个多端的汉-老-泰多语言神经机器翻译装置。