欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023105824793
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于领域特定子网络DsCN的多领域自适应神经机器翻译方法,其特征在于:所述方法的具体步骤如下:Step1、在机器翻译比赛网站下载训练数据集,使用工具对数据进行分词、字节对处理的数据预处理操作;

Step2、初始化多领域NMT模型,各领域使用继承标准评估模型的所有参数,生成领域子网络;

Step3、最后通过混合由领域标签控制的通用领域和特定领域数据联合训练并获得一个统一的多领域神经机器翻译模型,利用统一好的模型进行翻译;

所述Step2的具体步骤为:

首先,初始化一个完全共享的多领域NMT模型,并训练几个轮次;

其次,对每个特定领域分别使用继承标准评估父网络的所有参数;并将其分类为可继承或不可继承;符合继承标准的参数被认为是可继承的,将掩码矩阵中与之相对应的值置为1,而不符合条件的参数被视为不可继承并被丢弃,将掩码矩阵中与之相对应的值置为0;

然后,将父网络与特定领域的掩码矩阵相点乘得到领域特定子网络;

最后,在反向传播训练中,只更新子网络的参数,继续迭代更新这些参数,直到达到收敛;

所述对每个特定领域分别使用继承标准评估父网络的所有参数中的所述继承标准用于确定来自父网络的参数是否应该在特定领域的子网络中继承,定义了基于领域间梯度余弦相似性的评估准则,称为继承准则;

参数θi最初保存在的特定领域d1和d2的网络中,为了找到在通用领域D和特定领域d1和d2中都适合联合训练的参数,首先定义了领域间梯度余弦相似度作为继承准则;更正式地,为了确定父网络中的第i个参数θi是否应该保留在特定领域的子网络中,参数θi的适合度分数被定义为:其中和是参数θi上的通用领域D和特定领域dk的梯度方向;

直观地说,梯度决定了优化方向,梯度表示领域dk中的全局最优方向;

对于每个特定领域,父网络中的所有参数的梯度在验证集数据上被评估,计算参数θi在特定区域dk上的适应度有助于识别对联合训练造成严重干扰的参数,并通过比较适应度阈值FT来标记这些参数的优越性;

将每个参数作为个体来处理,并假设模型参数θi的适应度得分大于领域dk的适应度阈值FT,表明该参数在通用领域D和特定领域dk中都具有较强的生存能力;因此,参数θi能继承到dk的子网络中,该参数对应的设置为1,即:通过这种方式,获得领域dk的领域特定子网络θk:

θk=θ⊙Mk         (3)。

2.根据权利要求1所述的基于领域特定子网络DsCN的多领域自适应神经机器翻译方法,其特征在于:所述Step 1的具体步骤为:在WMT、CCMT及UM-Corpus网站下载通用数据集及领域数据集,使用sentencespiece、StanfordNLP及mosestokenizer工具对数据进行分词、字节对处理操作,完成数据预处理。

3.根据权利要求1所述的基于领域特定子网络DsCN的多领域自适应神经机器翻译方法,其特征在于:父网络中的每个参数都使用继承标准进行评估,具体的在多领域NMT模型中,利用不同的粒度级别,包括层和参数,来区分评估,层粒度表示模型中的不同层,参数粒度表示模型中的各个参数;在层的粒度上,层内的参数被连接成一个向量,并使用继承标准一起计算。

4.根据权利要求1所述的基于领域特定子网络DsCN的多领域自适应神经机器翻译方法,其特征在于:从多领域数据集生成批次,并确保每个批次只包含来自一个域的样本;更具体地说,首先对域dk的训练数据进行采样,以创建批次然后,使用批次来训练特定领域子网络。