1.一种多策略强化学习的汉越跨语言摘要生成方法,其特征在于:所述方法具体步骤如下:Step1、从互联网采集数据,对数据进行预处理,并回译构造伪汉越跨语言摘要数据集;所述伪汉越跨语言摘要数据集格式为:源语言正文—源语言摘要/伪目标语言摘要/伪源语言摘要;
Step2、在上述构造的伪汉越跨语言摘要数据集基础上,并使用ROUGE、BERTScore与Mgfscore评价指标对源语言摘要与伪源语言摘要进行打分,以评价源语言正文与伪目标语言摘要的平行质量;基于此过滤得分低的句子,得到汉越跨语言摘要数据集,所述汉越跨语言摘要数据集格式为:源语言正文—源语言摘要/伪目标语言摘要;
Step3、随机抽取若干对伪汉越跨语言摘要数据与汉越跨语言摘要数据进行噪声类型分析与统计;
Step4、在上述构造的伪汉越跨语言摘要数据集基础上,使用编码器对源语言正文序列XStep5、基于源语言正文表征序列向量H={hStep6、基于标准目标语言摘要
Step7、在初始优化模型的基础上继续训练,基于Step2得到的汉越跨语言摘要数据集,进行Step3、Step4;
Step8、基于得到的生成词汇表分布概率
Step9、计算源语言摘要Y
Step10、将L
2.根据权利要求1所述的多策略强化学习的汉越跨语言摘要生成方法,其特征在于:所述Step1的具体步骤为:Step1.1、构造伪汉-越跨语言摘要数据集:针对公开的中文单语摘要数据集LCSTS,利用谷歌翻译对中文摘要进行回译,得到格式为中文正文-中文摘要/伪越南语摘要/伪中文摘要;其中,在该数据集中中文为源语言,越南语为目标语言;
Step1.2、构造伪越-汉跨语言摘要数据集:从互联网采集越南语单语摘要数据,并进行清洗,得到格式为越南语正文-越南语摘要的单语摘要数据集;利用谷歌翻译对越南语摘要进行回译,得到格式为越南语正文-越南语摘要/伪中文摘要/伪越南语摘要;其中,在该数据集中越南语为源语言,中文为目标语言。
3.根据权利要求2所述的多策略强化学习的汉越跨语言摘要生成方法,其特征在于:所述Step2的具体步骤为:Step2.1、根据Step1.1构造的伪汉-越跨语言摘要数据集,使用ROUGE与BERTScore对其中的中文摘要与伪中文摘要进行打分,并选取得分最高的前若干对,得到汉-越跨语言摘要数据集,格式为:中文正文—中文摘要/越南语摘要;
Step2.2、根据Step1.2构造的伪越-汉跨语言摘要数据集,使用ROUGE与Mgfscore对其中的越南语摘要与伪越南语摘要进行打分,并选取得分最高的前若干对,得到越-汉跨语言摘要数据集,格式为:越南语正文—越南语摘要/中文摘要。
4.根据权利要求1所述的多策略强化学习的汉越跨语言摘要生成方法,其特征在于:所述Step3的具体步骤为:Step3.1、随机抽取若干对伪汉-越跨语言摘要数据与汉-越跨语言摘要数据,中文摘要与伪越南语摘要/越南语摘要,分别对每个伪越南语摘要/越南语摘要中存在的噪声类型进行人工标记;
Step3.2、随机抽取若干对伪越-汉跨语言摘要数据与越-汉跨语言摘要数据,对比越南语摘要与伪中文摘要/中文摘要,分别对每个伪中文摘要/中文摘要中存在的噪声类型进行人工标记。
5.根据权利要求1所述的多策略强化学习的汉越跨语言摘要生成方法,其特征在于:所述Step4的具体步骤为:Step4.1、使用伪汉越跨语言摘要数据,将源语言正文序列Xe
其中pos为位置嵌入函数,emb为高维向量映射函数;
Step4.2、将得到的源语言正文词嵌入向量序列{e
6.根据权利要求5所述的多策略强化学习的汉越跨语言摘要生成方法,其特征在于:所述Step4.2的具体步骤为:Step4.2.1采用self-attention为计算每个嵌入向量e其中W
Step4.2.2采用multi-head attention将多个self-attention得到的信息进行聚合得到高维表征向量h′其中W
Step4.2.3、最后,通过下式计算得到源语言正文表征向量hh
其中LayerNorm是层归一化函数,FFN是前馈神经网络。
7.根据权利要求1所述的多策略强化学习的汉越跨语言摘要生成方法,其特征在于:所述Step5的具体步骤为:Step5.1将目标语言摘要送入解码器的Masked multi-head self-attention层进行表征,得到t-1时刻的隐状态sStep5.2编码器输出源语言正文表征向量序列H={hStep5.3、基于注意力权重,计算t时刻的解码向量cStep5.4、利用隐状态s
r
其中W
8.根据权利要求1所述的多策略强化学习的汉越跨语言摘要生成方法,其特征在于:所述Step6的具体步骤为:Step6.1、根据Step5计算得到的解码向量序列R={r其中W
Step6.2、在上述过程中使用生成目标语言摘要Y其中L为生成目标语言摘要的序列长度。
9.根据权利要求1所述的多策略强化学习的汉越跨语言摘要生成方法,其特征在于:所述Step9的具体步骤为:Step9.1、使用fast-align工具进行中-越平行语料对齐并得到中-越词汇概率表其中sum表示取和,其中j为源语言摘要中的每一个词汇,Step9.2、使用TF-IDF计算源语言摘要其中j为源语言摘要中的每一个词汇;
Step9.3、分别计算目标语言生成摘要序列Y其中M为源语言摘要的长度,
Step9.4、使用自我批判策略梯度训练算法计算强化学习损失L
10.根据权利要求1所述的多策略强化学习的汉越跨语言摘要生成方法,其特征在于:所述Step10的具体步骤为:Step10.1、L
L
其中γ为交叉熵损失函数与强化学习训练目标函数间的比例因子,γ=0.6;
Step10.2、完成优化模型训练后,根据词汇表分布概率