1.基于词对齐的半监督对抗学习跨语言摘要生成方法,其特征在于,所述方法包括:Step1、收集用于训练汉越跨语言摘要生成的新闻文本,以及获取已有的汉越双语词向量;
Step2、利用汉越新闻文本和汉越双语词向量分别进行单语摘要模型和半监督对抗学习的预训练;
Step3、利用Bert编码器分别对输入的汉越伪平行语料进行向量表征;
Step4、利用编码器获得的向量结合汉越双语种子词典进行半监督对抗学习,获取映射到同一语义空间的向量;
Step5、把映射在同一语义空间下的上下文文本向量和参考摘要作为transformer解码器的输入,解码输出目标语言摘要。
2.根据权利要求1所述的基于词对齐的半监督对抗学习跨语言摘要生成方法,其特征在于:所述Step1中,使用Scrapy作为爬取工具,模仿用户操作,为汉语、越南语新闻网站定制不同的模板,根据页面数据元素的XPath路径制定模板获取详细数据,获取新闻标题、新闻时间、新闻正文数据,以及从维基百科获取已经训练好的汉越双语词向量。
3.根据权利要求1所述的基于词对齐的半监督对抗学习跨语言摘要生成方法,其特征在于:所述步骤Step2的具体步骤为:Step2.1、首先使用一定数量的越南语和中文新闻文本语料,分别进行两种语言的单语摘要模型训练,摘要生成模型均采用Bert摘要模型,经过单语预训练得到的摘要模型;
Step2.2、利用维基百科提供的汉越双语词向量,进行半监督对抗学习方法如下:(1)、分别得到维基百科提供的越南语和中文的词向量集:其中m和n表示词表大小,d表示嵌入向量的维度,S为越南语词向量集,T为中文词向量集;
(2)、预训练阶段,首先利用包含L=30,000的{si,ti}i∈(1,2,…,L)汉越双语种子词典,训练映射矩阵W:
2
Ω=‖Ws‑t‖
其中,s为双语词典的源语言,t为对应的目标语言,Ω表示正则器,用于强制表达式两边的相等性,使用随机梯度下降学习W,然后通过最小化经过W转换的源语言单词si的向量表征与双语词典中的目标语言ti之间的平方欧氏距离,来实现双语词向量在同一语义空间下的映射对齐;假设源语言词s为越南语,目标语言t为中文,则由越南语映射到中文的映射s→t t→s
矩阵为W ,同理可得中文映射到越南文的矩阵为W ;
(3)联合训练阶段,用Bert编码器得到越南语和中文的词向量 和 来训练学习的映射矩阵
s→t t→s
其中d是嵌入向量的维度,Md(R)是一个值为实数的d*d矩阵,W 和W 表示映射方向,目标是找到最佳映射矩阵 以使映射源嵌入 和目标语言嵌入 之间的平方欧几里得距离最小,矩阵 同理;
(4)最后,将生成器生成的映射后的越南语向量和中文向量同时提交给判别器来预测每个单词的来源,来优化判别器Diss和Gens:对于判别器Diss而言,看作是一个二分类问题,即一个形式为Ds:s→{0,1}的函数,真实样本对应为1,映射样本对应为0,V(D,G)为二分类问题中常见的交叉熵损失,对于生成器Gens而言,为了尽可能欺骗判别器,所以需要最大化目标语言向量的判别概率 即最小化
判别器Dist和生成器Gent同理可得:训练时,生成器和判别器采取交替训练,即先训练Diss和Dist,然后训练Gens和Gent,不断往复,直到判别器无法识别词的来源则表示双语词向量位于一个公共语义空间。
4.根据权利要求1所述的基于词对齐的半监督对抗学习跨语言摘要生成方法,其特征在于:所述步骤Step2中:利用汉语和越南语新闻文本进行单语摘要模型训练会得到汉语和越南语两种摘要生成模型;利用汉越双语词向量和双语词典进行对抗学习得到实现将源语言映射到目标语言空间的映射矩阵W。
5.根据权利要求1所述的基于词对齐的半监督对抗学习跨语言摘要生成方法,其特征在于:所述步骤Step3中:将汉越新闻伪平行语料作为摘要模型的输入,分别得到由Bert编码器生成的上下文文本向量。
6.根据权利要求1所述的基于词对齐的半监督对抗学习跨语言摘要生成方法,其特征在于:所述步骤Step4的具体步骤:Step4.1、从汉越伪平行语料的参考摘要数据源构建一个汉越种子词典;
Step4.2、对Bert编码器生成的上下文文本向量表征应用映射矩阵W和种子词典进行半监督对抗学习得到汉越双语在同一语义空间下的对齐向量。
7.根据权利要求1所述的基于词对齐的半监督对抗学习跨语言摘要生成方法,其特征在于:所述步骤Step5的具体步骤为:Step5.1、将经过对抗性学习训练后在同一语义空间下的对齐向量和参考摘要作为transformer解码器的输入;
Step5.2、解码端根据映射后的对齐向量与参考摘要之间的对数似然率来选取候选摘要;
Step5.3、解码器解码输出目标语言摘要。