1.融合词粒度概率映射信息的汉越跨语言摘要方法,其特征在于:所述融合词粒度概率映射信息的汉越跨语言摘要方法的具体步骤如下:Step1、语料收集:获取汉越文章摘要数据对、汉英文章摘要数据对;
Step2、语料预训练:对收集的语料进行分词预处理;并利用fast‑align工具及统计的思想获得汉越概率映射对;并采用编解码注意力机制,以此获取基于汉语文章摘要的关键词;
Step3、概率映射机制的构建:首先获得篇章级文本及目标语言关键词的联合表征,引入Step2中获得的汉越概率映射对,将基于汉越的关键词通过汉越概率映射对迁移到越南语的语义空间中;
Step4、词级概率映射信息的融入:以序列到序列模型Transformer为框架,结合指针网络,对汉越跨语言摘要数据集进行训练,并得到训练好的融合词粒度概率映射信息的汉越跨语言摘要模型,利用测试集对训练好的模型进行测试,得到跨语言摘要结果并进行质量评估;
所述Step3包括:
获得篇章级文本及目标语言关键词的联合表征;
给定一组跨语言数据D:D=(X,Y,G),其中X为源语言文本输入序列,即X=(x1,x2,...,xn),Y为目标语言参考摘要输入序列,即Y=(y1,y2,...,ym),G为关键词输入序列,即G=(g1,g2,...,gq),n,m,q跟随源序列长度变化,n>m≥q;
对输入序列进行词嵌入,并通过公式(1)及公式(2)进行位置编码:其中,pos表示每个词在输入序列中的位置信息,dmodel表示词向量维度,i表示词向量的位置;
编码器由一个编解码注意力模块以及一个前馈神经网络构成;其中编解码注意力模块采用多头注意力机制,每个头对应一个点积注意力机制,由查询Q,键K和值V组成:其中dk是键K的维度;
编解码注意力模块的输出通过前馈神经网络得到最终值:
Q K V
headi=Attention(QWi ,KWi ,VWi) (4)MultiHead(Q,K,V)=Concat(head1,head2,...,headh) (5)Q K V
其中,Wi,Wi,Wi是学习参数矩阵,h是头的数量;
编码端输入的源语言文本和关键词通过编码器分别得到输出的隐状态Z:Z=(z1,z2,...,zn)和S:S=(s1,s2,..,sq);
将编码器的输出的隐状态Z和S作为输入,将每一个关键词的表征s1作为查询,将编码器输出的源语言文本的隐藏序列Z作为键和值,从而得到每一个关键词对于源语言文本的注意力得分,如式(6)所示:其中,
概率映射机制的构建:
为了将关键词映射到目标语言,使用概率映射机制,利用概率映射机制,计算出每一个关键词对应其汉越映射概率对的映射概率,如式(7)所示:其中,ω1是关键词注意力机制输出的每个关键词的表示,作为查询, 是每一个关键词对应的映射候选词,作为键和值,即关键词的解码最终获得输出词的概率分布。
2.根据权利要求1所述的融合词粒度概率映射信息的汉越跨语言摘要方法,其特征在于:所述Step1包括:从互联网中爬取基于汉语的文章摘要数据集,并利用google翻译获得基于越南语的文章摘要数据集、基于英语的文章摘要数据集,进而获得30万个汉越文章摘要数据对及30万个汉英文章摘要数据对,通过人工筛选对齐得到10万个汉越文章摘要数据对及10万个汉英文章摘要数据对。
3.根据权利要求1所述的融合词粒度概率映射信息的汉越跨语言摘要方法,其特征在于:所述Step2中,对收集的语料进行分词预处理包括:汉语使用结巴分词工具进行分词,利用VnCoreNLP工具对越南语进行分词,英语使用原有的词级结构。
4.根据权利要求1所述的融合词粒度概率映射信息的汉越跨语言摘要方法,其特征在于:所述Step2中,并利用fast‑align工具及统计的思想获得汉越概率映射对包括:(1)、利用fast‑align工具得到源语言输入序列C=(c1,c2,...,cj)、目标语言输入序列V=(v1,v2,...,vr)对应的编码;其中,j,r分别表示源语言、目标语言输入序列的长度,随输入文本的长度变化;
(2)、利用统计的方法获得汉越概率映射对,其计算方法如下:根据汉越平行语料源语言输入序列C、目标语言输入序列V以及双语对应的编码,得到一个映射对;其中,vr→cj表示一个映射对,如式(8)所示,得到每一个vr映射为cj的概率PMP:
5.根据权利要求1所述的融合词粒度概率映射信息的汉越跨语言摘要方法,其特征在于:所述Step4包括:使用O作为解码器在时间步t下的隐藏状态,计算了时间步t下的生成概率Pgen,其中Pgen∈(0,1);如式(9)所示:Pgen=δ(W2(W1O+b1)+b2) (9)其中, 是学习矩阵, b2∈R是偏置向量,
dh‑model表示此时隐藏状态的维度,δ是sigmoid函数;其中,Pgen被用作一个软开关,用于选择从篇章级的解码端生成一个单词,或者选择从关键词中复制一个单词,那么,生成一个单词的概率如式(10)所示:其中,PT(ωsrc→ω)表示关键词ωsrc映射到词ω的概率大小,PN(ω)表示解码端生成的词ω的概率大小;
由于结合了指针网络将词粒度映射概率信息融合到了Transformer框架中,因此损失函数如式(11)所示:Loss=‑[εlog(pt)+(1‑ε)log(1‑pt)] (11)其中,pt表示在t时刻预测结果正确的概率,ε为超参数。