欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022112213427
申请人: 重庆理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种结合全局主题信息的摘要生成方法,其特征在于,包括以下步骤:S1,抽取原文的关键主题信息;

S2,将关键主题信息与原文表示融合;

S2‑1,将文档的关键主题信息向量G_T经线性变换为与原文编码相同维度,得到关键主题信息向量G_T';

S2‑2,将关键主题信息向量G_T',编码端隐藏层向量hi和解码端隐藏层向量st通过线性变换,再经tanh激活函数得到相关度权重,将相关度权重进行转置、归一化后得到注意力分布如式(12)~(13)所示:其中,Att(hi,st,G_T')表示对hi、st、G_T'进行加性注意力操作;

vTtanh(Whhi+Wsst+Wg_tG_T'+battn)表示对tanh(Whhi+Wsst+Wg_tG_T'+battn)进行转置变换;hi是原文词wi的隐藏层向量表示;wi表示第i个原文词;st为解码端隐藏层向量;G_T'为关键主题信息向量;Wh,Ws,Wg_t是可训练的参数矩阵;

battn是偏置项;soft  max(·)为归一化指数函数;

S2‑3,用注意力分布与原文各词的隐藏层向量加权求和,得到融合关键主题信息的上下文向量Ct,如式(14)所示:其中,t表示时间步;

T为总的时间步;为时间步t第i个词的注意力分布;表示时间步t第i个词的隐藏层向量;

所述S2还包括:将ct作为求解注意力分布时的额外输入,将当前时间步以前一定步长内的注意力权重考虑在内,计算当前时间步的注意力:其中,为时间步t的注意力分布;为时间步t第i个词的未归一化的注意力打分函数;

Wh,Ws,Wc,Wg_t为可训练的参数矩阵;为时间步t第i个词的覆盖向量;

battn为偏置项;S3,采用指针生成网络生成摘要:对目标摘要词序列R=[r1,r2,...,rk],用LSTM对其编码,计算词的隐藏层向量,其中rt表示在时间步t的摘要词,k表示总的时间步数;对任意rt∈R,其隐藏层向量编码如式(15)~(16)所示:st=LSTM(st‑1,yt‑1,Ct)     (16)其中,ew(rt)为rt的词嵌入表示;

m为词嵌入维度;yt为在时间步t的摘要词rt的向量表示;st为时间步t的隐藏层向量;Ct表示融合了时间步t之前关键主题信息的上下文向量;对给定序列,在预设词表上,每个词w输出的条件概率P(w)如式(17)~(18)所示:Pvocab=soft  max(V'(V[st;Ct]+b)+b')     (17)P(w)=Pvocab(w)         (18)其中,Pvocab为预设词汇表中所有单词的概率分布;

soft  max表示归一化指数函数;

[;]表示向量拼接;

Pvocab(w)表示当前词w的概率分布;V’、V是可训练的参数矩阵;

b和b’是偏置项;

在每个解码器时间步t,指针网络用上下文向量Ct、解码端隐藏层向量st和解码端输入yt计算生成摘要词的概率pgen,计算如式(19)所示:Pgen=σ(WctCt+Wstst+Wytyt+bptr)      (19)其中,Wct,Wst,Wyt是可训练的参数矩阵;

bptr是偏置项;

σ是sigmoid激活函数;

对于每一篇文档,pgen对词汇分布和注意力分布加权求和,得到一个扩展词表,在所述扩展词表上生成词w的概率如式(20)所示:其中,Pvocab(w)是预设词表上生成词的概率;

losst为时间步t的最终损失函数;P(wt)为生成目标词wt的概率;wt为时间步t的词;

λ为超参数;

covlosst为时间步t的覆盖损失;为时间步t第i个词的注意力分布;为时间步t第i个词的覆盖向量。

2.根据权利要求1所述的一种结合全局主题信息的摘要生成方法,其特征在于,所述S1是采用基于隐含狄利克雷分布的主题信息抽取器实现的,包括以下步骤:S1‑1,由LDA模型得到文档集D的主题概率分布,以及各主题下的词概率分布;选择概率为TOP  p的主题,在TOP  p主题下分别选取概率为TOP  q的词项,构成关键主题信息词集Top;

S1‑2,以BERT预训练模型得到关键主题信息词集Top的嵌入表示;

S1‑3,取所述关键主题信息词集Top的嵌入表示的均值向量作为文档的关键主题信息向量G_T,计算如式(9)~(10)所示:X=fBERT(Top)       (9)

其中,X={x11,x12,...,x1q,...,xpq}为经BERT编码后的关键主题词向量集;

fBERT为BERT的非线性方程;p为前p个主题;q为前p个主题下的前q个主题词;Xi表示经BERT编码后的第i个关键主题词向量。