欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020106117902
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于复制机制和变分神经推理的增强性文本摘要生成方法,其特征在于,步骤包括:步骤S1:通过编码输入和输出序列;

利用变分自编码器分别对原文本X=(x1,x2,...,xT)和文本对应的标准摘要Y=(y1,y2,...,yN)进行编码。即,将输入的原文词序列和标准摘要词序列编码成连续的词向量序列;

步骤S2:对隐变量地近似后验分布进行建模;

利用变分神经推理根据学习到的先验分布和近似后验概率得到隐变量z的表示;所述先验分布为pθ(z|x),所述近似后验概率为步骤S3:利用上下文语义向量、隐变量和生成复制网络函数解码得到生成的摘要。

2.根据权利要求1所述的基于复制机制和变分神经推理的增强性文本摘要生成方法,其特征在于,在步骤S3中,利用变分神经解码器通过结合隐变量z、注意力机制和CopyNet中的信号函数ζ来指导文本摘要的生成,变分神经解码器为pθ(y|z,x,ζ)。

3.根据权利要求1所述的基于复制机制和变分神经推理的增强性文本摘要生成方法,其特征在于,在步骤S1中,所述变分自编码器的作用是将输入的原文词序列和标准摘要词序列编码成连续的词向量序列。

4.根据权利要求3所述的基于复制机制和变分神经推理的增强性文本摘要生成方法,其特征在于,所述变分自编码器采用的双向LSTM结构,包括前向LSTM和后向LSTM,分别对输入的文本和标准的文本摘要进行编码;前向LSTM从左到右读取输入单词序列X=(x1,x2,...,xT),后向LSTM从右到左读取,计算过程如下:其中, 和 分别是前向LSTM和后向LSTM的隐藏层表示。同理,对于标准文本摘要的单词序列Y=(y1,y2,...,yN)可编码得到 和 然后,把每个时间步的前向和后向隐藏层编码进行拼接,得到最终输入输出的表示(h1,h2,...,hT)和(h′1,h′2,...,h′N),其中

5.根据权利要求1-4中任意一项所述的基于复制机制和变分神经推理的增强性文本摘要生成方法,其特征在于,所述步骤S2中,对变分自编码模型中隐变量z的后验分布进行建模,其处理方式为采用神经网络对先验分布pθ(z|x)和后验分布 分别建模,迫使其服从于一个多元的高斯分布。

6.根据权利要求5所述的基于复制机制和变分神经推理的增强性文本摘要生成方法,其特征在于,在变分推理过程中引入一个近似的后验分布来逼近真实的后验分布,即利用变分自编码器中密度估计器来进行对后验分布更逼近的近似,假定近似后验分布为:其中μ表示均值,σ表示标准差,全部由模型输入文本x和该文本对应的标准文本摘要y的编码输出得到;

通过以上过程已经得到输入文本词序列X=(x1,x2,...,xT)和标准文本摘要词序列Y=(y1,y2,...,yN)的隐藏层表示,为(h1,h2,...,hT)和(h′1,h′2,...,h′N),接着最大池化隐藏层得到hx和hy:最后,对hx和hy拼接处理得到h′z,即h′z=[hx,hy];利用线性回归对拼接的结果进行计算得出均值μ和对数方差拼接logσ2:μ=Wμh′z+bμ,logσ2=Wσh′z+bσ

其中Wμ、Wσ表示权重参数,bμ、bσ表示偏置项。

7.根据权利要求6所述的基于复制机制和变分神经推理的增强性文本摘要生成方法,其特征在于,在测试阶段,先验分布通过采样观测变量得到权值系数,先验分布中均值μ′和标准差σ′仅仅与输入文本序列X相关,表示为:pθ=(z|x)=N(z;μ′(x),σ′(x)2I)

在求解先验分布时,除了h′z=hx,还有:

μ′=Wμ′hx+bμ′,logσ′2=Wσ′hx+bσ′

其中,Wμ′、Wσ′是权重参数,bμ′、bσ′是偏置项。

8.根据权利要求7所述的基于复制机制和变分神经推理的增强性文本摘要生成方法,其特征在于,为了获得隐变量z的表示hz,通过参数的变化得到:hz=μ+ε*σ,ε~N(0,I)

其中μ和σ是后验分布的均值和标准差,由于在测试阶段缺少标准文本摘要Y,所以从先2

验分布N(z;μ′(x),σ′(x) I)中进行采样;再利用重参数的方法,将生成的模型pθ(z|x)与推理的模型 联合在一起,也就是将编码器和解码器两个神经网络连接起来,实现随机梯度优化反向传播。

9.根据权利要求1-4中任意一项所述的基于复制机制和变分神经推理的增强性文本摘要生成方法,其特征在于,采用KL退火算法以及词袋损失算法BOW来优化Copy-VNAE模型。