欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2018109656599
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于神经网络的多特征融合中文新闻文本摘要生成方法,其特征在于:所述方法的具体步骤如下:Step1、进行文本预处理,中文新闻语料包括新闻文本及其摘要,结合新闻语料特点,使用分词工具jieba进行文本预处理包括分词、去停用词,再利用word2vec将分词后的语料表示成词向量;

Step2、使新闻文本词向量矩阵分别通过多通路CNN网络和带有注意力机制的LSTM网络,在多特征融合的基础上获得每个时刻摘要生成的编码表示;

Step3、将获得的t时刻编码表示输入解码器,解码器是单向LSTM模型,同时利用其对应的摘要向量,获得t时刻的摘要词输出,解码生成中文文本摘要,根据模型生成的摘要信息优化训练模型;

Step4、通过训练整个的网络模型后,对于新的文本,利用训练后的网络模型生成摘要;

所述步骤Step2的具体步骤如下所示:

Step2.1、LSTM通路分析文本整体信息,LSTM能处理序列形式的文本数据,注意力机制辅助解码器识别当前时间步的重点信息;用带注意力机制的双向LSTM,对于基本的LSTM结构,其当前时间步隐层状态更新公式为:ht=Ot·tanh(ct)

其中:

Ot=σ(Wo·[ht‑1,Xt]+Bo)

Ft=σ(WF·[ht‑1,Xt]+BF)

上述公式中,Xt是当前时间步的输入,ht是当前时间步的LSTM隐层状态,Ot是LSTM单元输出,LSTM单元状态更新ct,当前输入的单元状态 上一次的单元状态ct‑1,Ft是遗忘层更新,σ是sigmoid函数,遗忘门层权重矩阵WF,LSTM单元状态权重矩阵Wc,LSTM输出层权重矩阵Wo;遗忘门层的偏置项为BF,单元状态的偏置项为Bc,输出层的偏置项为Bo;

对于双向LSTM,由于有正向和反向两个计算方向,其结构用公式表示为:St=f(UXt+WSt‑1)

S′t=f(U′Xt+W′S′t+1)

O′=g(V′S′t+VSt)

其中St为正向t时刻的隐藏状态,S′t是反向t时刻的隐藏状态,U,W,U′,W′分别是正向和反向对应的矩阵权重,最终的输出O′取决于正向和反向计算的加和,V′、V为权重矩阵,f为上面基本的LSTM结构,g为softmax函数;

在注意力机制中,eij的值越高,表示第i个输出在第j个输入上分配的注意力越多,在生成第i个输出的时候受第j个输入的影响也就越大,eij是由第i‑1个输出隐藏状态Si‑1和输入中各个隐藏状态共同决定的,经过归一化成为权重aij,由带注意力机制的LSTM通道的隐藏向量序列(h1,h2…ht)按权重相加得到的新闻文本在i时刻的信息向量ci,能表示为公式:eij=a(Si‑1,hj)

其中a是sigmoid函数;

eij经过归一化成为权重aij,aij表示为公式:

其中,Tx为输入词的个数;

隐藏向量序列(h1,h2…ht)按权重相加得到ci,ci表示为公式:Step2.2、CNN通路提取文本局部特征,为了提取不同方面特征,使用两个CNN通路;同一条CNN通路中卷积核的尺寸相同,池化层均采用最大池化;通过将不同卷积核的CNN的处理结果拼接在一起,以更全面、更细致地挖掘深层特征;嵌入层为输入新闻文本词向量矩阵,依次经过CNN1,CNN2,2种3层卷积层和池化层提取特征和降维,2条通路的输出经压平层压为1维向量;

Step2.3、在经过CNN通路和带有注意力机制的LSTM通路提取不同层次的文本特征后,通过融合层来实现各个通路输出的融合;融合层采用合并拼接各个神经网络通路输出向量的方式,将各个通路提取的文本特征向量拼接融合在一起;各条通路的输出均为一维的数据;

所述步骤Step3的具体步骤如下所示:

d

Step3.1、新闻文本对应的摘要Y=(y1,y2…yN),yi∈R ,i∈[0,N]其中d为向量维度,N为摘要的词个数;

每个LSTM单元都会根据它的输入并通过其内部结构计算出ht,具体过程如下:it=σ(W1yt‑1+W2ht‑1+W3M)

i′t=tanh(W4yt‑1+W5ht‑1+W6M)

ft=σ(W7yt‑1+W8ht‑1+W9M)

ot=σ(W10yt‑1+W11ht‑1+W12M)

mt=mt‑1·ft+it·i′t

ht=mt·ot

其中yt‑1,ht‑1,M是每个LSTM单元的输入,Wi,i∈[1,14],是可学习的参数矩阵,σ是sigmoid激活函数,tanh是tanh激活函数,it和i′t是输入层更新,ft是遗忘层更新,ot是输出层更新,mt是更新的细胞状态,ht是LSTM单元的隐含层状态,也是每个LSTM结构的最终输出;

根据ht得到y′t的条件概率:

P(y′t|y′t‑1,y′t‑2,…,y′1,M)=ρ(W13ht+W14M)其中y′t为解码器t时刻的输出,ρ为输出层的softmax函数,对于t时刻,根据LSTM单元的输出ht和M,利用输出层函数softmax,得到在已知前t‑1时刻的摘要词的条件下,第t时刻的摘要词是y′t的概率;对于模型每一次的迭代输出,这个概率是一个定值;

i i

Step3.2、在训练过程中,给定一个训练语料 其中(x ,y)为训练语i i

料的第i个训练样本,x为第i个训练样本的新闻文本,y是其对应的标准摘要;s为训练语料的样本总数,使用交叉熵损失函数,计算模型损失:其中N为每个训练样本标准摘要的词个数,参数θ是构成网络模型的参数;

通过随机梯度下降算法端对端的训练网络模型,优化模型参数θ,使得模型损失L达到最小值。

2.根据权利要求1所述的基于神经网络的多特征融合中文新闻文本摘要生成方法,其特征在于:所述步骤Step1的具体步骤如下所示:Step1.1、结合中文新闻语料的特点,在利用jieba分词工具分词时,将时间、数字整合,不进行分割,在去除停用词时,将名词、数字、形容词排出在外,以保留新闻文本的原始信息以及新闻本文特征。

3.根据权利要求1所述的基于神经网络的多特征融合中文新闻文本摘要生成方法,其特征在于:所述步骤Step4的具体步骤包括:对于新文本X,直接利用训练好的模型参数进行摘要生成,首先对新文本进行文本预处理,即分词,去停用词,使用word2vec将文本转化为词向量,并按顺序输入到模型网络中;采用集束搜索beam search的方法,通过搜索词汇库,生成一个长度为N个词的序列Y,使得P(Y|X)最大,这个公式表示为输入序列为X的条件下,输出是Y序列,其中,X表示输入序列即输入的新闻文本,Y表示输出序列即模型生成的摘要序列;即通过每个时间步追踪的路径数目K对搜索进行参数化,在每个时间步执行argmax P(yt|{y1,…,yt‑1},X),保留K个概率最大的t元序列,直至生成使P(Y|X)最大的N元序列。