1.一种融合多元语义的文本摘要自动生成方法,其特征在于,包含以下步骤:步骤1,基于序列到序列模型,结合自然语言处理的多元语义特性,在源文本输入到编码器之前融合多元语义特征,使源文本包含更多的语义信息;
步骤2,将融合多元语义特征后的源文本输入到编码器中的双向长短期记忆网络中,并得到融入多元语义特征的文本中各个词向量对应的隐藏层状态;
步骤3,解码器采用单向长短期记忆网络结合改进的注意力机制、通过上下文向量以及当前时刻的解码器隐藏层状态来预测下一时刻生成的词向量;
步骤4,利用损失函数对该模型进行训练,通过训练后的模型将文本自动生成摘要。
2.根据权利要求1所述的融合多元语义的文本摘要自动生成方法,其特征在于,所述步骤1的融合多元语义特征包括两次语义信息提取和两次向量拼接,具体过程为:设置卷积神经网络的两个卷积层的卷积核数量与词向量大小k相同,将第一个卷积层的每个卷积核的大小设置为3,将第二个卷积层的每个卷积核的大小设置为5;
源文本输入第一个卷积层,第一个卷积层输出k个语义向量,并将该k个语义向量进行第一次拼接;
拼接后的语义向量作为新的特征矩阵输入到第二个卷积层,第二个卷积层再次输出k个语义向量,并将新的k个语义向量进行第二次拼接,最后将其输入到编码器。
3.根据权利要求1所述的融合多元语义的文本摘要自动生成方法,其特征在于,所述步骤2中隐藏层状态表示为:
其中,hi由前向隐藏层状态 和后向隐藏层状态 拼接成, 和 的生成公式为:其中,xi表示输入的第i个词向量,i∈[1,m],m表示输入的源文本词向量个数。
4.根据权利要求3所述的融合多元语义的文本摘要自动生成方法,其特征在于,所述步骤3具体包含以下步骤:
步骤3.1,通过单向长短期记忆网络计算t时刻解码器隐藏层状态st;
步骤3.2,通过改进的注意力机制和t时刻编码器的隐藏层状态生成用于t时刻解码的上下文向量Ct;
步骤3.3,通过上下文向量Ct和t时刻解码器隐藏层状态st对词汇进行预测。
5.根据权利要求4所述的融合多元语义的文本摘要自动生成方法,其特征在于,所述步骤3.1中t时刻解码器隐藏层状态st的计算公式为:st=LSTM(st‑1,yt‑1)其中,st‑1为上一时刻隐藏层状态,当进行模型训练时,yt‑1是训练集中参考摘要词汇的词向量,当用训练好的模型进行预测时,yt‑1是上一时刻经过预测得出的词向量;将编码器隐藏层最后一个编码输出结果hm初始化解码器的初始时刻的隐藏层状态s0,将源文本的结束向量赋值给解码器的初始输入序列y0;t∈[1,n],n为生成摘要的设置长度。
6.根据权利要求5所述的融合多元语义的文本摘要自动生成方法,其特征在于,所述步骤3.2中t时刻的上下文向量Ct利用编码器隐藏层状态hi和解码器在t时刻的隐藏层状态st生成,计算公式如下:
其中,将非饱和激活函数LeakyReLU引入注意力机制来优化模型,LeakyReLU的公式为:LeakyReLU=max(θx,x)其中,θ为函数的参数,θ∈(‑∞,1);
其中,v,Wh,Ws,battn均是可学习的参数,exp(·)表示指数函数, 表示解码器t时刻的t
隐藏层状态st和编码器的隐藏层状态 的相似度,α表示源词汇的概率分布,i∈[1,m],t∈[1,n]。
7.根据权利要求6所述的融合多元语义的文本摘要自动生成方法,其特征在于,所述步骤3.3中t时刻词汇预测的公式如下:Pvocab=softmax(y′(V[st;Ct]+b)+b′)其中,V′、V、b、b′均是可学习的参数,Pvocab是字典中所有单词的概率分布,softmax(·)表示softmax函数,最终预测单词w的最终分布为:P(w)=Pvocab(w)。
8.根据权利要求7所述的融合多元语义的文本摘要自动生成方法,其特征在于,所述步骤4中当时刻t时对于目标词汇 的损失函数为:且整个序列的损失为:
利用训练好的模型,自动生成摘要。
9.一种融合多元语义的文本摘要自动生成装置,其特征在于,包括:多元语义特征融合模块,用于基于序列到序列模型,结合自然语言处理的多元语义特性,在源文本输入到编码器之前融合多元语义特征,使源文本包含更多的语义信息;
编码器隐藏层状态计算模块,用于将融合多元语义特征后的源文本输入到编码器中的双向长短期记忆网络中,并得到融入多元语义特征的文本中各个词向量对应的隐藏层状态;
词向量预测模块,用于解码器采用单向长短期记忆网络结合改进的注意力机制、通过上下文向量以及当前时刻的解码器隐藏层状态来预测下一时刻生成的词向量;
模型训练模块,用于利用损失函数对该模型进行训练,通过训练后的模型将文本自动生成摘要。