1.基于层级交互注意力的文本摘要方法,其特征在于:所述基于层级交互注意力的文本摘要方法的具体步骤如下:Step1、使用英文数据集Gigaword作为训练集,采用预处理脚本对数据集进行预处理得到训练集和开发集,每个训练样本包含一对输入文本和摘要句;
Step2、编码器利用双向LSTM对训练集进行编码,层数设置为三层;
Step3、解码器采用单向LSTM网络,输入待解码的句子计算各层上下文向量;
Step4、对于多层编解码模型,编解码器包含多层LSTM,在每一层LSTM中计算上层与当前层之间的隐状态表征,从而将上层的上下文向量融合到当前层;
Step5、将带有特征信息的各层上下文向量与当前层的输出进行拼接,得到当前层的解码器隐状态;
Step6、融入不同层次的上下文信息会带来信息的冗余和噪声,利用变分信息瓶颈对数据进行压缩和去噪。
2.根据权利要求1所述的基于层级交互注意力的文本摘要方法,其特征在于:所述步骤Step1的具体步骤为:对数据进行标准化处理,包括数据集所有单词全部转小写、将所有数字替换为#,将语料中出现次数小于5次的单词替换为UNK标识;从开发集中选择一部分数据进行去除和筛选后作为测试集。
3.根据权利要求1所述的基于层级交互注意力的文本摘要方法,其特征在于:所述步骤Step2的具体步骤:编码器采用双向长短期记忆网络Bi-Directional LSTM,BILSTM,BILSTM包括前向和后向LSTM,前向LSTM从左向右读取输入序列得到前向编码向量,而后向LSTM从右向左读取序列得到后向编码向量,最后将前向和后向编码向量拼接得到输入序列的向量表征。
4.根据权利要求1所述的基于层级交互注意力的文本摘要方法,其特征在于:所述步骤Step3的具体步骤为:
Step3.1、解码器采用单向LSTM网络,读取编码器最后时刻的状态向量初始化,然后根据输入上下文表征向量,逐词生成摘要序列,其中生成摘要的长度必须小于等于输入序列的长度;
Step3.2、在解码时,解码器读取上一时刻目标词的词嵌入向量,上一时刻的隐状态向量和当前时刻的上下文向量生成该时刻的隐状态向量;
Step3.3、引入注意力机制,根据上一时刻解码器的隐状态、编码向量计算得到当前时刻的上下文向量;
Step3.4、然后通过当前时刻上下文向量和隐状态向量计算得到当前时刻的输出向量,进而计算得到当前时刻的输出向量在预设目标词表上输出概率。
5.根据权利要求1所述的基于层级交互注意力的文本摘要方法,其特征在于:所述步骤Step4的具体步骤为:Step4.1、融合上层的上下文向量和隐状态向量作为当前层的输入;
Step4.2、将当前层的输入送入LSTM得到当前层网络的输出;
Step4.3、计算多层解码器网络的最后一层的输出向量,计算得到目标输出在词表上的概率分布。
6.根据权利要求1所述的基于层级交互注意力的文本摘要方法,其特征在于:所述步骤Step5的具体步骤为:Step5.1、在网络当前层,对获取各层上下文向量分别进行拼接,得到跨层融合的上下文向量和解码器隐状态,其包含了编码器不同层次的特征信息;
Step5.2、利用解码器隐状态和上下文向量计算得到输出向量,进而可以计算出输出向量在词表上的输出概率。
7.根据权利要求1所述的基于层级交互注意力的文本摘要方法,其特征在于:所述步骤Step6的具体步骤为:Step6.1、给定输入序列,编解码模型通过计算概率生成摘要序列;
Step6.2、通过最大化生成摘要概率的对数似然函数来学习模型参数;
Step6.3、引入信息瓶颈作为编码的中间表征,构造从中间表征到输出序列的损失,作为分类的交叉熵损失;
Step6.4、加入约束,要求概率的分布与标准正态分布的KL散度Kullback–Leibler divergence尽量小。