1.基于句子关联注意力机制的文本摘要生成方法,其特征在于:具体步骤如下:Step1、收集并处理新闻文本摘要数据作为训练语料、验证语料和测试语料;
Step2、对文档进行预处理,包括分词、去停用词、切分句子;
Step3、使用分层的双向长短期记忆Bi‑LSTM网络对文档进行编码,获取全文语义向量;
Step4、构建第一层门控网络,依据句子间的关联关系识别源文档中句子所占的权重;
Step5、构建第二层门控网络,依据句子的关联性对句子进行冗余约束,过滤多次重复表达的信息;
Step6、基于句子关联性注意力机制的解码算法生成摘要;
所述Step4中:
构建的第一层门控网络,是由文档中每个句子的隐层编码向量hi和文档的向量表示d共同组建,通过构建句子与全文语义之间的关联关系识别文档中的句子的权重,门控网络的构建将促使隐层编码向量hi包含的信息更好的传递至全文语义向量中,参与摘要的生成,第一层门控网络公式如下所示:G1=σ(W1hi+U1d+b1) (1)hiG1=G1⊙hi (2)其中,G1是门控向量,W1和U1是权重向量,b1是偏移向量,σ代表sigmoid激活函数,操作符⊙表示按元素相乘, 表示文档的语义向量由句子级编码的前向和后向对应的隐层状态拼接而成,hiG1表示句子的隐层编码向量经过门控网络后形成的新的隐层状态;在这个阶段,句子在文档中所占的权重将通过门控网络融入其向量表示中,提升模型对于重要句的识别能力;
所述Step5的具体步骤为:依据句子的关联性对句子进行冗余约束,第二层门控网络的输入是当前时刻的句子向量xi与前一时刻的隐层状态h(i‑1)G1,得到新的编码表示hiG2,在训练过程中,通过调整第二层门控网络的σ函数动态地控制文档中冗余句子的筛选;由于门控采用了包含句子权重的编码向量作为输入的一部分,因此本阶段同时考虑句子的重要性,冗余性对摘要生成的影响,第二层门控网络的公式如下所示:G2=σ(W2xi+U2h(i‑1)G1+b2) (4)hiG2=G2⊙hiG1 (5)其中,G2是门控向量,W2和U2是权重向量,b2是偏移向量,σ是激活函数, 和 分别表示词级编码中第i个句子的前向最后一个隐层状态和后向最后一个隐层状态,hiG1表示句子的隐层编码向量经过门控网络后形成的新的隐层状态,操作符⊙表示按元素相乘。
2.根据权利要求1所述的基于句子关联注意力机制的文本摘要生成方法,其特征在于:所述步骤Step1中,借助互联网爬虫自动获取网上的新闻文本信息作为数据来源,收集整理了22万余篇新闻文档作为实验数据,并以9:0.5:0.5的比例划分训练集、验证集、测试集。
3.根据权利要求1所述的基于句子关联注意力机制的文本摘要生成方法,其特征在于:所述步骤Step3的具体步骤为:
Step3.1、选用Google提供的开源词向量工具word2vec,训练得到词向量;
Step3.2、采用双向长短期记忆Bi‑LSTM网络构建分层编码器;
(1)第一层是词级编码器,将输入的词向量转换成句子序列:一级编码状态中,前向长短期记忆LSTM网络顺序读入句子中包含的每个词产生前向隐式状态序列 其中 表示第i个句子中第n个词,后向长短期记忆LSTM网络逆序读入句子中包含的每个词产生后向隐式状态序列 前向和后向对应的隐层状态拼接构成每个句子的编码表示:
在词级别上设置第一层LSTM获取句子级别的向量表示:
hi,t=enc(ei,t,hi,t‑1) (7)其中ei,t表示在第i个句子中t位置处的单词嵌入式表示,hi,t表示隐层向量,词级编码器最后一个时间步的向量输出用于表示句子,定义为(2)第二层是句子编码器,由句子序列的组合推导出文档的语义向量表示,这种词‑句子‑文档层次化的编码方式较好地保存了句子的结构信息:二级编码状态中,同样使用采用双向长短期记忆Bi‑LSTM网络获取全文语义信息,前向LSTM顺序读入文档中每个句子产生前向隐式状态序列 后向长短期记忆LSTM网络逆序读入文档中每个句子产生后向隐式状态序列 前向最后一个隐层状态和后向最后一个隐层状态拼接构成整篇文档的编码表示:在句子级别上设置第二层LSTM获取文档级的向量表示:
ht=encsent(et,ht‑1) (9)最后一个时间步的向量表示用于表示整个文档:
eD=hendD (10)编码器接收”ends”结束符,更新其隐层状态,获取全文语义向量,et表示单词的分布表示,ht‑1表示隐层向量。
4.根据权利要求1所述的基于句子关联注意力机制的文本摘要生成方法,其特征在于:所述Step6中:
注意力机制模型计算不同解码状态下输入端句子向量对应的权值,在每个时刻,当前的输入和上一时刻的隐层状态被送到LSTM网络并输出新的权重,计算编码端向量加权和,并将其提供给LSTM第二层解码器;解码器依据动态的上下文向量更新隐层状态和预测输出。