1.一种基于要素关联注意力机制的汉越新闻文档摘要生成方法,其特征在于:所述方法的具体步骤如下:
Step1、汉越双语新闻文档的收集和分词、去重和标记等预处理;
Step2、融合汉语和越南语的语义空间构建汉越双语词向量;
Step3、在双语词向量的基础上融入多个统计特征构建多特征融合向量;
Step4、构建基于要素关联注意力的LSTM神经网络模型;
Step5、将多特征融合向量输入基于要素关联注意力的LSTM神经网络模型输出汉越双语新闻文档摘要。
2.根据权利要求1所述的基于要素关联注意力机制的汉越新闻文档摘要生成方法,其特征在于:所述步骤Step2的具体步骤如下:Step2.1、预处理后的汉越双语新闻文档用于训练双语词向量;对于单语词向量来说Skip-gram模型的训练目标是在给定目标词的情况下预测上下文单词的表示,其目标是最大化训练数据的对数似然函数 其中T是训练语料库中的单词数,c是上下文窗口的大小;p(wt+j|wt)使用softmax函数定义:其中 和xi是单词wi和其上下文嵌入表示,|V|是词表种的单词数;
Step2.2、在独立训练单语向量矩阵后,在翻译词典的约束下使用CCA算法进行投影,这样两个汉越双语向量就投影到了同一个语义空间上。
3.根据权利要求1所述的基于要素关联注意力机制的汉越新闻文档摘要生成方法,其特征在于:所述步骤Step3中,首先获取双语新闻要素共现程度、句子位置、词频特征和句子相关度特征,再将这些特征融入到双语词向量中。
4.根据权利要求3所述的基于要素关联注意力机制的汉越新闻文档摘要生成方法,其特征在于:所述步骤Step3中,在双语新闻要素共现程度的计算中,计算中文和越南文的要素的交集得到汉越双语共现要素,再计算出汉越双语共现要素在总要素数中的占比得到汉越双语新闻要素共现程度。
5.根据权利要求1所述的基于要素关联注意力机制的汉越新闻文档摘要生成方法,其特征在于:所述步骤Step4中,构建基于要素关联注意力的LSTM神经网络模型,将多特征向量输入LSTM神经网络得到隐状态,再通过要素关联注意力机制得到注意力权重,利用注意力权重得到隐状态的分布;最后得到句子分数,根据此分数选择候选摘要句,分数越高则为摘要句的概率越大。
6.根据权利要求5所述的基于要素关联注意力机制的汉越新闻文档摘要生成方法,其特征在于:计算注意力权重时,在注意力机制上融入了双语新闻要素共现程度特征。
7.根据权利要求5所述的基于要素关联注意力机制的汉越新闻文档摘要生成方法,其特征在于:最终句子分数计算时,通过一个回归函数,使每个句子都对应一个显著性分数,根据这个显著性分数来确定最终的摘要句。
8.根据权利要求1所述的基于要素关联注意力机制的汉越新闻文档摘要生成方法,其特征在于:所述步骤Step4构建基于要素关联注意力的LSTM神经网络模型的具体步骤如下:Step4.1、构建基于注意力机制的LSTM模型,输入的向量为上步骤Step2中得到的训练向量,将向量输入LSTM网络中,经过LSTM神经网络计算得到隐状态H,将隐状态H与双语要素及其共享程度做拼接得到联合向量 其中WH和WE为权重矩阵,EC为双语要素共现程度;通过公式计算注意力分布α=softmax(WTΜ),其中W为权重矩阵,最后依据注意力权重分布来计算隐状态的大小,得到依据注意力结合双语要素关联得到的向量表示x=HαT;
Step4.2、根据公式得到最终的每个句子表示h*:h*=tanh(Wxx+WhhN),其中Wx和Wh为权重矩阵,hN为每个LSTM的隐状态输出;
Step4.3、根据公式得到每个句子的显著性分值 其中Wh和bh是回归权重;
Step4.4、定义损失函数为 其中si为目标函数,根
据反向传播算法,包括单词向量的模型参数都进行微调,并通过强化学习的方式将评价指标中的标准分值引入损失函数,以有监督的方式指导权重更新。