1.多特征融合的越南语关键词生成方法,其特征在于:首先在编码过程中融合了词性信息、命名实体信息和位置信息;其次利用双向注意力机制增强标题信息在生成过程中的指导作用;最后将融合多种语义信息的特征向量送入解码层,输出最终预测概率分布,进而生成越南语关键词;
所述方法的具体步骤如下:
Step1、爬取越南语新闻文档及关键词;
Step2、对越南语新闻文档及关键词过滤筛选,对新闻文档字符长度小于50个及大于300个的文档进行删除;删除新闻文档中关键词个数小于2的文档;对越南语文档进行分词预处理,将所有数字替换为
Step3、采用VnCoreNLP越南语自然语言处理工具包对预处理后的越南语文档语料进行词性标注和命名实体识别,并计算词汇的位置向量来提高生成关键词的质量,计算表达式为:其中l代表词汇的位置向量,i代表新闻文档中第i个词汇的位置,n代表该新闻文档中总的词汇数目;
Step4、将每个词汇的词性标注和命名实体识别映射为词性向量和命名实体向量,得到的词性向量、命名实体向量、位置向量l与原始词向量拼接,最终构成一个512维的上下文向量xStep5、双向GRU作为编码器,输入的是带有词性向量、命名实体向量、位置向量l、原始词向量的上下文向量X=(x前向GRU从左到右读取输入序列,分别生成上下文隐藏状态序列Step6、双向注意力层的输入分别是上下文和标题的向量表征h首先计算相似度矩阵S
S
其中S
Step7、从上下文到标题的注意力:上下文到标题的注意力表示哪一个标题词与上下文词最相关;au
从标题到上下文的注意力:标题到上下文的注意力表示哪一个上下文词与标题词最相关;bv
将上下文向量和注意力向量组合在一起产生G=[gStep8、合并层对上下文向量h其中λ∈(0,1)是超参数;
Step9、解码层使用了一个基于注意力的单向GRU进行解码,计算表达式为:其中t=1,2,…,L
Step10、计算第t个预测关键词在预定义词汇表V上的预测概率分布:其中y
Step11、为了结合复制机制,首先在预测的每一步,通过动态计算一个生成概率g其中w
接下来,g
其中