1.融合标题和正文双向互注意力的涉法新闻相关性分析方法,其特征在于:所述方法的具体步骤如下:Step1、获取标题和正文的词级特征向量;
Step2、构建标题和正文相似矩阵去分别计算正文辅助标题、以及标题辅助正文的双向互注意力;
Step3、分别对正文辅助标题以及标题辅助正文这两种情况下得到的双向互注意力向量进一步提取上下文依赖关系,然后把提取到的上下文依赖关系在标题与正文进行交叉融合,以得到整篇新闻的从网络层输出的新闻完整特征;
Step4、根据新闻特性判断其是否属于涉法新闻;
所述步骤Step2的具体步骤为:Step2.1、进行标题与正文相似矩阵的构建,正文辅助标题相似矩阵为:N*L
Sik=α(T:i,C:k)∈R
其中Sik表示第i个标题描述词和第k个正文辅助词之间的相似度,T:i表示T的第i列向量,C:k表示C的第k列向量,α表示计算T与C之间相似度的可训练函数,如下式所示:其中 是待训练的权重向量,是逐元素乘法,[;]是跨行的向量串联,而因式乘法表示矩阵乘法,t与T的列向量对应,c与C的列向量对应;这样得到正文辅助标题的相似矩N*L阵S∈R ;标题辅助正文的相似矩阵与之类似,只需要将输入顺序转置即可;
Step2.2、对正文辅助标题相似矩阵S中的列向量进行softmax归一化得到注意力权重ai,再将ai与正文C中的每个词进行加权求和,就得到标题对正文的注意力向量矩阵U;
L
ai=softmax(Si:)∈R
2d*N
U=∑aikC:k∈R
正文对标题的注意力在正文辅助标题的情况下,指的是标题中哪个词与正文词之一具有最高的相似性;先对S中的每一列取最大值,再经过softmax归一化后得到标题词对正文词的注意力权重p,再用p与标题词进行加权求和,得到所关注标题词的向量f,该向量表示标题词相对正文而言最重要的词的加权和,f在列方向上平铺N次,得到正文对标题的注意力向量矩阵F;
N
p=softmax(maxcol(S))∈R
2d
f=∑ipiT:i∈R
为了减少信息丢失,将T,U,F联合共同传递给后续网络层;最终得到完整的正文辅助标题的双向互注意力向量;
Step2.3、标题辅助正文的双向互注意力计算:将正文辅助标题的相似矩阵S变更为标
2d*L
题辅助正文的相似矩阵S',即得到正文对标题的注意力U'∈R 以及标题对正文的注意力
2d*L
F'∈R ,最后将C,U',F'三者通过 函数得到完整的标题辅助正文的双向互注意力向量;
所述步骤Step3的具体步骤为:
Step3.1、使用两个BiGRU来分别提取正文辅助标题的双向互注意力向量、标题辅助正文的双向互注意力向量的上下文依赖关系;
Step3.2、对两个双向互注意力向量进行特征提取,用连接残差来最大程度确保所有信息进入输出网络层,实现标题与正文的交叉融合。
2.根据权利要求1所述的融合标题和正文双向互注意力的涉法新闻相关性分析方法,其特征在于:所述步骤Step1的具体步骤为:Step1.1、使用中文微博词向量来获得标题中每个词的嵌入表征,引入注意力机制,得到加权后的标题词级特征向量;
Step1.2、对正文文档进行分句,再对每个句子进行分词,之后对每个句子的词进行编码得到向量,再通过注意力机制来分别提取文档中每个句子的词级特征向量。