1.一种融合主题信息的司法舆情文本摘要方法,其特征在于:所述融合主题信息的司法舆情文本摘要方法的具体步骤如下:Step1、从互联网采集数据,对数据进行处理,构造司法舆情文本摘要数据集;所述司法舆情文本摘要数据集中每个文本对应一个标准摘要Y;
Step2、在上述构造的司法舆情文本摘要数据集基础上,利用主题模型生成包含主题词和文档主题概率分布的司法舆情主题知识库;
Step3、编码器对新闻文本序列X和对应的主题词W分别进行编码,得到其特征表示新闻文本隐状态序列H和新闻文本主题词隐状态序列H′,并计算生成新闻文本相关的主题向量c′;
Step4、基于新闻文本相关的主题向量c′和新闻文本隐状态序列H,生成摘要解码向量序列R={r1,r2,…,rM};
prob
Step5、计算生成摘要的主题概率s 和文档主题损失KLloss;
Step6、基于标准摘要Y和生成的摘要 计算其负对数似然损失NLloss,结合上述KLloss得到整个模型的损失,通过梯度下降算法对模型进行训练,得到优化模型,最后利用优化模型在测试集上进行测试,模型读取测试序列生成相应的摘要序列。
2.根据权利要求1所述的融合主题信息的司法舆情文本摘要方法,其特征在于:所述步骤Step1的具体步骤为:Step1.1、从互联网采集舆情数据并进行格式化处理,得到新闻正文和新闻标题,构造以新闻正文为源文本,新闻标题为摘要的数据集;
Step1.2、利用人工标注的方式,对摘要数据集进行标注,判断每条新闻是否为司法舆情相关新闻,得到司法舆情文本摘要数据集;所述司法舆情文本摘要数据集中每个文本对应一个标准摘要Y;
Step1.3、基于上述的司法舆情文本摘要数据集,进行数据预处理。
3.根据权利要求2所述的融合主题信息的司法舆情文本摘要方法,其特征在于:所述步骤Step1.3的具体步骤为:Step1.3.1、过滤新闻正文少于10个字或者新闻标题少于5个字的噪声数据;
Step1.3.2、正文和标题中所有数字以#替代;
Step1.3.3、过滤正文和标题中的乱码字符;
Step1.3.4、利用jieba对新闻正文和标题进行分词;
Step1.3.5、构造词汇表;
Step1.3.6、划分训练集、开发集和测试集。
4.根据权利要求1所述的融合主题信息的司法舆情文本摘要方法,其特征在于:所述步骤Step2的具体步骤为:Step2.1、利用LDA主题模型,生成每个新闻正文对应的文档主题概率分布dprob和每个词在主题下的概率分布wprob;
Step2.2、通过下式计算得到每个文档对应主题dtopic;
dtopic=arg max(dprob)Step2.3、通过下式从wprob中选取概率最高的前k个词作为主题为dtopic文档的新闻文本主题词序列W=(w1,w2,…wK);
W=topK(wprob)
其中K为新闻文本主题词序列长度,设置为20。
5.根据权利要求1所述的融合主题信息的司法舆情文本摘要方法,其特征在于:所述步骤Step3的具体步骤为:Step3.1、新闻文本编码器对输入的新闻文本序列X={x1,x2,…,xN}进行编码,得到编码后的新闻文本隐状态序列H={h1,h2,…,hN},其中N为新闻文本隐状态序列长度;
Step3.2、主题词编码器对输入的新闻文本主题词序列W={w1,w2,…,wK}进行编码,得到编码后的新闻文本主题词隐状态序列H′={h′1,h′2,…,h′K},其中K为新闻文本主题词隐状态序列长度,即新闻文本主题词序列长度;
Step3.3、通过下式计算得到新闻文本的特征向量hN;
Step3.4、通过下式计算得到新闻文本主题词隐状态序列H′和新闻文本的特征向量hN之间的相关性e′i;
ei′=v′·tanh(Wbh′i+WhhN)其中Wb,Wh为可训练参数,tanh为激活函数;
Step3.5、通过下式对e′i进行归一化;
α′i=softmax(e′i)
Step3.6、通过下式计算生成新闻文本相关的主题向量c′
6.根据权利要求1所述的融合主题信息的司法舆情文本摘要方法,其特征在于:所述步骤Step4的具体步骤为:
Step4.1、解码器包括嵌入层和循环神经网络层,循环神经网络层使用主题词信息增强的循环单元;词嵌入层读入解码器前一时刻输出的词,转化为词嵌入向量yt-1,根据嵌入层的输出yt-1,前一时刻的隐状态st-1和新闻文本相关的主题向量c′生成t时刻的隐状态st;
Step4.2、根据注意力机制计算st-1与新闻文本隐状态序列H之间的上下文向量contextt;
Step4.3、根据下式,利用上下文向量contextt和隐状态st计算生成t时刻的摘要解码向量rt;
rt=tanh(Wo[st;contextt]+bo)其中Wo为权重矩阵,bo为偏置向量。
7.根据权利要求6所述的融合主题信息的司法舆情文本摘要方法,其特征在于:所述步骤Step4.1的具体步骤为:
Step4.1.1、根据下式计算输入门it,遗忘门ft和输出门ot:其中W为可学习权重矩阵,σ为sigmod激活函数,ut为中间细胞状态;
Step4.1.2、根据下式计算细胞状态ct;
ct=ft·ct-1+it·ut
Step4.1.3、根据下式计算t时刻的隐状态st;
st=ot·tanh(ct)。
8.根据权利要求6所述的融合主题信息的司法舆情文本摘要方法,其特征在于:所述步骤Step4.2的具体步骤为:Step4.2.1、根据下式计算:解码时刻t-1的隐状态st-1与新闻文本隐状态序列H中的向量元素hj之间的相关性向量et,j:其中va和Wa为可学习参数;
Step4.2.2、根据下式对et,j归一化,得到注意力向量αt,j:αt,j=softmax(et,j)
Step4.2.3、根据下式计算上下文向量contextt;
9.根据权利要求1所述的融合主题信息的司法舆情文本摘要方法,其特征在于:所述步骤Step5的具体步骤为:Step5.1、根据下式计算生成摘要的表征向量rmax;
rmax=maxpool([r1,r2,…rM])其中maxpool为最大池化函数;
Step5.2、根据下式计算生成摘要的主题概率sprob;
sprob=softmax(Wtrmax+bt)Wt为权重矩阵、bt为偏置向量;
Step5.3、根据新闻文本主题概率分布dprob和生成摘要的主题概率sprob计算得到文档主题损失KLloss;
KLloss=DKL(sprob||dprob)其中DKL表示Kullback-Leibler分布函数。
10.根据权利要求1所述的融合主题信息的司法舆情文本摘要方法,其特征在于:所述步骤Step6的具体步骤为:Step6.1、根据步骤Step4计算得到的摘要解码向量序列R={r1,r2,…,rM},通过下式计算得到生成的摘要其中softmax为归一化指数函数,Wp为权重矩阵,bp为偏置向量,argmax为最大位置函数;
Step6.2、通过下式计算负对数似然损失NLLloss;
Step6.3、根据步骤Step5计算得到的文档主题损失KLloss和步骤Step6.2计算得到的负对数似然损失NLLloss,依据下式计算得到模型的总损失;
loss=λ1NLLloss+λ2KLloss其中λ1和λ2设置为0.5;
Step6.4、再通过梯度下降算法对模型进行训练,得到优化模型;最后利用优化模型在测试集上进行测试,模型读取测试序列生成相应的摘要序列。