1.基于半监督的敏感舆情短语生成方法,其特征在于,所述方法包括:结合词嵌入表征和词袋表征构建主题模型,用于提取敏感的潜在主题特征;
利用无监督方法对数据进行伪标注并预训练一个短语生成模型;
最后结合短语生成模型和主题模型,基于少量标注数据进行微调,利用梯度下降算法训练参数,由此构建基于半监督的敏感舆情短语生成方法模型;
所述结合词嵌入表征和词袋表征构建主题模型,用于提取敏感的潜在主题特征具体包括:Step1.1、将文本x
Step1.2、利用多头注意力机制将多个自注意力连接起来;
Step1.3、为防止丢失原文本语义,对于输出的结果进行残差连接:A
Step1.4、将文本的词袋输入xbow经过多层感知机MLP进行编码:A
Step1.5、将A
通过不断的最小化Loss值,将得到融入词嵌入表征和词袋表征的主题模型,利用文本的重参数z表示文本的潜在的主题表征与在文本解码时进行操作;
所述利用无监督方法对数据进行伪标注并预训练一个短语生成模型具体包括:Step2.1、使用一个双向门控递归单元Bi-GRU模型作为编码端,将文本进行编码,对于文本xH=Bi-GRU(x
其中文本编码H,表示最终时刻文本编码的隐状态,网络记忆模块M=
其中z为潜在的主题表征,P
Step2.3、在解码端使用单层的GRU网络中,包含一个s={ss
其中GRU表示单层的GRU网络,uStep2.4、将设计的记忆单元模块M通过注意力的方式进行对编码器中的特征信息进行学习,从而获取到上下文表征向量c:c=exp(f(h,s,z))/∑exp(f(h,s,z))·M (4)其中h为编码层隐藏状态,s为解码器的隐藏状态,z为融合表征的重参数,f表示度量词语与词语之间的时序关系:f(h,s,z)=v·tanh(W[h;s;z] +b) (5)v,W,b均是可以学习的参数;
Step2.5、结合复制网络,其允许从源输入中直接对关键字进行提取,复制机制复制概率表示:P
σ,W是可以学习的参数,softmax为归一化网络;
Step2.6、最后整合上下文表征向量c与复制网络得到对预测概率PP
其中softmax是归一化函数,[;]为拼接操作;
Step2.7、模型的损失函数为:L
所述结合短语生成模型和主题模型,基于少量标注数据进行微调,利用梯度下降算法训练参数,由此构建基于半监督的敏感舆情短语生成方法模型包括Step3.1、输入的一个文本
Step3.2、将主题模型中得到文本的重参数潜在的主题表征z带入模型对seq2seq模型进行指导,为了更好地获得敏感舆情的潜在特征,将解码器输出s进行微调:Step3.3、此时对于单词的预测概率为微调后的参数和主题模型的重参数的预测的概率:y为通过一个条件语言模型生成的一个变长的特征向量,PStep3.4、主题模型的损失
其中超参数γ平衡了NTM和KG模型的影响,以保证两个模块的参数能共同更新共同训练;
再利用梯度下降算法训练参数,由此构建基于半监督的敏感舆情短语生成方法模型。