1.一种舆情新闻事件跟踪方法,其特征在于执行过程分为以下4个步骤:
(1)舆情新闻数据在线获取与预处理:首先选取需要进行跟踪的舆情新闻事件,然后持续地从社交网络和新闻网页上爬取该事件的新闻数据,将在线获取的数据进行预处理,去除停用词并进行分词;
(2)构建MBTM(Minority Biterm Topic Model)并推断舆情新闻事件隐含主题:定义舆情新闻数据词典,提取二元组;给定参数,对新闻数据的主题分布、主题和二元组进行随机采样,重复采样生成过程以此构建MBTM模型,利用该模型对预处理后的舆情新闻数据进行建模,通过求边际积分的收缩变分表示方法推断舆情新闻事件的隐含主题;
(3)舆情新闻事件主题演化轨迹跟踪:设置时间节点,在每个时间节点处对模型当前的主题‑词分布进行采样,获取对应主题中的词项,通过观察不同时间节点对应词项的演变,得到特定舆情新闻事件主题的演化轨迹;
(4)基于JS散度和主题强度的舆情新闻事件主题的演化轨迹分析:计算相邻时间节点主题‑词分布间的JS散度,衡量特定舆情新闻事件主题在特定时间段内是否发生演化;将舆情新闻事件的主题强度看作该事件主题在上一个时间节点到当前时间节点内被讨论的次数,计算主题在每个时间节点的强度,从而监控舆情新闻事件的发展情况。
2.根据权利要求1所述的方法,特征在于,所述步骤(2)进一步包括以下具体步骤:
2.1:定义舆情新闻数据词典
获取步骤1.2.2预处理后得到的文字内容,将其中包含的全部词项存储在舆情新闻数据词典中,记为W={w1,w2,...,ws}中,词典即为新闻数据中出现的所有词项的集合,其中,S为词典中词项的总数,即词典的大小,词典中没有重复的词项,即wi≠wj(1≤i,j≤S,i≠j);
2.2:提取舆情新闻数据中的二元组
将每条舆情新闻数据作为一个单独的上下文单元,其中任何两个不同的词项构成一个二元组,一个包含3个不同词项的上下文单元将生成3个二元组表示为(w1, w2, w3) → {(w1, w2), (w2, w3), (w1, w3)} (2‑1)按照式2‑1的规则提取每条舆情新闻数据文字内容中的二元组,得到二元组集合其中,|B|为该集合中二元组的个数,bi为第i个二元组,1≤i≤|B|,bi=(w1(bi),w2(bi)),w1(bi)和w2(bi)为二元组bi中的两个词项;二元组的提取过程可以通过对I的一次扫描来完成;
2.3:构建MTBM
用舆情新闻数据词典W中的S个词项来表示K个主题,K为设定的主题总数,K≥1,zk为主题的指示变量,k为主题序号(k∈{1,2,...,K}),θ为数据集的主题分布,φk为主题zk的主题‑词分布,α(0≤α≤1)和β(0≤β≤1)分别为整个数据集的主题分布和每个主题下的主题‑词分布的先验参数,MBTM按照以下生成过程构建:
2.3.1:从参数为α的狄利克雷分布中对所有新闻数据的主题分布θ进行随机采样,从而推断出概率分布中的隐含变量θ、得到具体的概率分布,即有θ~Dir(α),表示为其中,α是K维参数,αi>0,Γ(x)是Gamma函数;
2.3.2:对每个主题zk,基于参数为β的狄利克雷分布对每个主题进行随机采样,得到主题‑词分布φk,简称为词项分布,即有φk~Dir(β);
2.3.3:对二元组集合中的每个二元组b:基于参数θ的多项式分布,为每个二元组b随机采样一个主题z,即有z~Multinomial(θ),基于参数φk的多项式分布对词项w1(b)和w2(b)进行随机采样,即有w1(b),w2(b)~Multinomial(φk);
2.4:通过MBTM推断舆情新闻事件的隐含主题
MBTM模型在步骤2.3模型生成过程的基础上,将主题分布θ和每个主题的词项分布φk通过求边际积分的收缩变分表示方法,从后验分布中去除,只对隐含主题变量z进行推断,z服从于变分多项分布Multinomial(γbk),γbk为该多项式分布的变分参数,舆情新闻事件隐含主题按如下步骤进行推断:
2.4.1:随机初始化Nk和Nk,w,令时间步长t=1,对每个二元组b,更新变分参数γbk,首先对于变分参数γbk,使用变分推断中经常使用的坐标上升法,对变分后验分布的变分下限(Evidence Lower Bound,ELBO)进行最大化,该过程采用零阶近似方法,即在近似时只保留零阶泰勒展开,最终得到γb的近似更新公式为,从而克服变分期望项的较高计算代价带来的困难:其中,Nk和Nk,w为表示执行更新和恢复参数所需要的全部数据的统计量,当一个新的二元组b出现时,随机地更新统计量,从而迭代地更新变分参数γbk直至收敛;\b表示统计量计数时要去掉当前二元组b;
2.4.2:基于得到的变分参数γbk,按照公式2‑4和2‑5估计Nk和Nk,w:
2.4.3:按照公式2‑6定义Robbins‑Monro序列,用来描述当时间步长t改变时,模型在新数据和历史数据之间的权衡,随着步长t的增加,对新数据变得不敏感,τ和κ是Robbins‑Monro序列的超参数(τ≥1,0≤κ≤1);
2.4.4: 和 分别是Nk和Nk,w进行了一次平行坐标上升更新后的无偏估计,描述一个二元组是从二元组集合B中通过均匀分布被抽取出来的,平行坐标上升利用前一时刻的参数γbk进行迭代更新,对剩余参数进行最大似然估计,动态计算局部最优解,以此逼近局部最优解,使用这种估计方法,重新按照公式2‑7和2‑8来更新Nk和Nk,w,从而得到Nk和Nk,w的更新规则:
2.4.5:更新时间步长t:在Nk和Nk,w的每次更新操作后将时间步长t加1;
2.4.6:在对所有的二元组进行了更新操作后,由于全局参数θk和φk,w仅与充分统计量Nk、Nk,w和模型参数有关,仅需要更新这些充分统计量,就可以进行全局参数的更新,从而推断出舆情新闻事件的隐含主题分布和主题‑词分布,全局参数θk和φk,w的更新公式如下:θk∝Nk+α (2‑9)
φk,w∝Nk,w+β (2‑10)
其中,符号“∝”表示成正比例,Nk和Nk,w表示对整个二元组集合B更新后的样本充分统计量。
3.根据权利要求1所述的方法,特征在于,所述步骤(3)进一步包括以下具体步骤:
3.1:设置时间节点跟踪舆情新闻事件主题的演化轨迹
3.1.1:基于步骤2构建的MBTM,设置时间节点At(t=1,2,…,T),时间间隔根据文本更新速度和需观察主题的粒度来设置,通常是时间单位,日、月或者年的整倍数;
3.1.2:由于MBTM中的参数是实时更新的,因此在每个时间节点采样当前的主题‑词分布 并将该分布保存在主题‑词向量 中;同理,采样每条数据上所有主题的概率分布θj,k,并将该分布保存在主题向量Δj=(θj,1,θj,2,...,θj,K)中;
3.1.3:得出各时间节点下的主题‑词分布,获取对应主题中的词项,按词项的概率分布降序排列,用主题在词项上的变化来描述事件主题的演化轨迹。
4.根据权利要求3所述的方法,特征在于,所述步骤(4)进一步包括以下具体步骤:
4.1:利用JS散度来度量两个舆情新闻事件主题间的相似度
4.1.1:设定舆情新闻事件主题演化时同一主题在相邻时间节点的相似度阈值ξ,0≤ξ≤1;
4.1.2:为了度量同一主题zk在两个时间节点之间的相似度,读取3.1.2中得到的主题‑词向量Λk,w,使用公式4‑1中的Jensen‑Shannon散度(简称JS散度)来计算概率分布的相似度;
其中, 和 分别为At的前一个时间节点和当前时间节点下舆情新闻事件主题zk中词项w的概率分布,S为词典中词项的总数;
4.1.3:判定舆情新闻事件主题的演化状态:当两个时间节点的舆情新闻事件主题间的JS散度小于阈值ξ(0≤ξ≤1)时,则判定为主题发生了演化,否则判定为该主题停止演化;进一步形成舆情新闻事件主题演化状态图,横坐标表示时间节点,纵坐标表示节点间主题的JS散度,展示新闻事件主题的演化轨迹;
4.2:度量舆情新闻事件的主题强度
将舆情新闻事件的主题强度看作该事件的主题在上一个时间节点到当前时间节点内被讨论的次数,次数多则认为该主题强度高,反之则低,每一条新闻数据上的主题分布以概率形式给出,首先确定一条舆情新闻最有可能属于的主题,然后按如下步骤度量主题强度:(1)设定两个阈值λ和μ,0≤λ≤1,0≤μ≤1;
(2)读取3.1.2中得到的主题向量Δj,将每条数据Ij上所有主题的分布概率θj,k(k∈{1,
2,...,K})和阈值λ对比,将大于阈值λ的主题放入候选主题列表;
(3)从候选主题列表中选出概率值最大的主题,即max{θj,k},将候选主题列表中所有主题的分布概率与μ*max{θj,k}相比,大于该值的主题作为新闻数据Ij的主题;
(4)统计前一个时间节点到当前时间节点内所有讨论主题zk的新闻数据的条数Dk,按公式(4‑2)计算主题强度:其中, 为前一个时间节点到当前时间节点At内获取的新闻数据的总条数;
(5)在每个时间节点上执行如上操作,即可获得主题在每个节点的强度,进一步形成舆情新闻事件主题强度演化图,横坐标表示时间节点,纵坐标表示主题强度,展示该新闻事件主题强度的演化过程,以监控该舆情新闻事件的发展状况。
5.根据权利要求2,3或4所述的方法,特征在于:
步骤2.4中,设定主题总数K为10,狄利克雷先验参数α=1,β=0.01,Robbins‑Monro序列的超参数τ=1000和κ=0.8;
步骤3.1.1设定时间节点总数T=5;
步骤4.1.1设定相似度阈值ξ=0.5;
步骤4.2设定强度阈值λ=0.1,μ=0.5。