1.融合近邻标题图的新闻话题发现方法,其特征在于:所述方法的具体步骤包括:Step1、通过爬虫技术爬取热点案件舆情新闻,选取相关新闻进行新闻话题数据集的构建;通过对爬取的新闻进行分析使每条新闻只属于一个案件话题,人工标注新闻与哪个案件话题相关,经过数据筛选和预处理;
Step2、通过在话题发现的过程中引入标题的关联关系,构建近邻标题图,通过图卷积网络提取标题的全局特征;为避免噪声数据的影响,同时使用深度网络提取新闻文档的局部特征,加入到标题的编码过程中去,从而更好地实现话题新闻聚类。
2.根据权利要求1所述的融合近邻标题图的新闻话题发现方法,其特征在于:所述步骤Step1的具体步骤为:Step1.1、通过爬虫技术爬取各大新闻网站和公众号平台近年来的重点新闻;
Step1.2、对爬取的数据进行筛选和预处理;数据的筛选和预处理过程包括对新闻数据和案件话题相关性的人工校准,去除非案件话题相关的数据和重复的数据,去除特殊符号和链接;
Step1.3、采用人工标注,获得新闻话题数据集;通过对爬取的新闻进行分析使每条新闻只属于一个案件话题,人工标注新闻与哪个案件话题相关。
3.根据权利要求1所述的融合近邻标题图的新闻话题发现方法,其特征在于:所述Step2的具体步骤如下:Step2.1、编码新闻话题数据集中标题部分,通过Bert预训练模型训练完成后能够获得标题的表示,以便接下来构建近邻标题图;
Step2.2、采用K近邻算法构建新闻近邻标题图来提取新闻标题的全局特征;
Step2.3、提取新闻话题数据集中文档的局部特征,使用深度神经网络自编码器来学习有效的数据表示;
Step2.4、构建的近邻标题图蕴含了标题全局结构信息,使用图卷积网络提取近邻标题图中的结构特征,并将自编码器提取到的文档局部特征集成到图卷积网络中;通过融合因子逐层连接自编码器和图卷积网络将文档的局部特征有效融合到标题的全局特征中;
Step2.5、将Step2.3和Step2.4进行聚类优化训练,经过训练达到稳定后,将图卷积网络最终输出的聚类分布作为新闻话题发现的最终结果。
4.根据权利要求3所述的融合近邻标题图的新闻话题发现方法,其特征在于:所述Step2.1具体包括:Bert模型是由多个transformer模型组合而成的,其训练方式分为两个任务:其一是随机选择15%的词用于预测,其中80%采用MASK符号遮盖,10%用随机词替换,其余保持不变,这使得模型倾向于依赖上下文来预测词汇,具备一定的纠错能力;其二是预测两句话是否为连贯文本,因此Bert模型在结束训练后能够获得新闻标题的单词表示和句子表示;
具体如下,设新闻话题集中标题Title数量为N,Title={title1,title2,…,titleN},每条新闻标题长度为S,E={e1,e2,…,es}为每条标题中词的集合,将标题的词向量输入到Bert模型中进行编码,得到每条标题的向量表示,将所有的标题词向量输入到Bert模型中编码,最终得到融合语义信息后的标题向量表示T,T={T1,T2,…,TN}。
5.根据权利要求3所述的融合近邻标题图的新闻话题发现方法,其特征在于:所述Step2.2具体包括:N×a
设标题数据T∈R ,其中每行Ti代表第i个标题样本,N是样本数,a代表维度;对于每个标题样本,首先找到它的前K个相似度最高的邻居作为邻居节点,并通过边来连接,以构成近邻标题图;利用向量的点积运算来计算任意两个新闻标题之间的相似度矩阵Sij,它是一个N×N维矩阵;
对于任意两个标题节点ti和tj,令为wij为节点之间的权重;如果节点之间有边相连,则wij>0,若没有边相连,则wij=0;由于构建的近邻标题图是无向权重图,因此wij=wji;图中任意节点的度为和它连接的所有边的权重之和;
N×N
通过计算每个节点的度,得到一个只有主对角线有值的节点度矩阵D∈R ;
主对角线的值表示第i行第i个点的度数,计算所有节点之间的权重,得到N×N维的邻接矩阵M,其第i行第j个元素就是权重wij,wij=sij。
6.根据权利要求3所述的融合近邻标题图的新闻话题发现方法,其特征在于:所述Step2.3具体包括:采用文档特征提取模块提取新闻话题数据集中文档的局部特征,使用深度神经网络自编码器来学习有效的数据表示;
自编码器是一种表示模型,利用输入数据作为参考,不利用标签监督,以用来提取特征和降维;自编码器将输入映射到特征空间,再映射回输入空间进行数据重构;设自编码器有(L)L层,编码器学到的第L层的表示为H ;
(l) (l) (l‑1) (l)
H =σ(Wenc H +benc ) (4)
(l) (l) (0)
其中σ为relu函数,Wenc 为编码器中第l层的变换矩阵,benc 为偏置,H 表示为原始文档数据X;
解码器部分将特征映射回输入空间,得到原始数据的重构
(l) (l) (l‑1) (l)
H =σ(Wdec H +bdec ) (5)
(l) (l)
Wdec 为解码器中第l层的变换矩阵,benc 为偏置,重构数据文档特征提取模块的损失函数为
通过最小化重构误差和梯度下降算法不断优化网络参数进行训练。
7.根据权利要求3所述的融合近邻标题图的新闻话题发现方法,其特征在于:所述Step2.4具体包括:进行标题全局特征的提取:
构建的近邻标题图蕴含了标题全局结构信息,使用图卷积网络提取近邻标题图中的结构特征,并将自编码器提取到的文档局部特征集成到图卷积网络中,图卷积网络第l层提取的表示通过卷积运算得到;
其中 为归一化的拉普拉斯矩阵, I为邻接矩
(l‑1)
阵M的单位对角阵,D为节点度矩阵, 将图卷积网络学到的前一层表示U 向下一层传(l)播得到新的表示U ;
为了使图卷积网络学习到的新闻话题数据特征同时具有标题的全局特征和文档的局(l‑1) (l‑1)部特征,将两种表示U 和H 通过融合因子结合在一起,得到一种更全面的数据表示α是平衡两种表示的权重系数,通过融合因子逐层连接自编码器和图卷积网络将文档的局部特征有效融合到标题的全局特征中,融合两种表示后,将 输入到图卷积网络中(l)得到表示U ;
(L)
以此类推得到图卷积网络最后一层输出的表示U ;网络的输出端连接了一个softmax多分类器,最终输出的结果为分布U;
得到的结果U是一个概率分布,其元素uij表示新闻样本i属于簇中心j的概率;
8.根据权利要求3所述的融合近邻标题图的新闻话题发现方法,其特征在于:所述Step2.5具体包括:通过指导模块将文档特征提取模块和标题全局特征提取模块统一到一个框架中同时进行端到端的聚类优化训练;其中,文档特征提取模块用于提取新闻话题数据集中文档的局部特征,使用深度神经网络自编码器来学习有效的数据表示;标题全局特征提取模块用于:构建的近邻标题图蕴含了标题全局结构信息,使用图卷积网络提取近邻标题图中的结构特征,并将自编码器提取到的文档局部特征集成到图卷积网络中;通过融合因子逐层连接自编码器和图卷积网络将文档的局部特征有效融合到标题的全局特征中;
对于第i个样本和第j个簇,引用自由度为1的student‑t分布作为核函数衡量自编码器的表示hi和簇心μi之间的距离;
(L)
其中hi是表示H 的第i行,μi是经过K‑means算法初始化后的簇心,将qij视为文档样本i被分配到簇j的概率,Q即为所有文档样本分配到簇的分布;
为了得到高置信度的分配来迭代聚类结果,提高聚类准确度,构造一个目标分布P来辅助模型训练;
在目标分布P中,每一个在文档样本分配分布Q中的聚类分配都被先平方再归一化处理,这样获得更高置信度的聚类分配,迫使簇内的样本更加接近簇心,簇与簇间的距离最大化,分配更加清晰。指导模块的损失函数之一为分布Q和目标分布P之间的KL散度损失;
通过最小化损失函数更新参数,目标分布P使自编码器学习到更接近簇心的样本文档聚类表示;
为了使标题全局特征提取模块和文档局部特征提取模块在训练迭代过程中趋于一致,需要将两个模块统一在同一目标分布中,因此使用目标分布P指导图卷积网络输出的蕴含标题全局特征的样本分布U,指导模块的损失函数之二为分布U和目标分布P之间的KL散度损失;
通过指导模块的不同权重参数将两种不同表示的聚类分配统一在同一个损失函数中,模型的整体损失函数为β为平衡损失函数一和损失函数二的权重参数;整个模型经过训练达到稳定后,将图卷(l)积网络最终输出的聚类分布H 作为新闻话题发现的最终结果。