1.一种基于大数据的互联网假新闻识别方法,其特征在于,包括以下步骤:S1.获取互联网新闻数据并进行预处理得到新闻文本数据集;
S2.采用贪婪策略对新闻文本数据集进行重复事件检测,得到多个原始事件图;
步骤S2采用贪婪策略对文本数据集进行重复事件检测得到原始事件图,包括:S21.将新闻文本数据集中所有新闻文本均看做节点并按照文本长度从小到大依次标号,得到节点标号集X={x1,x2,…,xN},其中xi表示标号为i=1,2,…,N的节点,N表示节点数量;
S22.根据从小到大的标号顺序,通过指标合并方法依次获取每一个节点xi的合并对象节点并与其连接,直到所有节点合并完成得到M≤N个第一连接图;
S23.获取每一个第一连接图的节点数量,将所有第一连接图按照图内节点数量从小到大依次编号,令yj表示编号为j的第一连接图,其中j=1,2,…,M;
S24.将每个第一连接图中连接的邻居节点最多的节点作为该第一连接图的根节点;
S25.根据从小到大的编号顺序,通过相似度比较法依次获取每一个第一连接图的连接对象图,并将该第一连接图的根节点与其连接对象图的根节点相连,最终得到多个原始事件图;
步骤S22通过指标合并方法依次获取每一个节点xi的合并相连对象,得到M个第一连接图,包括:S221.从节点标号集X中提取标号为i的单个节点xi,并将剩余所有节点组成第二节点集iX;
i
S222.计算节点xi与节点xr∈X的杰卡德相似度 和最长公共子串长度 若或 则计算节点xi与节点xr的合并距离指标 并记入i
节点xi的合并距离指标集D ;其中r=1,2,…,N且r≠i, 表示节点xi的杰卡德相似度指标, 表示节点xi的公共子串长度指标;
i
S223.选取合并距离指标集D 中最大合并距离指标所对应的节点作为节点xi的合并对象节点,并将节点xi与合并对象节点连接;
S224.重复步骤S221‑S223,直至节点标号集X中所有节点都筛选完成,得到M张第一连接图;
步骤S25通过相似度比较法依次获取每一个第一连接图的连接对象图,并将该第一连接图的根节点与其连接对象图的根节点相连,最终得到多个原始事件图包括:S251.选取编号为j的单个第一连接图yj,并将剩余第一连接图组成候选图集Y;获取第一连接图yj的根节点的TF‑IDF向量zj;
S252.计算第一连接图yr∈Y的根节点的TF‑IDF向量zr,根据TF‑IDF向量zj与TF‑IDF向量zr计算余弦相似度 若 则将余弦相似度 计入第一连接图j
yj的相似度集合Z; 表示第一连接图yj的余弦相似度指标;
j
S253.选取相似度集合Z中最大余弦相似度所对应的第一连接图作为第一连接图yj的连接对象图,并将该第一连接图yj的根节点与其连接对象图的根节点相连;
S254.重复步骤S251‑S253,直至所有第一连接图都比较完成,得到多张原始事件图;
S3.为每一个原始事件图设置相应的节点特征、边特征和簇特征,得到初始事件图;
步骤S3为任一个原始事件图设置相应的节点特征、边特征和簇特征,包括:S31.设置节点特征:获取原始事件图中每一个节点所对应的新闻文本的文本向量和指示向量,将每一个新闻文本的文本向量与指示向量合并作为对应节点的节点特征;
S32.设置边特征:将每一条边所连接的两个节点间的内容相似度值作为该边的边特征,所述内容相似度值的计算公式为:其中,A、B表示事件图中任意两个不同的节点, 表示A、B两个节点间的内容相似度值,Jaccard(A,B)表示A、B两个节点的杰卡德相似度,WMD(A,B)表示A、B两个节点的WMD文档距离;
S33.设置簇特征:获取原始事件图的节点数量、平均标题间相似度、含可信实体文档比例和平均文档间相似度,并组成四维参数作为原始事件图的簇特征;
S4.构造Motif特征提取器,并采用初始事件图进行训练;
步骤S4构造Motif特征提取器,采用初始事件图进行训练,包括:S41.根据初始事件图的连接类型定义Star、Tree、Bridge和Cascade共4组Motif模式;
其中Star Motif模式对应由一个中心节点连接到多个边缘节点的初始事件图,Tree Motif模式对应由一个根节点向多个子节点展开的初始事件图,Bridge Motif模式对应由一个节点连接两个及以上不相连的节点的初始事件图,Cascade Motif模式对应由一组节点依次连接而成的初始事件图;
S42.为每一组Motif模式构建一个子模块,采用4个子模块组成Motif特征提取器;所述子模块为小型图卷积网络或小型图神经网络;
S43.将初始事件图输入Motif特征提取器得到不同Motif模式的多个Motif特征;
S44.根据不同Motif模式的多个Motif特征计算损失值,并反向传播训练Motif特征提取器,直至参数收敛;
步骤S44根据不同Motif模式的多个Motif特征计算损失值,包括:S441.设置模式ID:使同属于一种Motif模式的多个Motif特征具有相同的模式ID,不同Motif模式的Motif特征具有不同的模式ID;
S442.图内部对比:在一个初始事件图中,对每一种模式ID都随机选取两个Motif特征计算内部特征距离,根据内部特征距离计算内部对比损失;
S443.图外部对比:对每一种模式ID,在两个不同的初始事件图中分别选取一个Motif特征计算外部特征距离,根据外部特征距离计算外部对比损失;
S444.对比损失:根据内部对比损失和外部对比损失计算对比损失;
S445.损失训练:根据对比损失和图交叉熵损失计算总损失,并反向传播训练;
S5.根据训练好的Motif特征提取器构建图模型,并采用初始事件图进行训练;
采用初始事件图进行训练图模型,包括:
S51.将初始事件图输入Motif特征提取器得到特征向量,将特征向量与初始事件图的平均词向量表示合并输入全连接层得到聚合向量;
S52.将聚合向量与初始事件图的簇特征合并得到最终特征向量;
S53.将最终特征向量分别输入新闻分类器和域分类器,得到新闻分类损失和域分类损失;
S54.将域分类损失作为对抗损失与新闻分类损失加权求和得到最终分类器损失,根据最终分类器损失优化图模型;
S6.将待识别互联网新闻输入训练好的图模型,输出待识别互联网新闻的真假判别结果。