欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023107989095
申请人: 吉林大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于自适应数据增强和对抗性训练的谣言检测框架,包括如下步骤:(1)根据实际问题对数据进行处理;

1)将数据集根据事件类型进行划分,每一个事件对应一个由用户构成的谣言传播图;

2)根据事件中用户的ID以及用户之间的回复、评论的关系,构建谣言传播图和邻接矩阵;

3)利用Bidirectional Encoder Representation from Transformers(BERT)对用户的特征(包含用户的一些基本个人资料,如:关注数,被关注树,昵称等)进行预训练,得到特征矩阵;

4)根据谣言事件的标签构建标签矩阵;根据数据集不同,标签可能为两种,也可能为四种;

5)根据1)2)3)4)的结果将数据集表示为:C={c1,c2,Λcm},

ci={{Gi,yi}iΛ},

Gi=(Vi,Ei),

Ai={ai,st,ai,s+1t+1,Λ},yi∈{N,F,T,U}/yi∈{T,F},其中,C代表事件集合,m代表事件的总数;G代表谣言传播图;V代表节点集,每一个节点代表一个用户;E代表边集,表示节点和节点之间存在转发、评论的关系;A代表谣言传播图的邻接矩阵,ai,st是邻接矩阵A中的元素,当从节点s到节点t的一条边属于边集E时,取值为

1,其他情况取值为0;yi代表事件的标签,N代表非谣言,F代表虚假谣言,T代表真实谣言,U代表未经证实的谣言(2)利用自适应数据增强模块对边缘和特征均进行增强

1)我们利用节点的中心性Θi(·)来计算边缘的中心性 计算公式如下:

2)得到边缘中心性后,为了减少高密度节点对边缘重要性的影响,我们对边缘中心性进行取对数操作 然后,我们利用ki,st计算边缘的重要性 计算公式如下:e

其中ki,max和ki,avg分别代表ki,st的最大值和平均值;ρ是一个控制边的删除和错排概率的超参数; 是一个用来防止边过度删除和错排影响谣言传播图结构的截断概率;

我们通过这种自适应数据增强的方法,计算边的重要性,通过删除和错排两种方式对不重要的边进行修改,保留重要的边尽最大可能保证谣言传播图的完整性,提高我们谣言检测框架的性能;

3)利用自适应数据增强模块对特征进行数据增强F

4)首先我们选出一个掩蔽向量Qi∈{0,1},F代表特征向量X的维度;

5)然后我们利用掩蔽向量Qi来生成新的特征向量,计算方式如下:其中[·;·]表示运算连接符,代表元素之间的点乘,xj代表节点j的特征向量,j∈{1,2,Λni}

6)利用得到的新的特征向量,我们计算特征各个维度的重要性权重,我们以b维特征为例,计算方式如下:其中,|xi,jb|代表节点j第b维特征的绝对值;Θi(·)代表节点j的中心性

7)类似于边缘特征增强,我们对节点中心性取对数 然后,我们利用si,st来计算b维度的特征的重要性 计算方式如下:

x

其中si,max和si,avg分别代表si,st的最大值和平均值;ρ是一个控制节点特征增强振幅的超参数; 是一个防止节点属性过度破坏的截断概率;经过自适应数据增强之后我们得到增强后的传播图,邻接矩阵和特征向量;

(3)利用双向图卷积神经网络生成图表示,步骤如下:

1)将原始图和增强后的传播图分别构建为自上向下传播图和自底向上传播图;

2)利用双向图卷积神经网络学习自上向下的传播图表示和自底向上的传播图表示,以增强传播图为例,计算公式如下:其中, 和 分别代表自上向下的增强图的邻接矩阵和自底向上的增强图的邻接矩阵;X′i是增强后的特征矩阵, 和 代表k层图卷积神经网络的可学习参数;σ代表RELU的激活函数; 和 分别代表自上向下的增强图表示和自底向上的增强图表示

3)我们对自上向下的增强图表示和自底向上的增强图表示分别进行平均池化操作,并将得到的结果聚合到一起,获得增强图表示H′i,计算公式如下:其中,MEAN(·)代表平均池化操作; 代表矩阵的相加运算

4)对原始图进行2)3)两个步骤获得原始图表示(4)利用Fast Gradient Method(FGM)和Projection Gradient Descent(PGD)两种方法对图表示进行对抗性训练,步骤如下:

1)对于FGM方法,我们首先计算反向传播梯度g,计算方式如下:其中,λ(·)代表损失函数,φ代表可学习的权重参数,H′i代表聚合后的图表示,这里以增强图为例,yi代表标签;

2)我们利用1)得到的梯度g,生成对抗性扰动,并将其添加到增强图表示中,计算步骤如下:H′i,atk=H′r+ratk,

2

其中,ratk代表对抗性扰动,γ是一个控制被扰动大小的超参数,||·||表示l2范式;我们利用得到对抗性表示H′i,atk来跟新权重参数φ

3)对于PGD方法,我们将最终的对抗性扰动生成过程划分为多个小步骤并将小步骤的t+1总数设为T,首先根据小步t中计算出的梯度g 生成对抗性样本 然后,将 添加到图表示H′i中,生成表示H′iatk,计算方式如下:

4)我们利用经过了FGM或PGD攻击方法得到的可学习权重φatk,使用全连接层和归一化层将原始图表示和增强图表示,生成对抗性原始图表示zi,atk和对抗性增强图表示z′i,atk,计算方式如下:zi,atk=Norm((Hiφatk+b0)φatk+b1,z′i,atk=Norm((H′iφatk+b0)φatk+b1,其中,b代表偏差

5)我们将原始表示和增强图表示分别和对抗性对抗性原始图表示和对抗性增强图表示进行拼接,并将拼接后的表示进行最后的拼接得到最终的图表示,计算方式如下:zi=concat(zi,atk,Hi),

z′i=concat(z'i,atk,H′i),zi,sum=concat(z'i,zi),其中,concat(·)代表连接函数;zi,sum代表最终表示(5)最后我们利用损失函数来优化我们的谣言检测任务,步骤如下:

1)构建对比损失函数

我们利用学习到最终表示,将最终表示作为锚点,然后我们将与锚点具有相同标签的表示作为正样本,将与锚点具有不同标签的表示作为负样本,利用余弦函数拉近正样本之间的距离,疏远负样本之间的距离,计算方式如下:其中,lossconv代表对比损失,Sv是事件集合,i是事件ci的索引,同时事件ci是锚点,其最终表示为zi,sum;j是事件的索引,其最终表示为zj,sum,它与锚点具有相同标签,是正样本;k是事件的索引,其最终表示为zk,sum,它与锚点具有不同标签,是负样本;Sp(i)代表正样本集,Sn(i)代表负样本集;cos(·)代表余弦相似度,τ是温度系数,它控制着分布的形状;

2)构建交叉熵损失函数

交叉熵损失是一种广泛使用的分类损失函数,它利用标签信息来提高分类性能,我们利用得到预测标签和真实标签构建交叉熵损失函数,计算公式如下:其中,m代表标签数量,CA代表标签的类别,yi,ca代表事件ci的真实标签, 代表预测标签

3)构建联合损失函数

利用交叉熵损失函数和对比损失函数构建联合损失函数,计算方式如下:loss=(1‑β)*lossentroy+β*lossconv其中,β是一个超参数,是控制两个损失函数的比例的权衡系数。