1.一种基于多模态异常检测机制的假新闻识别方法,其特征在于,主要步骤包括:S1,从新闻网站中获取新闻中图片和文本的信息;
S2,根据具体的算法挖掘图片和文本的相关信息;
S3,检测输入的新闻中的图片和文本信息是否一致,判别真假新闻;
所述S2中的根据具体的算法挖掘图片和文本的相关信息包括:
在图卷积神经网络的传导规则中,需要输入邻接矩阵和节点特征矩阵;对于邻接矩阵,使用扩展后的相关性矩阵代替;在同一语义空间中,对于图片有包含区域特征的图片特征I'={I'1,I'2,...,I'm},对于文本有包含单词特征的文本特征C'={C'1,C'2,...,C'n};为了得到图片和文本的相关性,引入Attention机制来获取图片中不同区域和文本中不同单词的相关性矩阵,利用通过下列公式计算得到相关性矩阵A:其中I′i是有包含区域特征的图片特征,C′j是有包含单词特征的文本特征,T为线性代数中的转置符号;i为图片中图片区域的标号,j为文本中单词的标号;Aij表示图片中不同区域和文本中不同单词的相关性矩阵;
将扩展后的矩阵作为图的邻接矩阵,使后续的图卷积神经网络在挖掘图中节点信息时抓住重点,挖掘出图片区域和文本单词的重要相关信息;
对于节点特征,将同一语义空间中的图片和文本特征进行拼接作为节点特征作为输入;通过以下公式将图片和文本特征拼接,得到图中每个节点的特征:X=concat{I',C'};
其中concat函数的作用是将两个特征在第一维进行拼接;I′为图片有包含区域特征的图片特征,C′={C′1,C′2,...,C′n};C′为文本有包含单词特征的文本特征,Ⅰ′={I′1,I′2,...I′m};
为了挖掘图中节点之间的相关性信息,使用两层图卷积层对信息进行获取,通过两层图卷积神经网络可得到图中每个节点对该图的贡献程度,通过以下公式计算:其中f(X,A)是图卷积神经网络的传导函数,W(0)是第一层图卷积层需要学习的参数,Z(0)是第一层图卷积层的输出,W(1)是第二层图卷积层需要学习的参数;X为图片特征和文本特征拼接后的全部节点特征,A为由相关性矩阵得到的扩展矩阵,是经过归一化后的邻接矩阵,Z(1)为两层卷积层后的输出。
2.根据权利要求1所述的一种基于多模态异常检测机制的假新闻识别方法,其特征在于,所述S2中的根据具体的算法挖掘图片的相关信息,包括:将图片通过Faster-Rcnn得到图片特征I={I1,I2,…,Im},其中Faster-Rcnn的作用是提取图片中区域的特征,Im为单个区域的特征,m为区域的个数。
3.根据权利要求1所述的一种基于多模态异常检测机制的假新闻识别方法,其特征在于,所述S2中的根据具体的算法挖掘文本的相关信息,包括:将文本通过BERT得到文本特征为C={C1,C2,…,Cn},其中BERT的作用是提取文本中单个单词的特征,Cn为单个区域的特征,n为单词的个数。
4.根据权利要求1所述的一种基于多模态异常检测机制的假新闻识别方法,其特征在于,所述S2中的根据具体的算法挖掘图片和文本的相关信息,包括:将图片与文本特征通过全连接层映入相同语义空间,公式如下:I'=WimgI;
C'=WcapC;
其中C为文本特征,I为图片特征;Wimg是对图片进行嵌入处理的全连接层中需要学习的参数,Wcap是对文本进行嵌入处理的全连接层中需要学习的参数;C′为文本有包含单词特征的文本特征,C′={C′1,C′2,…,C′n};I′为图片有包含区域特征的图片特征,I′={I′1,I′2,...,I′m}。
5.根据权利要求1所述的一种基于多模态异常检测机制的假新闻识别方法,其特征在于,所述S3中的检测输入的新闻中的图片和文本信息是否一致包括:经过两层图卷积层后,加入一层全连接层对输入的图片和文本是否一致进行预测,通过以下公式进行实现:Y=WZ(1)
其中Y为预测结果,W为最后的全连接层需要学习的参数,Z(1)为两层卷积层后的输出。