1.一种微博谣言检测方法,其特征在于,包含如下步骤:
A、收集微博事件和相应评论数据集作为样本数据;
B、对所述样本数据进行预处理,分别提取原微博与评论的文本内容;
C、采用BERT预训练模型对文本进行预训练,每句文本生成固定长度的句向量;
D、构建字典,提取原微博与对应数条评论组成微博事件向量矩阵;
E、采用深度学习方法Text CNN-Attention对向量矩阵进行训练,构建多层次训练模型;
F、根据多层次训练模型对向量矩阵进行分类检测,得到对应社交网络数据的谣言检测结果。
2.根据权利要求1所述的微博谣言检测方法,其特征在于:所述样本数据包括谣言样本数据和非谣言样本数据。
3.根据权利要求1所述的微博谣言检测方法,其特征在于:步骤B中,使用正则表达式清除json文件中的噪声。
4.根据权利要求3所述的微博谣言检测方法,其特征在于:所述进行完预训练的全部文本按照训练数据与测试数据按照4:1的比例用于后续模型的处理。
5.根据权利要求4所述的微博谣言检测方法,其特征在于:预训练的BERT模型与代码能够实现词向量的嵌入。
6.根据权利要求5所述的微博谣言检测方法,其特征在于:所述BERT模型作为词向量模型,能够充分描述字符级、词级、句子级以至于句子间关系特征,将NLP任务逐渐移到预训练产生句向量上。
7.根据权利要求1所述的微博谣言检测方法,其特征在于:所述BERT模型提出预训练目标:遮蔽语言模型(masked language model,MLM),克服传统的单向性局限,MLM目标允许表征融合左右两侧的语境,从而可以预训练一个深度双向的Transformer。
8.根据权利要求7所述的微博谣言检测方法,其特征在于:所述BERT模型引入了“下一句预测”任务,可以和MLM共同训练文本对的表示。
9.根据权利要求8所述的微博谣言检测方法,其特征在于:所述BERT模型运用句子级负采样,预测输入BERT的两端文本是否连续;在训练过程中,输入模型的第二段将从所有文本中随机选择,概率为50%,其余50%将选择第一段的后续文本。
10.根据权利要求1所述的微博谣言检测方法,其特征在于:所述构建多层次训练模型由Text CNN和注意力机制两部分组成;其中,Text CNN模型使用三个卷积尺寸分别为3,4,5的卷积核对待测向量矩阵进行卷积操作,得到关于不同卷积核基于向量矩阵的不同的特征表示,通过池化操作每个卷积核对应输入矩阵只产生一个最大特征,再通过全连接操作将不同尺寸卷积核所得特征表示相连;注意力机制对全连接后产生的特征表示根据每个特征按照对输出影响力的不同赋予不同的权重,使得影响力大的特征在进行谣言检测时会拥有更大的影响力。