1.一种基于SQ‑LDA主题模型的交通安全舆情分析方法,其特征在于,包括以下步骤:S1、获取交通安全社交软件舆情数据;
S2、预处理交通安全社交软件舆情数据;
S3、利用SQ‑LDA主题模型进行特征主题提取;
S4、可视化交通安全社交软件舆论热点。
2.根据权利要求1所述的一种基于SQ‑LDA主题模型的交通安全舆情分析方法,其特征在于,所述步骤S1具体包括以下步骤:S1.1、在社交软件搜索框中搜索关于“交通安全”的话题,获取对应内容的网络链接url;
S1.2、利用Python工具,引入requests模块并封装网络链接url,向服务器请求数据Data;
S1.3、将Data封装为json数据,并定义为Data_json;
S1.4、获取Data_json数据集中各“交通安全”话题下的舆论内容;
S1.5、引入BeautifulSoup模块,将抓取的舆论内容解析为对象进行处理,共爬取了
10000条关于“交通安全”的评论数据;
S1.6、得到原始舆情数据集Text。
3.根据权利要求1所述的一种基于SQ‑LDA主题模型的交通安全舆情分析方法,其特征在于,所述步骤S2具体包括以下步骤:S2.1、定义原始舆情数据集Text,即:
Text={text1,text2,…,text10000}其中texti为第i(i=1,2,…,10000)条评论内容数据;
S2.2、判断下标i是否满足i≤10000;如果满足i≤10000,则进入S2.3;如果不满足i≤
10000,则进入S2.5;
S2.3、对原始舆情数据集Text进行数据清洗;读取texti数据,利用特殊符号定位评论内容数据的有效评论位置,去除无意义表情符、名称、首尾标点、颜文字、网址;
S2.4、建立停用表S,删除texti数据中的无效文字,并进入S2.2;
S2.5、得到清洗后的重组舆情数据集CText。
4.根据权利要求1所述的一种基于SQ‑LDA主题模型的交通安全舆情分析方法,其特征在于,所述步骤S3具体包括以下步骤:S3.1、定义清洗后的重组舆情数据集CText,即:CText={ctext1,ctext2,…,ctext9823}其中,ctexti为清洗后的第i(i=1,2,…,9823)条评论内容数据;
S3.2、利用jieba分词工具对ctexti进行分词;
S3.3、定义ctexti中的关键词wij(1≤j≤m),m为每条评论数据的关键词个数;
S3.4、导入停用表S;
S3.5、判断下标i是否满足i≤10000;如果满足i≤10000,则进入S3.6;如果不满足i≤
10000,则进入S3.8;
S3.6、判断下标j是否满足j≤m;如果满足j≤m,则进入S3.7;如果不满足j≤m,则进入S3.5;
S3.7、判断关键词wij是否是停用词,并返回至S3.6;若关键词wij是停用词,则删除该关键词;反之则保留该关键词。
S3.8、得到关键词表Key,定义Key={key1,key2,…,key9789},其中keyi为第i条评论数据的关键词组,且keyi={wi1,wi2,…,wim};
S3.9、假设有k个关于“交通安全”的主题Topict(t=1,2,…,k);
S3.10、循环遍历关键词表Key,给每个关键词wij分配一个主题Topict,相同关键词wij可分配到不同的主题;
S3.11、遍历关键词组keyi,定义并计算关键词wij未属于主题Topict的概率P(wij|Topict)和主题Topict在语料keyi中的概率P(Topict|keyi);
S3.12、记α,β为狄利克雷函数的先验参数;
S3.13、定义关键词组keyi中关键词wij属于主题Topict的概率P(wij|Topict,keyi),即:P(wij|Topict,keyi)=[P(Topict|keyi)+α]·[P(wij|Topict)+β];
S3.14、利用余弦相似度,找到与关键词wij最相似的2c个关键词wi(j+h),即这(2c+1)个关键词的主题类似;
S3.15、定义关键词wij与其最相似的2c个关键词wi(j+h)的相似概率P(wi(j+h)|wij),‑c≤h≤c,h≠0;
S3.16、利用样本质量负采样,使概率P(wi(j+h)|wij)最小化,即:其中,Ewg~Pn(w)表示Huffman树中上下文不出现某词的期望值,G为噪音关键词个数,wg为噪音关键词, 为噪音关键词wg的向量表示, 为关键词wij的向量表示;
S3.17、定义平均对数概率函数APF,即:其中,N=9789;
S3.18、最大化对数概率函数APF;
S3.19、区分关键词wij与G个噪音关键词wg,并使P(wi(j+h)|wij)概率值增加;
S3.20、判断迭代次数s是否满足s≥120,如果满足s≥120,则进入S3.21;如果不满足s≥120,则进入S3.11,并更新迭代次数,即s=s+1;
S3.21、合并优化相似关键词的主题词;
S3.22、寻找最优主题数E,及在各主题Topict下,关键词wij相对应的频次概率P(wij|Topict,keyi)。
5.根据权利要求1所述的一种基于SQ‑LDA主题模型的交通安全舆情分析方法,其特征在于,所述步骤S4具体包括以下步骤:S4.1、搭建Django框架的web系统;
S4.2、利用ECharts和pyLDAvis可视化交通安全舆论的热点主题;
S4.3、分析不同热点主题下关键词相对应的频次概率P(wij|Topict,keyi)(0<P(wij|Topict,keyi)<1);
S4.4、设定关键词的频次概率阈值为0.5;当某关键词相对应的频次概率P(wij|Topict,keyi)>0.5时,该系统进行舆情预警。