1.一种基于社交网络信息的道路交通运行状态实时感知方法,其特征在于,所述基于社交网络信息的道路交通运行状态实时感知方法包括:第一步,利用网络爬虫技术自动采集、分类、提取社交网络平台中的多角度有效交通信息,筛选出非正常运行状态下的交通信息;利用综合算法对筛选出的非正常运行状态下交通信息可能持续的时间进行预测,建立端到端自学习模型,并在地图上进行可视化标注,展示道路通行的变化;
第二步,通过基于深度学习算法从过去的数据中学习和预测未来数据,并将预测的未来数据反馈至社交网络上供用户实时分享。
2.如权利要求1所述的基于社交网络信息的道路交通运行状态实时感知方法,其特征在于,第一步中,利用全网信息爬取技术、文本分类技术、信息识别技术,获取网络上相关交通信息,引入信用评级制度,建立用户信息可行度登记,进行筛选;通过端到端的自学习事故持续时间预测算法,在社交网络平台中以可视化形式呈现给用户;
非正常运行状态信息包括普通拥堵级、管制级和交通事故级。
3.如权利要求1所述的基于社交网络信息的道路交通运行状态实时感知方法,其特征在于,第一步中,社交网络平台使用Hadoop作为大数据平台,使用HDFS存储数据,使用Hive做数据的分析与预处理工作;数据采集采用Python编写爬虫进行数据爬取,利用Text-CNN进行文本分类处理,并使用Spark进行分布式计算调度,最后使用Web前端进行展示。
4.如权利要求1所述的基于社交网络信息的道路交通运行状态实时感知方法,其特征在于,第一步自动采集、分类、提取社交网络平台中的有效交通信息中,通过TF-IDF算法挖掘交通信息中有效信息的关键词,将TF-IDF包含的词频和逆文档频率相乘,得到TF-IDF的值,TF-IDF越大,重要性越高,按照TF-IDF值这由大到小排序,获得位于最前面的交通有效信息关键词。
5.如权利要求4所述的基于社交网络信息的道路交通运行状态实时感知方法,其特征在于,TF-IDF算法具体包括:i)计算TF值:
计算出一个词出现的次数除总次数得到一个词的词频TF;
ii)计算IDF值:
计算出语料库中的文档总数除以包含该词的文档总数+1,然后取对数;log表示对得到的值取对数;
iii)计算TFIDF值:
fidfi,j=tfi,f×idfi;
得到最终的结果。
6.如权利要求1所述的基于社交网络信息的道路交通运行状态实时感知方法,其特征在于,第一步,利用综合算法对事件可能持续的时间进行预测,建立端到端自学习模型中,具体包括:
1)训练集构建:对比分析传统交通事故持续时间预测参数,建立基于社交网络的事故持续时间预测模型,首先进行预测训练集的构建,利用爬取的数据,除提取基本特征外,还提取数据文本描述的关键信息作为事故持续时间的预测特征;
再通过获取到事故的持续时间,使用事故发生时间与社交网络报道时间进行近似匹配后,得到训练集的标签,直接通过社交网络信息对事故发生时间进行预测;事故持续时间的预测训练集采用社交网络信息与交警实际处理时间相匹配,构建对应时间训练集;
从交通事故的原始数据中,提取交通事故严重程度涉及到的车辆数、车道是否封锁、伤亡人数、是否涉及大巴车和是否涉及货车5个属性参数;
2)模型构建,将不同类型的模型通过组合模型纳入到整体模型体系中;
3)事故持续时间预测展示。
7.如权利要求1所述的基于社交网络信息的道路交通运行状态实时感知方法,其特征在于,第二步基于深度学习算法从过去的数据中学习预测未来的数据中,不添加任何人工标签。
8.一种实施权利要求1所述基于社交网络信息的道路交通运行状态实时感知方法的基于社交网络信息的道路交通运行状态实时感知系统,其特征在于,所述基于社交网络信息的道路交通运行状态实时感知系统包括:数据层,与Hadoop大数据平台、数据预处理层连接,用于包含支持整个系统运行的所有数据;
数据预处理层,与数据层、Hadoop大数据平台、分析处理层连接,用于对将粗糙,无联系的数据进行提炼供;
分析处理层,与数据预处理层、Hadoop大数据平台、可视化层连接,用于进行数据分析处理,并为应用终端提供接口;
可视化层,与分析处理层连接,用于为应用终端提供接口;
Hadoop大数据平台,与数据层、数据预处理层、分析处理层连接,用于为整个平台提供数据处理并行化支持。
9.如权利要求8所述基于社交网络信息的道路交通运行状态实时感知系统,其特征在于,所述数据层内置有各种地图导航平台提供商共享的数据和具有统计价值的数据,为数据预处理层使用和分析;
所述数据预处理层还用于对数据融合层获取的数据进行数据清洗,通过填补遗漏数据、消除异常数据、平滑噪声数据,以及纠正不一致的数据,去掉数据中的噪声、填补空值、丢失值和处理不一致数据;然后进行数据标准化处理,原始数据经过数据标准化处理后,各指标处于同一数量级;同时,结合普通关系型数据库与Hive数据库,进行大数据分布式存储与管理;
所述分析处理层利用数据机器学习对数据进行预测或决策,从样本输入构建模型;
所述可视化层通过可视化模块对交通病态路况进行展示。
10.一种实施权利要求1所述基于社交网络信息的道路交通运行状态实时感知方法的基于社交网络信息的道路交通运行状态实时感知终端。