1.一种多元大数据共享方法,其特征在于,包括:
步骤F1:将目标数据平台产生的数据划分为多种类型数据,分别获取每一种类型数据对应的历史访问频次数据、产生时间戳数据、实时数据量、数据时段变化量以及数据更新频率,得到多个监测指标数据,并将其定义为多元共享数据;
步骤F2:根据多元共享数据计算不同类型数据分别对应的数据类型划分系数,获取数据类型划分系数阈值,对每一个数据类型划分系数进行数值比对,将不同类型数据划分为第一类型共享数据和第二类型共享数据,得到共享类型划分数据;
步骤F3:根据多元共享数据分析得到每一个第一类型共享数据对应的数据共享排序序列,目标数据平台根据数据共享排序序列将第一类型共享数据共享至数据接收终端;
步骤F4:将第二类型共享数据按照数据接收终端的数量值划分为第一终端类型共享数据和第二终端类型共享数据,目标数据平台将第一终端类型共享数据通过星形连接,同步共享至多个数据接收终端,获取第二终端类型共享数据对应的接收分层数据,目标数据平台将第二终端类型共享数据按照接收分层数据共享至多个数据接收终端。
2.根据权利要求1所述的一种多元大数据共享方法,其特征在于,所述步骤F1中,还包括具体以下步骤:步骤F11:将目标数据平台产生的各种类型的数据划分为若干个类型数据,并将其分别命名为第k1至kk类型数据;
步骤F12:对第k1类型数据进行数据产生监测,得到第k1监测指标数据;
步骤F13:获取第k2至kk类型数据分别对应的历史访问频次数据、产生时间戳数据、实时数据量、数据时段变化量以及数据更新频率,得到第k2至kk监测指标数据;
步骤F14:将第k1至kk监测指标数据定义为多元共享数据。
3.根据权利要求2所述的一种多元大数据共享方法,其特征在于,所述步骤F12,还包括具体以下步骤:在对第k1类型数据进行监测的过程中,对第k1类型数据中存在的每一项子数据的产生时间进行获取,得到多个子数据产生时间戳,并将其命名为产生时间戳数据;
对第k1类型数据中存在的每一项子数据对应的历史访问频次进行获取,得到多个子数据历史访问频次,并将其命名为历史访问频次数据;
在对第k1类型数据进行监测的时间范围内,标记多个特征监测时段,且每连续两个特征监测时段的时间间隔和监测时长均相同,并将其分别命名为第一至第j特征监测时段,对特征监测时段进行时长获取,得到特征监测时长数值;
获取第k1类型数据在第一至第j特征监测时段分别对应的数据累计更新次数,得到第一至第j数据累计更新次数,计算第一至第j数据累计更新次数的平均数,再计算所得平均数与特征监测时长数值的比值,得到数据更新频率;
对第k1类型数据在第一特征监测时刻进行数据量检测,得到第一监测变化数据量;
具体如下:
将第一特征监测时段的开始时刻对应的时间数值标记为第一监测时间数值,将第一特征监测时段的结束时刻对应的时间数值标记为第二监测时间数值;
分别获取第k1类型数据在第一监测时间数值和第二监测时间数值对应的数据量,并将其分别命名为第一监测数据量和第二监测数据量;
计算第二监测数据量与第一监测数据量的差值,再计算所得差值与特征监测时长数值的比值,得到第一监测变化数据量;
分别对第二至第j特征监测时段对应的监测变化数据量进行获取,得到第二至第j监测数据变化量;
计算第一至第j监测数据变化量的平均值,得到数据时段变化量;
实时获取目标数据平台中第k1类型数据对应的数据量,得到实时数据量;
将第k1类型数据对应的历史访问频次数据、产生时间戳数据、实时数据量、数据时段变化量以及数据更新频率定义为第k1监测指标数据。
4.根据权利要求1所述的一种多元大数据共享方法,其特征在于,所述步骤F2中,还包括具体以下步骤:步骤F21:获取多元共享数据,根据多元共享数据获取第k1至kk监测指标数据;
步骤F22:根据第k1监测指标数据获取第k1类型数据对应的实时数据量、数据时段变化量以及数据更新频率;
步骤F23:将实时数据量、数据时段变化量以及数据更新频率通过计算得到第k1类型数据对应的数据类型划分系数;
对第k1类型数据对应的数据类型划分系数进行计算,具体公式配置如下:Slx=Sjl+Sbl+Sgp*a1;
其中,Slx为第k1类型数据对应的数据类型划分系数,Sjl为实时数据量,Sbl为数据时段变化量,Sgp为数据更新频率,a1为设定的比例系数且a1大于0;
步骤F24:分别根据第k2至kk监测指标数据获取第k2至kk类型数据对应的数据类型划分系数;
步骤F25:获取数据类型划分系数阈值,将第k1至kk类型数据分别对应的数据类型划分系数与数据类型划分系数阈值进行数值比对,得到共享类型划分数据。
5.根据权利要求4所述的一种多元大数据共享方法,其特征在于,所述步骤F25中,还包括具体以下步骤:步骤F251:获取实时数据量阈值、数据时段变化量阈值以及数据更新频率阈值;
步骤F252:将实时数据量阈值、数据时段变化量阈值以及数据更新频率阈值通过计算得到数据类型划分系数阈值;
步骤F253:当数据类型划分系数大于等于数据类型划分系数阈值时,判断对应的类型数据为第一类型共享数据;
步骤F254:当数据类型划分系数小于数据类型划分系数阈值时,判断对应的类型数据为第二类型共享数据。
6.根据权利要求1所述的一种多元大数据共享方法,其特征在于,所述步骤F3中,还包括具体以下步骤:步骤F31:获取多元共享数据,根据多元共享数据获取第k1至kk监测指标数据;
步骤F32:获取共享类型划分数据;
步骤F33:当第ki类型数据为第一类型共享数据,根据第ki监测指标数据对第ki类型数据进行数据共享;
所述步骤F33中,还包括具体以下步骤:
步骤F331:将第ki类型数据中存在的多项子数据分别命名为第i1至ii子数据;
步骤F332:通过分布式文件管理平台构建分布式共享框架,在分布式共享框架中的HDFS库中分别选取多个数据节点;
步骤F333:获取第i数据共享排序序列;
步骤F334:将第i1至ii子数据划分为ii个数据块,将其分别复制至多个数据节点,得到第i1至ii子节点,将第i1至ii子节点按照第i数据共享排序序列进行节点排序;
步骤F335:对第i1至ii子节点分别对应的API进行获取,得到子节点API数据;
步骤F336:通过分布式共享框架建立Kafka群组,目标数据平台将子节点API数据在Kafka群组中进行发布,Kafka群组根据第i数据共享排序序列将子节点API数据向数据接收终端推送;
步骤F337:分别对每一个第一类型共享数据中的每一个子数据进行共享。
7.根据权利要求6所述的一种多元大数据共享方法,其特征在于,所述步骤F333中,还包括具体以下步骤:根据第ki监测指标获取第ki类型数据中每一项数据分别对应的子数据历史访问频次和子数据产生时间戳;
将第ki类型数据中存在多项子数据分别命名为第i1至ii子数据,将第i1至ii子数据分别对应的子数据历史访问频次分别标记为第i1至ii访问频次,将第i1至ii子数据分别对应的子数据产生时间戳标记为第i1至ii时间戳;
获取当前时刻对应的时间数值,得到当前时间数值;
将第i1访问频次和第i1时间戳以及当前时间数值通过计算得到第i1子数据对应的数据共享排序系数,并将其命名为第i1排序系数;
对第i1子数据对应的数据共享排序系数进行计算,具体公式配置如下:Spx=|Sc-Sd|*Fc;
其中,Spx为第i1子数据对应的数据共享排序系数,Sc为第i1时间戳对应的时间数值,Sd为当前时间数值,Fc为第i1访问频次;
分别根据第i2至ii访问频次、第i2至ii时间戳以及当前时间数值,对第i2至ii子数据分别对应的数据共享排序系数进行计算,得到第i2至ii排序系数;
将第i1至ii排序系数按照数值大小进行降序排列,得到第i数据共享排序序列。
8.根据权利要求1所述的一种多元大数据共享方法,其特征在于,所述步骤F4中,还包括具体以下步骤:步骤F41:获取多元共享数据,根据多元共享数据获取第k1至kk监测指标数据;
步骤F42:获取共享类型划分数据;
步骤F42:当第kq类型数据为第二类型共享数据,根据第kq监测指标数据对第ki类型数据进行数据共享;
步骤F43:对第kq类型数据对应的数据接收终端进行数量获取,得到共享终端数量值;
步骤F44:当数据接收终端数量值大于p,则将第kq类型数据划分为第一终端类型共享数据;
步骤F45:当数据接收终端数量值小于等于p,则将第kq类型数据划分为第二终端类型共享数据;
步骤F46:当第kq类型数据为第一终端类型共享数据时,对第kq类型数据进行数据共享;
具体如下:
步骤F461:以目标数据平台为主节点,多个数据接收终端作为支节点,将主节点和多个支节点进行星形连接,主节点将第kq类型数据中多个子数据按照子数据产生时间戳的时间先后顺序同步共享至多个支节点;
步骤F47:当第kq类型数据为第二终端类型共享数据时,对第kq类型数据进行数据共享;
具体如下:
步骤F471:获取接收分层数据;
步骤F472:以目标数据平台为主节点,多个数据接收终端作为支节点,将主节点和多个支节点按照接收分层数据进行分层连接;
步骤F473:主节点将第kq类型数据中多个子数据按照子数据产生时间戳的时间先后顺序同步共享至第二层接收端分级对应的支节点,第二层接收端分级对应的支节点将第kq类型数据中多个子数据,按照子数据产生时间戳的时间先后顺序,同步共享至第三层接收端分级对应的支节点,重复此共享过程,直至将第kq类型数据中多个子数据共享至第e+1层接收端分级对应的支节点;
步骤F48:重复对第kq类型数据的共享过程,分别对每一个第二类型共享数据中的每一个子数据进行共享。
9.根据权利要求8所述的一种多元大数据共享方法,其特征在于,所述步骤F471中,还包括具体以下步骤:将多个数据接收终端分别命名为第一第z接收终端;
对第一接收终端进行终端监测,得到对第一接收终端对应的终端监测系数;
具体如下:
将当前时刻前一个单位时间长度作为终端监测周期;
获取第一接收终端在终端监测周期内对第kq类型数据的访问总数,得到第一访问总数;
获取第一接收终端在终端监测周期的周期在线用户数量,得到第一在线用户数;
获取第一接收终端的数据接收时延,得到第一接收时延;
具体如下:
通过第一接收终端的上级发送终端向第一接收终端发送测试数据,并对发送时刻对应的时间数值进行获取,得到第一时间数值;
第一接收终端对测试数据进行接收,并对接收时刻对应的时间数值进行获取,得到第二时间数值;
计算第二时间数值与第一时间数值的差值,得到第一接收时延;
将第一访问总数、第一在线用户数以及第一接收时延通过计算得到第一接收终端对应的终端监测系数;
对第一接收终端对应的终端监测系数进行计算,具体公式如下:Zjx1=(Fws1×Sy1)+Yhs1;
其中Zjx1为第一接收终端对应的终端监测系数,Fws1为第一访问总数,Sy1为第一接收时延,Yhs1为第一在线用户数;
分别对每一个接收终端对应的终端监测系数进行获取;
分别获取多个终端监测系数阈值,并将其按降序排列为第一至第e终端监测系数阈值,分别将每一个接收终端对应的终端监测系数与第一至第e终端监测系数阈值进行数值比对,得到第一至第e+1层接收端分级,并将其命名为接收分层数据。
10.一种多元大数据共享系统,适用于权利要求1-9中任意一项所述的一种多元大数据共享方法,其特征在于,所述共享系统包括:数据获取模块:用于获取多个监测指标数据,得到多元共享数据;
数据分析模块:用于对多元共享数据进行分析,将多种类型数据划分为第一类型共享数据和第二类型共享数据,得到共享类型划分数据;
第一共享模块:用于根据多元共享数据和共享类型划分数据对第一类型共享数据进行大数据共享;
第二共享模块:用于根据多元共享数据和共享类型划分数据对第二类型共享数据进行大数据共享。