1.一种基于流式计算的可视化计算模型构建方法,其特征在于,包括以下步骤:步骤S1:获取流式计算数据集;对流式计算数据集进行数据预处理,得到标准流式计算数据集;
步骤S2:提取标准流式计算数据集的计算节点,得到计算节点数据;对计算节点数据进行关联性分析,得到节点关联性数据;对计算节点数据进行网络配置分析,得到节点网络配置数据;对计算节点数据进行节点类型分析,得到节点类型数据;根据节点类型数据进行节点功能分析,得到节点功能数据;整合节点关联性数据、节点网络配置数据和节点功能数据,生成计算节点特性数据;
步骤S3:提取标准流式计算数据集的计算任务,得到计算任务数据;对计算任务数据进行处理路径分析,得到任务处理路径数据;对计算任务数据进行执行优先级分析,得到任务执行优先级数据;对计算任务数据进行资源利用分析,得到高资源需求任务数据;整合任务处理路径数据、任务执行优先级数据和高资源需求任务数据,生成计算任务管理数据;
步骤S4:根据计算节点特性数据和计算任务管理数据进行可视化计算模型构建,得到可视化计算模型;
步骤S5:基于可视化计算模型对计算节点数据进行网络拓扑分析,得到节点拓扑数据;基于节点拓扑数据对节点网络配置数据进行动态网络配置调整,得到计算节点调整数据;基于可视化计算模型对计算任务数据进行需求分析,得到任务需求数据;基于任务需求数据对任务处理路径数据、任务执行优先级数据和高资源需求任务数据进行智能任务管理控制,生成计算任务控制数据;
步骤S6:通过计算节点调整数据和计算任务控制数据对流式计算进行实时可视化反馈,生成实时可视化反馈报告;将实时可视化反馈报告上传至区块链网络分布式存储以执行流式计算的可视化计算作业。
2.根据权利要求1所述的基于流式计算的可视化计算模型构建方法,其特征在于,步骤S2包括以下步骤:步骤S21:对标准流式计算数据集进行计算节点特征识别,生成计算节点特征信息;
步骤S22:提取计算节点特征信息的节点数据,得到计算节点数据;
步骤S23:对计算节点数据进行相邻计算节点交互模式关联性分析,得到节点关联性数据;
步骤S24:对计算节点数据进行网络配置分析,得到节点网络配置数据;
步骤S25:提取计算节点数据的属性特征,得到节点属性特征数据;根据节点属性特征数据对计算节点数据进行节点类型分类,得到节点类型数据;根据节点类型数据进行节点作用评价,得到节点作用评价数据,对节点作用评价数据进行功能途径分析,得到节点功能数据;
步骤S26:整合节点关联性数据、节点网络配置数据和节点功能数据,生成计算节点特性数据。
3.根据权利要求2所述的基于流式计算的可视化计算模型构建方法,其特征在于,步骤S24包括以下步骤:步骤S241:提取计算节点数据的网络特征,得到节点网络特征数据;
步骤S242:对节点网络特征数据进行网络连接分析,得到节点网络连接数据;
步骤S243:根据节点网络连接数据进行连接状态分析,得到节点连接状态数据;
步骤S244:对节点连接状态数据进行配置情况分析,得到节点网络配置数据。
4.根据权利要求1所述的基于流式计算的可视化计算模型构建方法,其特征在于,步骤S3包括以下步骤:步骤S31:对标准流式计算数据集进行计算任务特征识别,生成计算任务特征信息;
步骤S32:提取计算任务特征信息的任务数据,得到计算任务数据;
步骤S33:对计算任务数据处理信息进行数据映射,生成任务处理流程图;对任务处理流程图进行数据流向和处理步骤识别,得到任务处理路径数据;
步骤S34:对计算任务数据进行执行优先级分析,得到任务执行优先级数据;
步骤S35:对计算任务数据进行所需资源量统计分析,得到任务资源量统计数据;对任务资源量统计数据进行降序排列,得到任务资源量降序数据;对任务资源量降序数据进行热力图颜色映射,生成任务资源量热力图;提取任务资源量热力图深色坐标数据,得到高资源需求任务数据;
步骤S36:整合任务处理路径数据、任务执行优先级数据和高资源需求任务数据,生成计算任务管理数据。
5.根据权利要求4所述的基于流式计算的可视化计算模型构建方法,其特征在于,步骤S34包括以下步骤:步骤S341:提取计算任务数据的执行特征,得到任务执行特征数据;
步骤S342:对任务执行特征数据进行负载分析,得到任务执行负载数据;
步骤S343:提取任务执行负载数据的峰谷值,得到任务执行负载峰谷数据;
步骤S344:对任务执行负载峰谷数据进行平均值计算,得到任务执行负载平均值;
步骤S345:将任务执行负载数据和任务执行负载平均值进行对比,当任务执行负载平均值大于任务执行负载平均值时,则将计算任务标记为任务执行高负载数据;当任务执行负载值小于或等于任务执行负载平均值时,则将计算任务标记为任务执行低负载数据;
步骤S346:对任务执行高负载数据进行高优先级划分,得到高优先级任务数据;对任务执行低负载数据进行低优先级划分,得到低优先级任务数据;
步骤S347:整合高优先级任务数据和低优先级任务数据,得到任务执行优先级数据。
6.根据权利要求1所述的基于流式计算的可视化计算模型构建方法,其特征在于,步骤S4包括以下步骤:步骤S41:对计算节点特性数据进行属性参数分析,生成节点属性参数数据;
步骤S42:对计算任务管理数据进行状态信息分析,生成任务状态信息数据;
步骤S43:根据节点属性参数数据和任务状态信息数据进行可视化计算模型构建,得到可视化计算预模型;并利用节点属性参数数据和任务状态信息数据对可视化计算预模型进行模型训练,得到可视化计算训练模型;
步骤S44:对可视化计算训练模型进行模型交叉验证评估,得到可视化计算模型评估数据;通过可视化计算模型评估数据对可视化计算训练模型进行模型参数调整,得到可视化计算模型。
7.根据权利要求1所述的基于流式计算的可视化计算模型构建方法,其特征在于,步骤S5包括以下步骤:步骤S51:基于可视化计算模型对计算节点数据网络布局进行图论分析,得到节点网络布局图;提取节点网络布局图的连接属性和布局方式,得到节点网络布局数据;对节点网络布局数据进行网络拓扑分析,得到节点拓扑数据;
步骤S52:基于节点拓扑数据对节点网络配置数据进行动态网络配置调整,得到计算节点调整数据;
步骤S53:基于可视化计算模型对计算任务数据进行处理速度需求分析,得到处理速度需求数据;基于可视化计算模型对计算任务数据进行内存需求分析,得到内存需求数据;基于可视化计算模型对计算任务数据进行通信带宽需求分析,得到通信带宽需求数据;
步骤S54:整合处理速度需求数据、内存需求数据和通信带宽需求数据,生成任务需求数据;
步骤S55:基于任务需求数据对任务处理路径数据、任务执行优先级数据和高资源需求任务数据进行智能任务管理控制,生成计算任务控制数据。
8.根据权利要求7所述的基于流式计算的可视化计算模型构建方法,其特征在于,步骤S52包括以下步骤:步骤S521:根据节点拓扑数据对节点网络配置数据进行网络性能评估,得到节点网络性能评估数据;
步骤S522:对节点网络性能评估数据进行异常分析,得到网络性能异常数据;
步骤S523:提取网络性能异常数据的延迟异常特征,得到延迟异常数据;提取网络性能异常数据的路由异常特征,得到路由异常数据,其中路由异常数据包括路由路径异常和链路选择异常;
步骤S524:基于延迟异常数据对节点网络配置数据进行负载均衡调整,得到节点负载均衡调整数据;
步骤S525:基于路由异常特征对节点网络配置数据进行路由优化调整,得到节点路由优化整数据;若计算节点出现路由路径异常时,则重新规划计算节点中受影响节点的路由路径,并更新路由表;若计算节点出现链路选择异常时,则采用动态路由协议智能切换链路;
步骤S526:整合节点负载均衡调整数据和节点路由优化整数据,得到计算节点调整数据。
9.根据权利要求7所述的基于流式计算的可视化计算模型构建方法,其特征在于,步骤S55包括以下步骤:步骤S551:基于任务需求数据对任务处理路径数据进行智能路径规划,若处理速度需求数据高于预设的任务速度需求阈值时,则对计算任务进行变更处理路径,生成任务变更路径数据;若处理速度需求数据小于或等于预设的任务速度需求阈值时,则对计算任务不做处理,生成任务默认路径数据;整合任务变更路径数据和任务默认路径数据,得到任务路径规划数据;
步骤S552:基于任务需求数据对任务执行优先级数据进行智能调度,若计算任务为高优先级任务,则对计算任务进行最优链路分配,生成任务最优链路分配数据;若计算任务为低优先级任务,则对计算任务进行链路再分配,生成任务链路再分配数据;整合任务最优链路分配数据和任务链路再分配数据,得到优先级任务智能调度数据;
步骤S553:基于任务需求数据对高资源需求任务数据进行智能资源管理,若计算任务为高资源需求任务且为高优先级任务时,则进行内存容量和通信带宽速率提升,生成任务内存带宽提升数据;若计算任务为高资源需求任务且为低优先级任务时,仅进行通信带宽速率提升,生成任务带宽提升数据;整合任务内存带宽提升数据和任务带宽提升数据,得到任务资源智能管理数据;
步骤S554:整合任务路径规划数据、优先级任务智能调度数据和任务资源智能管理数据,得到计算任务控制数据。
10.根据权利要求1所述的基于流式计算的可视化计算模型构建方法,其特征在于,步骤S6包括以下步骤:步骤S61:通过计算节点调整数据和计算任务控制数据对流式计算进行实时可视化调控监测,得到实时可视化调控数据和实时可视化监测数据;
步骤S62:整合实时可视化调控数据和实时可视化监测数据,得到实时可视化反馈报告;
步骤S63:利用区块链技术将实时可视化反馈报告上传至区块链节点,并通过区块链节点对实时可视化反馈报告进行分布式存储,以执行流式计算的可视化计算作业。