1.一种用于网络安全的优先级异步处理方法,其特征在于,所述方法包括:
S1、通过使用流处理框架采集实时数据,并对实时数据进行预处理,输出预处理好的数据,所述预处理好的数据为数据集,所述数据集包括选取的特征和每个特征的标签;
S2、将选取的特征组成特征数据集和对应的标签数据集,针对特征数据集和对应的标签数据集设计加权评分算法,通过分析特征的互信息和历史攻击检测率,计算每个特征的权重,根据每个特征的权重得到每个特征的加权特征集,然后构建威胁分类模型计算每个特征的威胁评分,根据每个特征的威胁评分与动态阈值比较得出每个特征的威胁等级;
S3、根据每个特征的威胁等级结合当前网络负载状态、历史处理记录和当前安全风险为每个数据包分配优先级权重,然后根据每个特征的加权特征集和实时网络状态对每个数据的优先级权重进行调整,最后数据包按照优先级从高到低排列,生成最终的优先级处理队列,确保优先级高的威胁得到优先处理;
其中,所述S3,具体包括:
S301、根据每个特征的威胁等级,引入影响因子ξi,为每个数据包分配优先级权重PL,确保最高威胁数据包能够获得最高的处理优先级;
S302、根据每个数据包分配优先级权重PL结合每个特征的权重计算优先级值Vi,将所述初步优先级值结合网络的动态环境,设计基于实时网络状态的调整机制,确保在高负载时,动态调整处理顺序,输出经过所述基于实时网络状态的调整机制调整后的动态优先级值V′i;
S303、根据计算出的动态优先级值V′i,将数据包按照优先级值从高到低排列,生成最终的优先级处理队列Qfinal;其中,所述优先级处理队列Qfinal包括每个数据包的动态优先级值V′i、特征的权重fw和相应的威胁等级;
S4、执行协同响应机制,具体为:
监控网络中各个节点的状态信息,所述状态信息包括了当前处理能力、负载以及响应延迟,当某个节点检测到高威胁数据包时,当前节点生成一个威胁通知包,并向其他节点广播此威胁信息,当其他节点接收到来自当前节点的威胁通知包时,其他节点会基于自身状态和接收到的威胁信息,动态调整其处理队列中的优先级,在完成优先级调整后,其他节点更新其优先级处理队列Qj,并基于新的优先级值重新安排任务处理顺序,在其他节点完成威胁响应后,生成反馈信息包,反馈给中央控制器和其他相关节点;其中,所述高威胁数据包为动态优先级值V′i超过预设阈值θ;
S5、在协同响应触发后,每个节点需要执行其优先级队列Qj中的高威胁数据包,优先处理具有最高优先级Vj″的数据包,每个节点在完成任务处理后,生成反馈信息并反馈给中央控制器和其他协同节点,所述中央控制器根据各个节点提供的反馈信息,结合历史处理结果,调整未来的优先级分配、资源调度和节点协同策略;
S6、根据所述反馈信息结合历史反馈信息,进行自适应学习。
2.根据权利要求1所述的一种用于网络安全的优先级异步处理方法,其特征在于,所述实时数据包括:网络流量和网络流量中潜在的攻击行为、用户行为模式和用户行为模式中的异常行为、实时网络数据包;
所述预处理包括:数据清洗与标准化处理,对标准化处理后数据使用互信息量度评估每个特征与标签之间的相关性,所述标签为正常流量或攻击流量,选取相关性较高的前k个特征,然后对选定的特征进行PCA降维处理,最后输出预处理好的数据。
3.根据权利要求1所述的一种用于网络安全的优先级异步处理方法,其特征在于,所述加权评分算法表示如下:Wi=α·I(Fi,Y)+β·Ti+γ·Ri
其中,I(Fi,Y)为特征Fi与标签Y的互信息,反映特征对攻击识别的贡献;Ti为特征Fi在历史数据中的攻击检测率;Ri是一个正则项,表示特征Fi在最近时间窗口中的稳定性,计算方式为特征变化率的倒数;α,β,γ为权重系数,确保稳定性与贡献度的平衡;
所述威胁分类模型构建如下:
选取决策树、随机森林和支持向量机作为基础分类器,输出每个样本的威胁评分S,计算公式为:其中,Cm(Fw)表示第m个基础分类器对加权特征集Fw的分类结果,M为基础分类器的数量;
在所述威胁分类模型中加入正则项RS,用于调整模型对异常样本的敏感度,修正后的评分S′计算公式为:S′=S-λ·RS
其中,λ为超参数,RS为模型在历史数据中异常分类的比率。
4.根据权利要求3所述的一种用于网络安全的优先级异步处理方法,其特征在于,在所述计算每个特征的威胁评分后,使用基于ROC曲线的动态阈值计算机制,表示如下:θ=median(S′)+k·std(S′)+δ
其中,δ为特定的调整因子,取决于最近一段时间内的攻击模式变化
通过将当前威胁评分S′与动态阈值θ进行比较,得出每个样本的威胁等级L,其定义为:
5.根据权利要求1所述的一种用于网络安全的优先级异步处理方法,其特征在于,所述根据每个特征的威胁等级,引入影响因子ξi,为每个数据包分配优先级权重PL,具体分配如下:其中,Plow,Pmedium,Phigh为预设的基础优先级值;ξi为影响因子,定义为:其中,λ为历史处理负载的调节系数,η(t)表示当前系统的网络负载,确保在高负载时系统能够更敏锐地调整优先级;
所述根据每个数据包分配优先级权重PL结合每个特征的权重计算优先级值Vi,设置如下:其中,Wj为特征fw(j)的权重;fw(j)为第j个加权特征的值;φ为一个正则项,表示为高权重特征的置信度调节项;Z为归一化常数,用来将优先级值Vi调整到一个合理的尺度范围内;
所述将所述初步优先级值结合网络的动态环境,设计基于实时网络状态的调整机制,确保在高负载时,动态调整处理顺序,输出经过所述基于实时网络状态的调整机制调整后的动态优先级值V′i,表示如下:V′i=Vi+Δ(t)·θ(t)
其中,Δ(t)为实时变化的调整系数,基于当前网络负载、网络安全态势以及数据包到达率算;θ(t)为针对流量和威胁类型动态更新的安全调整系数;
所述实时变化的调整系数Δ(t)的变化趋势为当负载升高时,Δ(t)值增大,优先对优先级高的数据包的处理。
6.根据权利要求1所述的一种用于网络安全的优先级异步处理方法,其特征在于,所述威胁通知包Ti包含威胁的关键特征、优先级、源头、当前节点的状态和当前节点的威胁置信度;所述当前节点的威胁置信度λi表示其对该威胁的紧迫程度,计算公式为:其中,Ri(t)为节点的响应时间;
所述当其他节点接收到来自节点的威胁通知包时,节点会基于自身状态和接收到的威胁信息,动态调整其处理队列中的优先级,表示如下:根据节点j的负载、能力和接收到的威胁置信度λi调整成为新的优先级值Vj″,计算如下:其中,V′i为节点i报告的动态优先级值;为节点j当前的负载系数,用于平衡节点处理能力,避免高负载节点接收更多高优先级任务;λi为节点i的威胁置信度。
7.根据权利要求6所述的一种用于网络安全的优先级异步处理方法,其特征在于,在根据完成新的优先级值Vj″优先级调整后,为节点引入一个动态资源分配算法:节点根据威胁等级和当前负载动态调整可用资源量Rj(t),计算公式为:
其中,为节点j的最大可用资源量;α为调节参数,用于控制响应资源的分配速率;Vj″为调整后的优先级,θ为资源分配的阈值。
8.根据权利要求1所述的一种用于网络安全的优先级异步处理方法,其特征在于,所述S5,具体包括:S501、在协同响应触发中,当前节点需要根据当前的负载状态Sj(t)动态分配资源,每个节点基于其处理能力Cj(t)和负载情况Lj(t),对数据包Pi进行资源分配,同时引入动态调整因子ρj(t)根据负载变化调整可用资源;
S502、每个节点在完成任务处理后,生成反馈信息,同时加入执行质量评分量化节点任务处理效率,表示如下:其中,μj(t)为执行质量评分,Vj″(i)为当前任务的最终优先级值,Rj(t)为任务执行时的资源消耗,Dj(t)为任务处理的延迟;
S503、根据得到的执行质量评分μj(t),中央控制器调整下一次任务的优先级设定,表示如下:其中,β为优化步长系数,控制优先级调整的幅度;λj(t)为任务的紧急性处理结果,反映任务是否处理成功;θ'为优先级调整阈值,根据此阈值调整优先级;
同时根据每次任务的资源消耗来优化未来的资源分配策略,根据反馈信息中的资源消耗Rj(t),调整未来任务的资源配置,表示如下:其中,γ为资源优化步长系数;Rj(t)为任务处理时的资源消耗;Vj″(i)为任务的优先级值,反映其重要性;ζ为期望的资源消耗比,确保资源利用率保持在合理范围。
9.根据权利要求1所述的一种用于网络安全的优先级异步处理方法,其特征在于,所述S6,具体包括:S601、将所有节点接收到的反馈数据进行汇总,设计反馈矩阵M来存储;
S602、通过历史数据和资源利用情况来优化任务的优先级,并使用自适应调整机制更新未来的任务策略;
S603、使用增量学习更新反馈矩阵M;
S604、引入特征优化机制,动态识别新的威胁模式并进行适应,表示如下:
其中,ΔWf表示特征权重更新量;λf表示特征学习率;Lf表示该特征在历史任务中的处理失败率;Tf表示该特征的总处理次数;∈表示防止除零的常数。
10.一种用于网络安全的优先级异步处理系统,其特征在于,所述系统包括:
网络数据采集模块,用于通过使用流处理框架采集实时数据,并对实时数据进行预处理,输出预处理好的数据,所述预处理好的数据为数据集,所述数据集包括选取的特征和每个特征的标签;
特征加权模块,用于将选取的特征组成特征数据集和对应的标签数据集,针对特征数据集和对应的标签数据集设计加权评分算法,通过分析特征的互信息和历史攻击检测率,计算每个特征的权重,根据每个特征的权重得到每个特征的加权特征集,然后构建威胁分类模型计算每个特征的威胁评分,根据每个特征的威胁评分与动态阈值比较得出每个特征的威胁等级;
优先级处理模块,用于根据每个特征的威胁等级结合当前网络负载状态、历史处理记录和当前安全风险为每个数据包分配优先级权重,然后根据每个特征的加权特征集和实时网络状态对每个数据的优先级权重进行调整,最后数据包按照优先级从高到低排列,生成最终的优先级处理队列,确保优先级高的威胁得到优先处理;
其中,所述优先级处理模块具体执行包括:
S301、根据每个特征的威胁等级,引入影响因子ξi,为每个数据包分配优先级权重PL,确保最高威胁数据包能够获得最高的处理优先级;
S302、根据每个数据包分配优先级权重PL结合每个特征的权重计算优先级值Vi,将所述初步优先级值结合网络的动态环境,设计基于实时网络状态的调整机制,确保在高负载时,动态调整处理顺序,输出经过所述基于实时网络状态的调整机制调整后的动态优先级值V′i;
S303、根据计算出的动态优先级值V′i,将数据包按照优先级值从高到低排列,生成最终的优先级处理队列Qfinal;其中,所述优先级处理队列Qfinal包括每个数据包的动态优先级值V′i、特征的权重fw和相应的威胁等级;
协同处理模块,用于执行协同响应机制,具体为:
监控网络中各个节点的状态信息,所述状态信息包括了当前处理能力、负载以及响应延迟,当某个节点检测到高威胁数据包时,当前节点生成一个威胁通知包,并向其他节点广播此威胁信息,当其他节点接收到来自当前节点的威胁通知包时,其他节点会基于自身状态和接收到的威胁信息,动态调整其处理队列中的优先级,在完成优先级调整后,其他节点更新其优先级处理队列Qj,并基于新的优先级值重新安排任务处理顺序,在其他节点完成威胁响应后,生成反馈信息包,反馈给中央控制器和其他相关节点;其中,所述高威胁数据包为动态优先级值V′i超过预设阈值θ;
节点处理模块,用于在协同响应触发后,每个节点需要执行其优先级队列Qj中的高威胁数据包,优先处理具有最高优先级Vj″的数据包,每个节点在完成任务处理后,生成反馈信息并反馈给中央控制器和其他协同节点,所述中央控制器根据各个节点提供的反馈信息,结合历史处理结果,调整未来的优先级分配、资源调度和节点协同策略;
自适应优化模块,用于根据所述反馈信息结合历史反馈信息,进行自适应优化。