1.一种基于强化学习的负荷频率控制系统攻击检测方法,其特征在于,包括以下步骤:步骤1、基于负荷频率控制系统的关键状态变量和参数,以构建完整数据集为目标,通过多阶段数据采集及处理,构建标准化的训练集、验证集和测试集;
步骤2、基于Markov决策过程理论框架,以生成高效且隐蔽的攻击样本为目标,通过构建多目标奖励函数和改进REINFORCE算法训练攻击智能体,构建虚假数据注入和负荷切换攻击样本集;
步骤3、基于时间序列特征和系统状态数据,以实现准确可靠的攻击检测为目标,构建包括监督学习检测模型、无监督学习模型及融合判决机制的攻击检测模型;
步骤4、基于训练好的攻击检测模型,以优化检测性能和系统适应性为目标,构建攻击检测与防御系统;
其中,步骤2具体为:
步骤201、构建攻击智能体的Markov决策过程框架;
定义状态空间为,其中,表示系统电气功率,表示机械功率,表示区域控制误差,为系统安全运行区域,为系统频率偏差,为向量的转置,表示频率变化率;
定义动作空间为,其中,表示对传感器信号的欺骗性篡改幅度,表示对控制输入路径的干扰强度,表示对负荷扰动特性的调控参数;表示攻击智能体的动作空间,定义为所有可能攻击动作的集合,包括对传感器信号、控制路径和负荷扰动的调控参数;
定义状态转移方程为,其中为状态转移函数,表示系统中的随机扰动项,为系统控制输入;
步骤202、设计多目标奖励函数:
,
系统安全运行区域定义为;
其中,为成功奖励值,为系数,为参数;是多目标奖励函数中的惩罚系数;表示攻击动作向量的二范数平方,反映攻击幅度的大小;
步骤203、采用改进REINFORCE算法进行策略优化;
定义参数化策略,表示在状态下选择动作的概率;
策略优化目标为最大化期望累积奖励:
;
其中,表示策略网络参数,表示状态-动作轨迹,表示折扣因子,表示攻击持续时间,为多目标奖励函数;
策略梯度计算公式为:
,
其中,表示从时间步开始的折扣回报;表示基于状态的基线函数;表示时间步索引变量,用于计算从当前时间步开始的未来奖励累计值,其取值范围为;
步骤204、生成虚假数据注入攻击样本,构建包含时间周期特征的扩展状态向量:,
其中,表示周期性时间特征项,用于捕捉系统周期性行为模式,增强攻击的时序适应性;
攻击信号生成采用双曲正切函数实现物理约束:,
控制器接收到的篡改后频率信号为:
;
其中, 表示控制器接收到的频率信号相对于真实信号的篡改幅度比例;表示攻击策略网络,其输入为扩展状态向量,输出为攻击比例函数内部的尺度因子,为其网络参数;表示系统在当前时间步的真实频率偏差;表示经攻击篡改后的频率测量值,即控制器实际接收到的伪造信号,其通过乘以比例系数实现对真实信号的欺骗;为攻击幅度的最大限制值;
步骤205、生成基于负荷切换的扰动攻击样本,攻击策略网络输出三维门控参数:,
其中,表示攻击触发的中心时间点;表示扰动信号上升/下降的陡峭程度,即控制攻击信号的转换速率;为控制扰动攻击信号的最大幅值,即攻击强度;
攻击信号通过参数化Sigmoid函数和谐波叠加实现:;
其中,为生成的扰动攻击信号,为自适应幅值映射函数,将攻击策略网络输出的映射为物理攻击信号最大幅值;为第个谐波分量的幅值系数;表示第阶谐波的扰动信号分量,其中为第阶扰动频率;为初始相位;
攻击智能体能自动识别系统固有频率并生成满足共振条件的扰动:,
其中,为攻击扰动频率,为系统固有频率,为允许误差范围;
S206、验证生成样本的有效性;
通过定义安全裕度指标评估攻击效果:
,
其中,为当前系统状态与安全区域边界之间的最小欧氏距离;为当前系统状态向量,取值为当前时间步下系统状态变量的组合;表示安全区域的边界上的任意一点状态向量,用于计算当前状态到安全边界之间的最小距离;表示全区域的边界;
攻击成功判定标准为:或系统状态在仿真期间任意时刻超出安全区域。
2.根据权利要求1所述的一种基于强化学习的负荷频率控制系统攻击检测方法,其特征在于,步骤1具体为:以预设采样频率对负荷频率控制系统关键状态变量进行采集,获取系统状态向量,其中,为频率积分误差,为调速器功率偏差,为机械功率偏差,为系统频率偏差,为向量的转置;同时采集控制输入和负荷扰动,以及系统关键参数,包括调速器时间常数、汽轮机时间常数、系统惯性常数、阻尼系数和调速器下垂系数;
对所有采样获得的动态变量,包括系统状态变量、、、,以及系统控制输入和负荷扰动,应用Z-score标准化方法进行处理;
对Z-score标准化处理后的数据进行清洗,应用准则识别异常值,对单点异常采用线性插值方法替换,对连续异常数据点应用移动平均法处理;
设定时间窗口长度,构建状态序列,并基于此序列计算统计特征;
构建数据集,为系统关键参数;为离散时间步,对应采样时间序列中的每一个时间点;N为总样本数量,即在整个采集周期中,按时间窗口移动所生成的状态序列样本数量;为数据集添加运行状态标签,并按照的比例划分为训练集、验证集和测试集。
3.根据权利要求2所述的一种基于强化学习的负荷频率控制系统攻击检测方法,其特征在于,所述运行状态标签包括:标签0表示正常运行状态,满足且;
标签1表示不触发保护的攻击状态,系统存在攻击但未超出保护阈值;
标签2表示触发频率保护的攻击状态,满足;
标签3表示触发ROCOF保护的攻击状态,满足;
其中,表示频率变化率,即系统频率对时间的一阶导数,反映频率变化的速度;表示系统频率偏差,即当前系统频率与额定频率之间的差值;表示最大允许频率偏差;表示最大允许频率变化率。
4.根据权利要求1所述的一种基于强化学习的负荷频率控制系统攻击检测方法,其特征在于,步骤3具体为:步骤301、构建基于LSTM的监督学习检测模型,用于对负荷频率控制系统中的攻击行为进行分类识别;
步骤302、构建基于自编码器的无监督学习模型,用于检测负荷频率控制系统中未知类型的攻击行为;
步骤303、基于步骤301及步骤302模型的检测结果,设计多模型融合的检测决策机制;
步骤304、设计模型参数动态调整机制,提高模型的适应性。
5.根据权利要求4所述的一种基于强化学习的负荷频率控制系统攻击检测方法,其特征在于,步骤301中,所述基于LSTM的监督学习检测模型,包括输入层、三层LSTM层、三层Dropout层、全连接层和Softmax输出层;
输入层接收时间窗口内构建的系统状态序列:
,
其中,每个时间点的状态向量为:
;
输入序列通过三层堆叠的LSTM层进行时间特征提取,每个LSTM层之后紧接一个Dropout层,每个Dropout层的输入均为其对应的LSTM层的输出,前两个Dropout层的输出均为下一个LSTM层的输入;第三个Dropout层的输出通过Flatten操作展平为向量形式输入至全连接层,输出为类别概率向量的中间表示;作为输入,进入Softmax输出层生成最终的输出概率向量,其中;最终预测类别为,置信度为;
基于LSTM的监督学习检测模型对输入状态序列的分类预测结果,即输入序列属于类别的概率;对应四类运行状态:c=0:正常运行状态;
c=1:不触发保护的攻击状态;
c=2:触发频率保护的攻击状态;
c=3:触发ROCOF保护的攻击状态。
6.根据权利要求5所述的一种基于强化学习的负荷频率控制系统攻击检测方法,其特征在于,步骤302中,所述基于自编码器的无监督学习模型,采用对称结构的自编码器,包括编码器、潜在表示和解码器;
编码器和解码器的映射函数分别为:
,
;
其中,表示编码器部分的网络参数集合,用于控制编码器的映射函数的非线性变换能力;表示解码器部分的网络参数集合,用于控制解码器的重构能力;表示在时刻由编码器输出的潜在空间向量,是对输入状态序列的低维嵌入表示;
所述基于自编码器的无监督学习模型训练采用均方误差损失函数,并引入稀疏约束和L2正则化,总损失函数为:;
其中,表示整个自编码器模型的参数集合,即;表示输入序列与重构序列之间的均方误差损失函数,衡量模型的重构误差;表示稀疏正则化项的权重超参数,用于控制潜在表示的稀疏性,防止模型过拟合;表示 正则化项的权重超参数,用于控制模型参数的范数大小,避免模型参数过大导致训练不稳定;
异常检测阈值计算公式为:;
其中,和分别为重构误差的均值和标准差;表示用于调节异常检测灵敏度的超参数;
异常得分计算公式为:;
其中,为重构误差,为异常检测阈值;对于新输入序列,若重构误差,则判定为异常。
7.根据权利要求6所述的一种基于强化学习的负荷频率控制系统攻击检测方法,其特征在于,步骤303具体为:步骤303-1、获取基于LSTM的监督学习检测模型和基于自编码器的无监督学习模型的检测结果,包括监督学习检测模型输出类别概率向量、监督学习检测模型判定类别、监督学习检测模型判定置信度、无监督模型异常得分以及无监督模型判定置信度;
步骤303-2、根据各模型历史性能动态分配决策权重:,
,
其中,和分别表示时刻基于LSTM的监督学习检测模型和基于自编码器的无监督学习模型的权重;和分别表示基于LSTM的监督学习检测模型和基于自编码器的无监督学习模在时刻之前的滑动窗口内的准确率;
计算融合决策的加权得分:
;
步骤303-3、设计融合决策规则:
当两个模型判定一致时,直接采用一致结果;
当判定不一致时,若且,采用监督学习检测模型结果;
其中,表示对监督学习检测模型置信度的判决阈值;表示对无监督学习模型置信度的判决阈值;
若且,采用无监督学习模型结果;
否则,根据与预设阈值比较确定最终判定;
若,则系统认为多模型集成后的置信度已达可接受阈值,输出状态判定为攻击状态;
当,则整体置信水平不足以支持异常判断,系统输出正常运行状态。
8.根据权利要求7所述的一种基于强化学习的负荷频率控制系统攻击检测方法,其特征在于,步骤304具体为:实现学习率自适应调整策略:
,
其中,表示时刻的学习率,表示初始学习率,表示衰减系数;表示最大训练轮数;定义验证集性能指标,设置耐心参数,若连续轮训练后无改善,则停止训练,并返回验证集性能最佳的模型参数;
构建模型权重动态更新策略,定义更新频率,设置更新幅度限制防止模型突变,基于新数据批次的性能反馈调整权重更新方向,实施软更新机制:,其中表示软更新系数,;
开发检测阈值自适应调整算法,根据历史误报率和漏报率动态调整检测阈值,设计阈值调整公式,其中,和分别表示新、旧检测阈值;表示调整步长;表示当前误报率;表示目标误报率。
9.根据权利要求8所述的一种基于强化学习的负荷频率控制系统攻击检测方法,其特征在于,步骤4具体为:步骤401、基于测试样本进行攻击检测;
加载测试样本集,其中表示第个测试样本的特征向量,为对应的标签,表示测试样本的编号,为测试集样本总数;
通过监督学习检测模型计算类别概率向量,其中表示监督学习模型检测函数,为模型参数,表示第个测试样本属于类别的预测概率值,分别对应四类运行状态;
根据概率向量确定监督学习检测模型的预测类别及置信度;同时通过无监督学习模型计算重构误差,其中表示自编码器模型函数,为相应参数;
基于重构误差的均值、标准差、异常检测阈值,计算标准化异常得分:;
根据重构误差得分判断异常判定结果和置信度:;
步骤402、基于模型历史性能计算融合决策得分并确定最终判定结果,具体包括:步骤402-1:在模型评估滑动窗口内,分别计算监督学习模型与无监督模型的历史分类准确率:和,表示截至时间t的局部窗口内模型准确率;
基于准确率计算当前时间点下两个检测模型的融合权重:,
步骤402-2:在对第个测试样本,构建融合决策得分:,
其中,表示指示函数,在括号内条件为真时返回1,反之为0;表示监督模型对样本的预测类别,若,说明该模型未输出空类别;为无监督模型的判定结果,当时,表示检测到该样本存在异常;变量与分别表示两个模型对其输出结果的置信度,权重系数与则根据两个模型在历史时间窗口内的性能动态调整,以反映其相对可信度;
在确定最终融合分类结果时,若两个模型的判定一致,即,则直接采用该一致结果作为最终输出;若两者结果不一致,则依据各自置信度与预设阈值执行优先级判定;
当两种模型的置信度均不足以达到各自的设定阈值时,则通过比较融合得分与决策阈值来完成最终判定;
S403、进行模型性能评估与优化,计算混淆矩阵及误报率和漏报率,绘制ROC曲线并确定最优检测阈值,实现检测阈值自适应调整算法;
步骤404、实现增量学习与模型更新;
构建高置信度样本收集机制,当新样本数量达到预设阈值时触发监督学习检测模型参数更新;实现无监督学习模型的在线更新机制,使用指数移动平均法更新重构误差统计参数,均值更新公式为,标准差更新公式为,其中为平滑因子;实现模型参数的软更新机制,其中为软更新系数;
步骤405、进行系统安全裕度评估与部署集成,计算系统安全裕度指标,其中为最大允许频率偏差,为最大允许频率变化率;基于安全裕度评估系统风险等级并生成防御策略建议,为系统运行人员提供决策支持。