1.虚拟电厂参与的深度强化学习配电网负荷恢复方法,其特征在于,该方法包括以下步骤:S1. 虚拟电厂可调资源建模,根据资源数据构建虚拟电厂可调能力模型,将配电网负荷恢复过程建模为马尔可夫决策过程;
S2. 基于Leiden聚类算法的动态网络分区,分区完成后,为每个区域分配专用智能体,且区域内虚拟电厂资源划归对应智能体管理;
S3. 基于QMIX的多智能体深度强化学习决策框架构建:采用中心化训练、分布式执行模式构建多智能体决策系统;
多智能体决策系统包括各智能体的本地Q网络及中心化混合网络;
所述本地Q网络的输入为控制区域内的电网状态与虚拟电厂资源状态,其中电网状态包括节点电压、线路电流、开关状态,虚拟电厂资源状态包括储能单元的荷电状态、实时出力、可调功率;
所述本地Q网络的输出为开关操作动作与虚拟电厂资源调节动作,其中开关操作动作为对分段开关或联络线开关状态的调整,虚拟电厂资源调节动作为控制储能单元充放电、调节可控负荷功率;
所述中心化混合网络聚合所有智能体的本地Q值,并结合全网状态信息生成全局Q值,全网状态信息包括主网供电能力、跨区域功率流动;全局Q值需满足单调性约束,其中为第个智能体的本地Q值;
设计多维度奖励函数,表达式为,其中、、、为权重系数,为恢复负荷比例,为网损比例,为无效动作次数,为电压越限程度;
S4. 非关键动作屏蔽机制部署:在故障发生后生成故障掩码向量,并根据所述故障掩码向量对不同区域智能体的动作空间进行屏蔽控制;
非关键动作屏蔽机制部署详细过程如下:故障发生后,系统生成故障掩码向量,其中为智能体数量;若智能体所在区域为故障区域或受故障影响区域,设;若为非故障区域,设;
所述的故障区域智能体,不屏蔽其有效动作;对的非故障区域智能体,仅允许执行维持现有开关状态、储能常规充放电的中性动作;
多智能体深度强化学习算法的探索阶段,的智能体从有效动作空间中按概率采样动作,的智能体强制执行中性动作;在利用阶段,智能体从根据动态屏蔽后的动作空间中选择Q值最大的动作,即:;
其中为智能体的本地观测,表示智能体选择的动作,表示在给定观测的情况下,执行动作后,智能体预期能获得的累积奖励;
S5. 多智能体负荷恢复系统运行。
2.根据权利要求1所述的方法,其特征在于,所述S1中的虚拟电厂可调资源建模为:采集虚拟电厂内分布式光伏、储能系统、可控负荷的资源数据,资源数据至少包括分布式光伏的辐照度、温度、出力预测误差,储能系统的荷电状态、充放电功率限制以及可控负荷的调节范围;
可调能力模型的模型表达式为,其中为虚拟电厂总可调功率,为光伏弃电可调功率,为储能充放电可调功率,为可控负荷功率;
马尔可夫决策过程包含状态空间、动作空间、状态转移概率、奖励函数及折扣因子,其中:状态空间,为配电网所有节点的三相电压集合,为分段开关状态集合,为联络线开关状态集合,为虚拟电厂资源状态集合;
动作空间,为分段开关操作,为联络线开关操作,为虚拟电厂调节动作;
状态转移概率满足,其中,表示在时刻 的系统状态, 表示在执行动作 后时刻 的系统状态, 表示在时刻 执行的动作; 和 分别为系统在时刻 和 的状态向量;该状态转移概率 由配电网的潮流计算结果和虚拟电厂资源的实时响应特性共同决定。
3.根据权利要求1所述的方法,其特征在于,所述S2中的动态网络分区为:将配电网抽象为无向拓扑图,其中为包含虚拟电厂并网点的母线节点,为包含虚拟电厂与电网连接线路的线路;
采用Leiden聚类算法对无向拓扑图进行动态分区,动态分区以模块化函数最大化为优化目标,模块化函数表达式为,其中为区域内线路权重总和,为全网线路权重总和,为区域内节点度数总和,为调整分区精度的分辨率参数。
4.根据权利要求3所述的方法,其特征在于,所述动态分区需满足约束:每个区域为连通子图。
5.根据权利要求1所述的方法,其特征在于,所述S5的多智能体负荷恢复系统运行具体为:系统运行分为训练阶段与执行阶段;
训练阶段:初始化各智能体的本地Q网络、中心化混合网络及对应目标网络,设置经验回放缓冲区、折扣因子、学习率、批次大小超参数;
所述训练阶段每个训练周期随机生成故障场景,故障场景中线路断开且无法被智能体操作;重置配电网与虚拟电厂资源状态,获取各智能体初始本地观测;
所述多智能体基于-贪婪策略选择动作,执行动作后观测系统新状态与奖励值,将“状态-动作-奖励-下一状态”的元组存入经验回放缓冲区;当缓冲区数据量超过批次大小时,采样小批量数据,按计算目标Q值,其中,为在当前时刻智能体执行动作并转移到新状态后,环境即时返回的奖励值, 为折扣因子,是一个介于0和1之间的参数,用于平衡即时奖励和未来奖励的重要性,智能体在状态下执行动作后,系统所达到的新状态; 为下一状态下,智能体将要采取的动作;通过最小化预测Q值与目标Q值的均方误差更新网络参数,并软更新目标网络参数;
执行阶段故障发生时,加载训练完成的本地Q网络;输入由配电网实时运行数据与虚拟电厂资源实时状态数据构成的观测向量,各智能体独立选择Q值最大的动作;执行动作后实时监测电网状态,若满足电压约束、电流约束且达成负荷恢复目标,则停止决策;若未达成,则重新采集状态并迭代决策,直至恢复完成或达到预设的最大动作次数;
所述电压约束中,为第次开关操作后节点的电压,、分别为节点i的电压最小、最大允许值;所述电流约束中,为线路的电流,、分别为线路的电流最小、最大允许值。
6.根据权利要求2所述的方法,其特征在于,所述S1中可控负荷具体包括商业建筑内的中央空调系统、工业生产中的异步电机,可控负荷的调节范围根据用户用电需求与设备运行阈值确定。
7.根据权利要求6所述的方法,其特征在于,所述S4中性动作还包括维持分布式光伏的当前出力状态,不调整光伏弃电功率。
8.一种实现权利要求1-7任一项所述虚拟电厂参与的深度强化学习配电网负荷恢复方法的系统,其特征在于,该系统包括:虚拟电厂资源建模模块:用于采集资源数据,并基于资源数据构建虚拟电厂可调能力模型;
动态分区模块:用于将配电网抽象为无向拓扑图,为母线节点,为线路,采用Leiden聚类算法对无向拓扑图进行动态分区,并为每个分区分配专用智能体;
多智能体决策模块:采用中心化训练、分布式执行模式,包括本地Q网络单元与中心化混合网络单元;所述本地Q网络单元用于输入区域电网状态与虚拟电厂资源状态、输出开关操作动作与虚拟电厂资源调节动作;中心化混合网络单元用于聚合本地Q值、结合全网状态信息生成满足的全局Q值;多智能体决策模块还包括奖励函数计算单元,用于计算奖励值;
动作屏蔽模块:用于在故障发生后生成故障掩码向量,并根据故障掩码向量对不同区域智能体的动作空间进行屏蔽控制;对智能体执行动作;
运行控制模块:用于控制系统进入训练阶段或执行阶段;在训练阶段,完成网络初始化、故障场景生成、经验存储与网络参数更新;在执行阶段,完成故障后的动作决策与负荷恢复。
9.根据权利要求8所述的系统,其特征在于,所述虚拟电厂资源建模模块还用于构建配电网负荷恢复的马尔可夫决策过程,明确状态空间、动作空间、状态转移概率的定义与范围;
或动态分区模块还包括分区验证单元,用于验证分区结果是否满足连通子图约束,若不满足则重新执行Leiden聚类算法;
或动作屏蔽模块还包括动作监测单元,用于监测非故障区域智能体的动作是否符合中性动作要求,若检测到无效动作则触发动作修正,强制恢复至中性动作状态。