1.一种跨区互联电网发输电系统动态调度优化方法,其特征是按如下步骤进行:步骤1、确定跨区互联电网架构,各区域内包含有常规发电机组、光伏机组、风电机组以及用户负荷,所述用户负荷包括刚性负荷和柔性负荷,区域之间由直流联络线进行连接;
步骤2、建立风力出力、光伏出力、用户负荷需求不确定性模型以及所述常规发电机组和直流联络线模型:步骤2.1、建立所述风电出力、光伏出力以及负荷需求不确定性模型:针对所述跨区互联电网发输电系统,预测调度日时刻t各类功率预测值;所述各类功率预测值是指区域z中风电出力预测值 光伏出力预测值 以及负荷需求预测值将风电出力在时刻t相对于预测值 的随机性波动范围确定为 并将其随机性波动范围 离散为2Nw+1个等级,建立由式(1)所表征的风电出力不确定性模型:
式(1)中, 为t时刻下区域z实际风电出力; 为t时刻下区域z风电出力随机波动的等级, 为t时刻下区域z风电出力随机波动的最小单位;
将光伏出力在时刻t相对于预测值 的随机性波动范围确定为 并将随机性波动范围 离散为2Npv+1个等级,建立由式(2)所表征的光伏出力不确定性模型:
式(2)中, 为t时刻下区域z实际光伏出力; 为t时刻下区域z光伏出力随机波动的等级, 为t时刻下区域z光伏出力随机波动的最小单位;
将负荷需求在时刻t相对于预测值 的随机性波动范围确定为 并将随机性波动范围 离散为2NL+1个等级,建立由式(3)所表征的负荷需求不确定性模型:
式(3)中, 为t时刻下区域z实际负荷需求; 为t时刻下区域z负荷需求随机波动的等级, 为t时刻下区域z负荷需求随机波动的最小单位;
将风电出力随机波动等级 光伏出力随机波动等级 和负荷需求随机波动等级随时间变化的过程描述为马尔可夫过程,令各项随机波动等级的变化服从各自概率矩阵的马尔可夫链;
步骤2.2、建立所述常规发电机组模型:
将所述跨区互联电网发输电系统调度日时长T等分为0~K共K+1个时段;
将区域z中常规发电机组h一个时段内功率变化区间范围 离散为个等级,在变化区间范围内的最小可调单位为 在时段k中常规发电机组h调整功率等级 为:
以最小可调单位 将常规发电机组h的正常发电区间 分为 个等级,因此,时段k中的起始时刻tk常规发电机组功率等级 为:步骤2.3、建立所述跨区联络线模型:
将所述跨区互联电网区域间联络线d一个周期内功率变化区间范围 离散为 个等级,在变化区间范围内的最小可调单位为 在时段k内中联络线d调整功率等级 为:
以最小可调单位 将联络线d的安全输送区间 分为 个等级,因此,时段k中的起始时刻tk联络线功率等级 为:
步骤2.4、建立所述柔性负荷模型:
跨区互联电网在时刻t下区域z内柔性负荷需求 与区域z总负荷需求 具有线性关系: 其中μz为区域z中柔性负荷需求 占总负荷需求 的比例;
将区域z各时段k中柔性负荷削减量占比离散成 个等级,则时段k内柔性负荷的削减等级 为:步骤3、以降低系统日运行代价为系统调度优化目标,在满足系统实际运行过程中的各项约束条件下,将跨区互联电网动态调度问题建立成相应的MDP数学模型:步骤3.1、确定所述MDP数学模型的系统状态sk和行动ak:将所述时段k定义为决策周期k,并将所述决策周期k起始时刻tk定义为决策时刻tk;
定义所述跨区互联电网发输电系统在决策时刻tk的系统状态sk为:其中, 为区域z决策时刻tk下的状态信息, 为直流联络线d决策时刻tk下的功率等级;Z为总的区域数量;D为区域间联络线的总条数;所述区域z决策时刻tk下的状态信息 包括区域z中决策时刻tk下各个常规发电机组的功率等级 风电出力、光伏出力与负荷需求的随机波动等级定义所述跨区互联电网发输电系统在决策时刻tk的行动ak为:其中, 为区域z决策时刻tk下的动作信息, 为直流联络线d决策时刻tk下调整功率等级;所述区域z决策时刻tk下的动作信息 包括区域z中决策时刻tk下各个常规发电机组的调整功率等级 区域z中决策时刻tk下柔性负荷的削减等级
步骤3.2、确定所述MDP数学模型的代价函数:所述跨区互联电网发输电系统在决策时刻tk执行行动ak,利用式(4)计算获得所述跨区互联电网发输电系统在决策周期k内产生的运行代价:式(4)中,ck为决策周期k内跨区互联电网发输电系统总运行代价; 为决策周期k内各区域常规发电机组的运行代价和; 为决策周期k内各区域风电机组弃风的代价和; 为决策周期k内各区域光伏发电机组弃光的代价和; 为决策周期k内各区域柔性负荷的补偿代价; 为决策周期k内各区域负荷需求量与日预测负荷均值量的偏离代价; 为第k个周期内各条直流联络线的电力损耗代价和; 为决策周期k内未完成负荷需求供给的惩罚代价;
步骤3.3、确定所述MDP数学模型的优化目标:建立由式(5)所表征的跨区互联电网发输电系统的有限时段内优化性能准则函数Vπ:式(5)中,π为优化策略,为系统状态sk到行动ak的映射,表征为ak=π(sk);E为期望;优化π性能准则函数V即是在策略π下 的期望;
所述跨区互联电网发输电系统的优化目标为求得最优策略π*,在所述最优策略π*下系统的平均日运行总代价最低,由式(6)所表征:步骤4、采用深度Q学习算法对所述MDP数学模型进行求解步骤4.1、令系统状态sk的维度为rs,行动ak的维度为ra,r=rs+ra;
构建两个具有相同网络架构深度神经网络,分别是当前值深度神经网络和目标值深度神经网络;两个深度神经网络的输入均为r维,输出均为1维,所述两个深度神经网络都是以系统状态sk和行动ak为网络输入,输出为值函数Q(sk,ak);
步骤4.2、定义并初始化学习率α、样本池容量V、网络训练次数M以及一次训练中批样本容量B,令当前已训练次数m=0;
步骤4.3、判断mod(m,100)=0是否成立;若成立,则将当前值深度神经网络的网络参数赋给目标值深度神经网络,并进入步骤4.4;若不成立,则直接进入步骤4.4;
步骤4.4、确定样本池中现有样本数量L,判断L<V是否成立;若成立,则按步骤4.10的方法对样本数据进行扩充,并重复步骤4.4;否则转入步骤4.5;
步骤4.5、在样本池中随机抽取B条样本数据作为第m次学习的批训练样本,所述样本数据的形式为(s,a,c,s′);
步骤4.6、将批训练样本中各样本的当前系统状态s与当前行动a作为当前值深度神经网络的输入,记录各条训练样本对应的输出,获得基于当前值深度神经网络下的值函数Q(s,a);
步骤4.7、将批训练样本中各样本的下一状态s′作为目标值深度神经网络的状态输入,通过遍历行动的方法提供行动输入,通过目标值深度神经网络获得minQ(s′,all action);
利用式(7)计算得到各样本在基于目标值深度神经网络下的值函数Q*(s,a):Q*(s,a)=c+αminQ(s′,all action) (7);
步骤4.8、定义当前值深度神经网络的损失函数Loss为:Loss=[Q(s,a)-Q*(s,a)]2,根据损失函数利用梯度下降法更新当前值深度神经网络参数;
步骤4.9、将m的值增加1,判断m>M是否成立,若不成立,删除样本池中前B条样本数据,返回步骤4.3;若成立,则完成所述跨区互联电网动态调度的优化算法;
步骤4.10、扩充样本数据:
步骤4.10.1、令k=0;随机初始化系统状态;定义并初始化贪婪概率ε;
步骤4.10.2、所述跨区互联电网发输电系统在决策时刻tk根据系统状态sk和当前值深度神经网络,选取贪婪行动agreedy为: 同时,随机选取行动arand;判断rand(0,1)<ε是否成立;若成立,则将贪婪行动agreedy赋值给ak;否则,将随机动作arand赋值给ak;
步骤4.10.3、所述跨区互联电网发输电系统执行决策时刻tk下所选行动ak,并利用式(4)计算在决策周期k内产生的运行代价ck并记录;
在决策周期k结束时,观测所述跨区互联电网发输电系统在决策时刻tk+1的系统状态sk+1;
步骤4.10.4、令s=sk,a=ak,c=ck,s′=sk+1,并将样本数据(s,a,c,s′)传入样本池中;
步骤4.10.5、判断k<K是否成立;若成立,将k的值增加1,将sk+1赋值给sk,然后转入步骤
4.10.2;否则,结束,完成一组样本数据的补充;
步骤5,通过不断对样本数据进行学习,得到收敛的值网络;将实际调度决策时刻tk下的系统状态sk作为当前值深度神经网络输入,根据当前值深度神经网络选取最优行动a*为:得到该决策周期内各区域常规发电机组调整功率等级 柔性负荷的削减等级 和各条跨区联络线输送调整功率等级 从而实现对所述跨区互联电网发输电系统动态调度。
2.根据权利要求1所述的跨区互联电网发输电系统动态调度优化方法,其特征是所述步骤3中系统实际运行过程中的各项约束条件为:其中:
为区域z内光伏实际出力功率, 为区域z内风电实际出力功率, 为区域z内常规发电机组实际出力功率, 为区域z内负荷实际需求功率,Z为所述跨区互联电网区域总数;
为区域z常规发电机组h的出力功率, 分别为区域z常规机组h的出力功率上下限;
分别为区域z常规机组h在决策周期k与决策周期k+1的出力功率, 为区域z常规机组h在单决策周期内的功率爬坡限制;
为所述跨区互联电网中直流联络线d的传输功率, 分别为直流联络线d的传输功率上下限;
分别为直流联络线d在决策周期k与决策周期k+1的传输功率, 为直流联络线d在单决策周期内的功率爬坡限制。