欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021114303599
申请人: 南京工程学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于马尔可夫决策过程的能源管理方法,其特征在于,基于一种基于马尔可夫决策过程的能源管理系统,系统包括马尔可夫决策模块、能源管理模块、成本计算模块和隐私保护模块;

所述能源管理模块包括能源需求侧和能源管理单位,所述能源需求侧包括用电器和可充电电池;能源供应商通过智能电表连接能源需求侧,为家庭提供的电能;能源管理单位与用电器和可充电电池之间通过信号线相连接,通过能源管理单位实时监测电价和用户总需求,并控制可充电电池的充放电时长;

所述隐私保护模块是将一个时间段内智能电表收集到的数据分成若干组,采用差分隐私算法对数据组进行加噪处理;在隐私保护模块中定义隐私保护等级,量化分析不同的隐私保护程度;

所述成本计算模块分别与能源管理模块、隐私保护模块之间通过信号连接,在成本计算模块内结合实时电价、电池使用情况以及隐私预算,计算出能源管理系统的系统成本;

所述马尔可夫决策模块分别与成本计算模块、能源管理模块之间通过信号连接,将能源管理系统的系统成本以及隐私保护程度作为参数输入马尔可夫决策模型,输出最优的隐私保护程度和能源管理系统的系统成本并输入至能源管理模块;

方法包括如下步骤:

步骤1,基于用户个性化的隐私保护需求,选择差分隐私算法的隐私保护等级K;

步骤2,以一天为基本单位,遍历每一个可能的保护等级k,k≤K;以固定时间间隔,在智能电表向能源供应商传输数据的过程中,利用差分隐私算法对原始数据进行加密处理;

步骤3,计算能源管理系统的隐私保护程度以及系统成本;

步骤4,将系统成本和隐私保护程度输入到本模块的马尔可夫决策模型构造优化问题,并运用Sarsa算法解决优化问题,进行马尔可夫决策过程,获得完整的价值表Q;

步骤5:遍历整个价值表Q,找到最适合该用户的隐私保护程度k*以及该保护程度相对应的成本并反馈给用户;如果没有找到符合条件的隐私保护程度k*以及该保护程度相对应的成本则返回步骤3;

所述步骤2中以6(11-k)为固定时间间隔,在智能电表向能源供应商传输数据的过程中,利用差分隐私算法对个原始数据进行加密处理;

所述步骤3中计算能源管理系统的隐私保护程度的方法为:

其中,Psm(t)和P′sm(t)分别表示智能电表采集的原始数据和经过加密处理后的数据,k表示对原始数据集进行隐私保护的次数;

所述步骤3中能源管理系统的系统成本包括可充电电池运行费用Cb、电价成本Ce以及隐私预算Cp,故系统成本表示为:Cπ=Ce+Cb+Cp;

计算可充电电池运行费用:

通过可充电电池自身费用除以预估电池的可充放电次数,定义得出电池的摊销成本q:定义s(t)表示时间段Δt中可充电电池的工作状态,如果可充电电池正在充电或者放电,则s(t)=1;如果没有使用可充电电池,则s(t)=0;由此,得到可充电电池运行费用:其中,k为隐私保护等级,即在一个固定的时间段T内,根据当前隐私保护等级k划分成k个时间段Δt,k=1,2,...,K;则将每个时间段内的电池成本相加,得到Cb;

计算电价成本:

通过控制端监控实时电价Vt,根据电表读数Psm(t)可以直接计算出用户在时间段Δt内的电价成本,将每个时间段内的实时电价相加,得到Ce;

不同用户隐私保护等级k下的隐私预算表示为:

Cp=k∈

其中,∈为隐私预算。

2.根据权利要求1所述的一种基于马尔可夫决策过程的能源管理方法,其特征在于,步骤4过程如下:步骤4.1:初始化马尔可夫决策的状态集S(D,d,y,Psm,Cπ),其中,D是隐私保护程度,d为用户隐私保护需求程度,是所有等级下的隐私保护程度集合的一个元素,y是一个二元参数,y=0表示当前隐私保护程度D不满足隐私保护的要求,y=1表示当前隐私保护程度D满足隐私保护的要求;Psm为智能电表采集的原始数据,Cπ表示当前状态下的系统成本;

步骤4.2:基于ξ-贪心算法选择当前状态下一个可能的动作a,并根据下一时刻的电表数据更新下一个状态s′,同时得到一个即时的奖励r,确定下一个动作a';

步骤4.3:根据下一时刻的动作、状态对Q(s′,a′)更新上一时刻的价值Q(s,a),由此循环直到该等级下的所有当前动作全部结束;

步骤4.4:重复上述过程,得到该保护等级k下的所有状态动作对的价值;

步骤4.5:考虑所有可能符合用户需求的k,遍历每一个保护等级k,得到一张完整的价值表Q。

3.根据权利要求1所述的一种基于马尔可夫决策过程的能源管理方法,其特征在于,根据系统成本和隐私保护程度,设计如下奖励函数,并根据奖励函数确认奖励r:其中,R为奖励集,r-是一个负常数,表示当系统成本超出成本预算时,负的即时奖励对当前价值有很大的削减,系数β和δ分别是隐私保护程度和系统成本的权重;当系统成本在以内时,对于当前状态,有两种可能的奖励:如果当前隐私保护程度D不满足隐私保护的要求,即y=0,奖励为-βD-δCπ;当前隐私保护程度D满足隐私保护的要求,即y=1,奖励则是r+-δCπ,r+为一个正常数。