1.一种基于深度强化学习的网络业务接入和切片资源配置方法,其特征在于,包括:将定义好的网络流量切片与事先分类的业务相关联;
根据业务的时延和能耗分配切片的通信、计算和存储资源,建立优化目标;
将优化目标建模成马尔科夫决策过程,利用训练好的Q‑Learning模型求解得到最优切片接入策略;
基于最优切片接入策略,将切片资源分配优化问题建模成马尔科夫决策过程,利用训练好的DDPG模型得到切片的最优资源配置策略。
2.根据权利要求1所述的基于深度强化学习的网络业务接入和切片资源配置方法,其特征在于,所述将定义好的网络流量切片与事先分类的业务相关联,包括:以时延敏感度、带宽和可靠性为参数指标,按照不同需求将业务分为四类:自动化和远程控制类、高清视频类、实时采集类、车联网类;
根据流量特征,定义六类网络流量切片,其中,切片一至切片四与四类业务关联,切片五为非地面通信,包括无法建设基站和基站损坏时的应急通信,或者在其他切片业务饱和时,为优先级不高且时延要求很低的业务提供通信资源;切片六为其他,用于接入基于场景不确定性出现的新型业务类型。
3.根据权利要求1所述的基于深度强化学习的网络业务接入和切片资源配置方法,其特征在于,所述根据业务的时延和能耗分配切片的通信、计算和存储资源,建立优化目标,包括:在智慧工厂场景下,定义各切片的效用,以及切片业务的优先级,每个请求有i个业务,在某一时刻有M个请求,请求业务集合为 ,表示请求m是否存在第i类业务,其中,0表示不存在,1表示存在;共有 个i类业务资源,请求m的每个业务需要执行计算任务 ,传输大小为 的业务内容,时延最低要求为 ;
计算业务的时延为:
;
计算业务的能量消耗为:
;
其中: 为第i类业务分配的带宽资源,为第i类业务分配的计算资源, 为第i类业务分配的存储资源; ,为第i类业务对应内容的缓存指示变量,取值为1时,表示对应请求的内容已经存储在基站中,无需处理可直接传输获得;反之则表示没有存储在基站中,则需要计算业务时延和能量消耗;P为DU基站发射功率,为路径损耗;表示噪声功率;
因此,优化目标 为
min ;
s.t C1: ;
C2: ;
C3: ;
C4: ;
C5: ;
其中, 和 分别是不同类型业务时延和能耗对网络性能的影响因子,C1、C2、C3分别是存储空间、带宽、计算资源分配的约束条件,C4是每一类业务的缓存存储的约束,C5是不同业务类型的时延约束条件。
4.根据权利要求1所述的基于深度强化学习的网络业务接入和切片资源配置方法,其特征在于,所述将优化目标建模成马尔科夫决策过程,包括:agent:需要请求接入基站的新用户;
t时刻,第k个代理的状态空间表示为:;
其中: 表示t时刻切片l中基站的剩余可用资源, 表示业务请求的资源;
代理采取的动作为:
;
其中: 表示将业务接入到几个切片中, ,其中表示是否将业务接入到切片i中;
代理获得的奖励为:
;
其中: 和 分别是不同类型业务时延和能耗对网络性能的影响因子, 和 分别表示业务i的时延和能耗。
5.根据权利要求4所述的基于深度强化学习的网络业务接入和切片资源配置方法,其特征在于,所述Q‑Learning模型的训练方法,包括:a. 根据划分的状态情况及可选取动作建立Reward‑Table,从动作空间中选取一种动作;
b. 初始化Q值表,Q值表与Reward‑Table同阶,Q←0;
c. 对应Reward‑Table,根据不同状态任意选取动作,更新Q值表,Q值的更新公式如下:;
其中: 为节点在状态 下采取动作 后可获得的期望最大收益, R为立即获得的收益,从Reward‑Table中获得; ,为学习率,用于决定本次的误差有多少是要被学习的; 为折扣因子,用于确定延迟回报与即时回报的相对比例;
d. 继续从 出发,若未达到目标状态,则进行下一步更新;
e. 如果算法未达到周期数,则转入步骤a进行下一个场景,否则结束训练,得到训练完毕的收敛Q表。
6.根据权利要求1所述的基于深度强化学习的网络业务接入和切片资源配置方法,其特征在于,所述基于最优切片接入策略,将切片资源分配优化问题建模为马尔科夫决策过程,利用训练好的DDPG模型得到切片的最优资源配置策略,包括:获取网络中每个切片的资源状态信息,初始化系统的资源环境,构成环境的状态参数;
构建切片资源分配优化问题的马尔科夫决策过程,对DDPG模型进行离线训练;
利用训练好的DDPG模型为每个切片提供最优资源分配方案。
7.根据权利要求6所述的基于深度强化学习的网络业务接入和切片资源配置方法,其特征在于,所述获取网络中每个切片的资源状态信息,初始化系统的资源环境,构成环境的状态参数,包括:根据最优切片接入策略,获取系统的资源状态信息,包括业务需求信息和切片资源信息;
对于任意第i类切片下:业务数量为 ,业务所需的资源为:;
其中 , 为 带宽 资 源 , 为 计 算 资 源 ,为存储资源;切片中的基站数量为L,切片上各基站可分配的带宽资源为 ,计算资源为 ,存储资源为 。
8.根据权利要求7所述的基于深度强化学习的网络业务接入和切片资源配置方法,其特征在于,所述切片资源分配优化问题的马尔科夫决策过程,包括:定义深度强化学习的状态空间为切片的资源状态和业务的资源需求,代理为切片本身;
t时刻,第k个代理的状态空间表示为:;
其中: 表示切片l中DU基站剩余可用资源, 表示业务的资源需求,L表示DU基站数量;
定义t时刻,第k个代理采取的动作空间为: , 表示t时刻对切片做出的动作,包括接受和拒绝业务请求,对基站的扩容、缩容,增加基站的数量;
定义t时刻,第k个代理对应获得的奖励为执行动作时带来的系统的总效用,所述总效用为M个切片的效用总合 ,综合切片的资源利用率和切片的业务接受率作为切片的效用表示为:;
;
其中: 为切片的效用, 、均表示权重, 、 、 ; 表示第i类切片分配给业务n的资源, 表示切片接受的业务数,N表示总的业务请求数, 表示每个基站的资源。
9.根据权利要求6所述的基于深度强化学习的网络业务接入和切片资源配置方法,其特征在于,所述DDPG模型包括Actor当前网络、Actor目标网络、Critic当前网络、Critic目标网络;
所述Actor当前网络:实现深度强化学习模型参数 的更新,其根据当前状态 选择动作 ,与环境交互后得到下一个状态 和环境反馈的奖励值 ;
所述Actor目标网络:从经验回收池中采样下一个状态 ,选择下一个最优动作 ,并且定期将Actor当前网络参数 复制给 ;
所述Critic当前网络:负责价值网络参数 的迭代更新,负责计算当前Q值 ;
所述Critic目标网络:负责协助计算目标Q值 ,并且定期将Critic当前网络参数 复制给 。
10.根据权利要求9所述的基于深度强化学习的网络业务接入和切片资源配置方法,其特征在于,所述DDPG模型的训练方法包括:初始化Actor当前网络 和Critic当前网络 ,权重分别为 和 ;
初始化Actor目标网络 和Critic目标网络 ,并复制权重 ,;
初始化经验缓冲池D的大小为N;
对于每个回合:
a. 初始化动作探索的随机过程 和状态 ;
b. 对于每个步长:根据当前策略和和噪声随机选择一个动作 ;
c. 执行动作 ,环境反馈即时奖励 和下一时刻状态 ;
d. 添加 到经验缓冲池D中;
e. 从D中随机抽取一个小批量的 ;
f. 计算实际的Q值: ,为衰减因子;
g. 使用损失函数 ,更新Critic当前网络参数 ;
h. 使用 ,更新Actor当前网络参数 ;
i. 平稳更新Critic目标网络和Actor目标网络参数:;
;
j. 如果当前状态为终止状态,则当前回合迭代完毕,否则转到步骤b。