1.一种基于联邦强化学习的服务功能链部署方法,其特征在于:包括以下步骤:S1:在云边协同网络场景下,联合网络边缘端和云端共同进行服务功能链SFC部署,实现部署成本和部署能耗联合优化;
S2:对时延敏感和资源密集这两大类型的物联网网络应用请求,分别建立两种不同时间尺度的基于参数化深度Q学习P‑DQN的本地SFC部署算法;
S3:根据步骤S2得到的多个本地P‑DQN算法参数,建立一种基于联邦学习的全局SFC部署模型训练方法,对时延敏感型的小时间尺度SFC部署建立一种基于窗口值的异步联邦参数聚合方式,对资源密集型的大时间尺度SFC部署建立一种弹性参数更新的同步联邦参数聚合方式。
2.根据权利要求1所述的基于联邦强化学习的服务功能链部署方法,其特征在于:在步骤S1中,所述云边协同网络场景包括四架构:物联网设备层支挣用户连接网络,由联网的设备组成;边缘网络层提供边缘计算的物理资源,由基站、路由器和边缘服务器组成;云数据中心层提供云计算的物理资源,由云服务器组成;网络切片层用来处理网络业务,由一系列虚拟网络功能VNF组成的SFC处理;所述SFC部署是为SFC上的VNF和链路选择映射的服务器和物理链路。
3.根据权利要求1所述的基于联邦强化学习的服务功能链部署方法,其特征在于:步骤S1中所述部署成本为VNF映射到服务器后所消耗的成本,包括VNF设置成本和VNF运营成本;
所述VNF设置成本是指在网络中通过引导虚拟机激活需部署VNF实例的总成本,时刻t的VNF部署成本为:κi,j表示在网络中设置单个VNFj的成本;
所述VNF运营成本是指在网络运行期间系统运行各种类型的VNF成本,时刻t的VNF运营成本为:表示单位时间内运行VNF j的成本。
4.根据权利要求1所述的基于联邦强化学习的服务功能链部署方法,其特征在于:步骤S1中所述部署能耗为VNF映射到服务器后的系统能耗,包括服务器运行能耗和路由器运行能耗;所述服务器运行能耗为服务器空载能耗和负载能耗之和,物理节点n在时刻t的运行能耗 表示为:和 分别为云服务器或边缘服务器这一类型物理节点n的空载能耗和满载能耗,为云服务器或边缘服务器这类型的物理节点n在时刻t是否开启的二进制变量,只要有VNF映射到物理节点n上,则物理节点n保持开启状态且 否则为物理节点n的计算资源利用率;
所述路由器运行能耗为路由器运行基础能耗和路由器端口被打开能耗,时刻t的路由器的运行能耗 表示如下:βe(t)为时刻t路由器e是否开启的二进制变量,δe,s(t)为时刻t路由器e的端口s是否被开启的二进制变量,设 和 分别为路由器e的基础运行能耗和路由器e上的端口s被开启的能耗。
5.根据权利要求1所述的基于联邦强化学习的服务功能链部署方法,其特征在于:步骤S2中所述物理节点的资源利用率为物理节点上所有VNF的CPU资源需求之和与物理节点的CPU容量的比值;所述资源使用过载或者资源使用轻载的物理节点为物理节点的资源利用率高于物理节点的最高CPU资源使用阈值或者低于最低CPU资源使用阈值;所述网络性能为满足用户的网络服务质量。
6.根据权利要求1所述的基于联邦强化学习的服务功能链部署方法,其特征在于:步骤S2中所述时延敏感型网络应用请求为对网络时延要求极低的网络业务,资源密集型网络应用请求为对计算、带宽要求极高的网络业务;
所述两种不同时间尺度的SFC部署为在大时间尺度上对资源密集型网络请求进行SFC部署,在小时间尺度上对时延敏感型网络请求进行SFC部署;
所述基于参数化深度Q学习P‑DQN的本地SFC部署算法为将网络分为几个区域,各个区域设置的智能体进行基于P‑DQN算法的SFC部署模型训练,互不干扰;所述智能体为可以进行深度强化学习训练的代理。
7.根据权利要求1所述的基于联邦强化学习的服务功能链部署方法,其特征在于:步骤S2具体包括以下步骤:S21:按照云服务器数量、边缘服务器数量、路由器数量将网络区域等分为几个本地区域;
S22:各个区域的智能体在各自的本地区域进行本地P‑DQN算法训练;
S23:各个智能体将所探寻得到的所有映射动作输入P‑DQN结构中的深度Q网络中,并输出各个映射动作对应的动作值函数;
S24:各个智能体将深度Q网络输出的动作值函数集合输出P‑DQN结构中的深度确定性策略网络中评估动作值函数的高低,深度确定性策略网络输出动作值函数最高的映射动作;
S25:各区域智能体输出映射对应的深度Q网络参数和深度确定性策略网络参数。
8.根据权利要求1所述的基于联邦强化学习的服务功能链部署方法,其特征在于:步骤S3中所述的基于联邦学习的全局SFC部署模型训练方法为选定一个云服务器作为模型聚合节点,模型聚合节点收集各个区域智能体的P‑DQN参数并作平均;具体包括以下步骤:S31:模型聚合节点下发初始的P‑DQN参数;
S32:各个区域智能体接收下发的初始参数进行本地P‑DQN模型训练;
S33:各个区域智能体收集上传的本地训练得到的P‑DQN参数;
S34:模型聚合节点收集所有智能体上传的P‑DQN参数进行联邦平均;
S35:各个区域智能体接收下新的全局模型参数进行本地P‑DQN模型训练;
S36:重复S31‑S35步骤,直到所有本地P‑DQN模型收敛。
9.根据权利要求1所述的基于联邦强化学习的服务功能链部署方法,其特征在于:步骤S3中所述的基于窗口值的异步联邦参数聚合方式为模型聚合节点设置有限的智能体参数接收窗口,一旦接收窗口满值就进行联邦平均;具体包括以下步骤:S37:重复步骤S31‑S36,本地智能体得到算法收敛的P‑DQN参数;
S38:模型聚合节点接收本地P‑DQN模型参数,一旦接收窗口满值立即停止收集参数;
S39:模型聚合节点将接收到的模型参数进行联邦平均并下发给本地区域;
S310:本地智能体结合下发的全局模型参数和本地前一轮训练得到的本地P‑DQN参数进行本地P‑DQN模型训练;
S311:重复S37‑S310步骤,直到所有本地P‑DQN模型收敛。
10.根据权利要求1所述的基于联邦强化学习的服务功能链部署方法,其特征在于:在步骤S3中所述的弹性参数更新的同步联邦参数聚合方式为全局模型聚合节点收集所有智能训练得到的本地P‑DQN模型参数并计算得到全局模型参数,各个智能体计算本地P‑DQN模型参数与全局模型参数的差异程度,差异程度表示为:和 分别为Q网络和确定性策略网络的模型参数距离权重, 和
分别表示本地区域h在大时间尺度SFC部署决策期T的Q网络模型参数和确定性策略网络参数; 和 表示在全局模型训练轮次Γl的全局Q网络参数和全局确定性策略网络参数,Γl为全局模型训练轮次,当本地模型参数与全局模型参数差异很大时,即弹性参数和 很大时,本地智能体可以弹性调节本地部署模型的参数更新权重,即为全局模型参数分配更多的权重,本地模型参数分配较少的权重以此来对齐全局模型参数,智能体h的本地SFC部署模型参数更新方式表示为:和 分别为部署决策期T+1时的本地Q网络参数和确定性策略网络参
数;具体包括以下步骤:
S312:模型聚合节点下发初始的P‑DQN参数;
S313:各个区域智能体接收下发的初始参数进行本地P‑DQN模型训练;
S314:各个区域智能体收集上传的本地训练得到的P‑DQN参数;
S315:模型聚合节点收集所有智能体上传的P‑DQN参数进行联邦平均得到全局模型参数;
S316:各个区域智能体计算本地P‑DQN模型参数与全局模型参数的距离权重;
S317:本地P‑DQN模型参数与全局模型参数差距越大,分配更多的全局模型参数权重更进行新一轮的本地P‑DQN模型训练,差距越小则分配更多的本地模型参数进行新一轮的本地P‑DQN模型训练;
S318:重复骤步骤S312‑S317,直到所有本地P‑DQN模型收敛。