1.一种基于多智能体深度强化学习的虚拟光网络映射方法,其特征在于,其步骤如下:
步骤一:执行底层物理网资源调度更新算法,在虚拟网请求业务到达时间,判断此时刻环境模块中底层物理网是否有其他虚拟网业务离去,若有,环境模块执行资源释放算法,对要离去的虚拟网请求业务占用的节点与链路资源进行释放,更新完成后进行节点选择;若无其他虚拟网请求业务离去,则直接进行节点选择;
步骤二:对虚拟网请求业务面对的当前物理网的节点与链路信息进行提取:节点智能体提取底层物理网所有节点及其周围链路的特征信息组成特征矩阵M,特征矩阵M作为节点状态输入节点智能体模块;链路智能体从环境中提取源节点和目的节点间的链路特征信息组成特征向量V,特征向量V作为链路状态输入链路智能体模块;
步骤三:节点智能体模块利用节点策略网络对输入的特征矩阵进行计算,得到物理网每个节点为当前虚拟网请求业务提供映射的概率分布,通过e-贪心算法和概率分布选取合适的节点作为当前虚拟网请求业务要映射到的节点;最后判断虚拟网节点是否映射成功,若物理节点计算资源够用则虚拟节点映射成功,记录下映射成功的节点动作;反之则映射失败;
步骤四:链路智能体模块把同一虚拟网请求中成功映射的所有节点动作分批次接受,同时把当前映射的物理网源节点与目的节点同步骤二中获取的链路状态作为链路策略网的输入,并通过链路策略网的计算源节点与目的节点间的最短路径的频槽概率选择分布,并选择出合适的频槽块来满足链路请求资源,若选择的可用的频槽块支持虚拟网请求业务的带宽资源,则该最短路径对应的链路映射成功,否则当前虚拟网请求业务映射失败;
步骤五:经过步骤三和步骤四中执行的节点动作与链路动作的映射结果,评判模块依次得到从环境模块中获得的即时奖励,在一个步长中重复步骤一到步骤四,由即时奖励计算多步映射的累加奖励;
步骤六:评价模块根据累加奖励计算节点动作和链路动作的评价值,链路智能体和节点智能体均接受评价模块根据评价函数计算出的评价值,当有多个虚拟网请求业务时,评价模块根据评价值对智能体模块的参数进行更新。
2.根据权利要求1所述的基于多智能体深度强化学习的虚拟光网络映射方法,其特征在于,所述步骤一种底层物理网资源调度更新算法的实现方法为:(1)环境模块建立时间轴T,每个事件刻度加1,下一时间刻度为T+1,建立离去业务队列D,每当有虚拟网请求业务到达时,把当前虚拟网请求业务添加到离去业务队列D,并按离去时间Tl由小到达排序;
(2)环境模块从时间刻度0开始,到最后一个虚拟网请求业务离去时间为止,每个时间刻度都对离去业务队列D中的第一个虚拟网请求业务R′的离去时间进行判断,若当前时刻T≥Tl,则对虚拟网请求业务R′占用的物理网节点与链路资源进行删除;否则T+1。
3.根据权利要求1或2所述的基于多智能体深度强化学习的虚拟光网络映射方法,其特征在于,所述节点智能体提取所有节点及其周围的特征信息:第i个节点的特征向量为vi=(ncci,degi,nfsi,fsbi,adsi),并组成特征矩阵M=(v1,v2,v3……vn)作为节点状态并输入到节点智能体模块,其中,ncci、degi,、nfsi、fsbi、adsi分别表示第i个节点的节点承载能力、节点度、节点周围链路的总频槽数、节点周围每个链路的总频槽数/频槽可用块数和节点到其他映射节点的平均距离,n代表底层物理网的节点个数;
所述链路智能体从环境中提取源节点和目的节点间的链路特征信息:两节点间最短路径中一段链路的特征向量为lj=(fsj,blokj,firj,fbj,reqj),作为链路状态并输入到链路智能体模块,其中,fsj、blokj、firj、fbj、reqj分别表示源节点和目的节点间最短路径第j段链路的总的可用频槽、可用的频槽块数、第一块可用频槽位置、总可用频槽数/可用块数、两节点间请求的频槽数。
4.根据权利要求3所述的基于多智能体深度强化学习的虚拟光网络映射方法,其特征在于,所述节点策略网络的节点智能体模块主要由三层人工神经网络构成:输入层为提取的特征矩阵M,行代表各个物理节点的特征向量vi,列为各个物理节点;
中间层为卷积运算层,设置一个一维卷积核W,其维度大小与特征向量vi相同:
W=(Wncc,Wdeg,Wnfs,Wfsb,Wads),其中,Wncc、Wdeg、Wnfs、Wfsb、Wads分别表示对应节点承载能力、节点度、节点周围链路的总频槽数、节点周围每个链路的总频槽数/频槽可用块数和节点到其他映射节点的平均距离的卷积值;通过卷积运算从特征向量中找出节点映射对应空间资源的内在联系,运算公式为:L=M*W+B (1)
其中,B为偏置常数;L为由环境模块传进来的状态特征通过卷积矩阵运算后的值,L代表物理网节点的被映射分布;
输出层为softmax层,输入的值L通过激活函数SoftMax输出当前的物理网节点的被映射的概率分布:Pθ=(p1·p2·p3…pn),其中,p1、p2、p3…pn分别是选择节点1,2,3…n的概率,从而得到当前虚拟网请求业务对物理网所有节点的映射的各个概率值。
5.根据权利要求4所述的基于多智能体深度强化学习的虚拟光网络映射方法,其特征在于,所述步骤三中节点智能体模块根据概率分布使用e-贪心算法进行节点的确定与选取,最后根据底层物理网资源调度更新算法确定节点是否映射成功;所述e-贪心算法进行虚拟网节点映射选取的步骤为:(1)设置初始e值为1,设置随机区间为 设置贪心区间为 设置每次训练迭代e
的变化值λ=1×10-5;
(2)训练时,每轮迭代判断是否 若是则按概率分布Pθ随机选取,p1、p2、p3…pn概率高的被选可能性大,概率低的被选可能性低;反之则选取概率最高的节点作为映射节点;
(3)每轮迭代e=e-λ。
6.根据权利要求1或3所述的基于多智能体深度强化学习的虚拟光网络映射方法,其特征在于,所述链路智能体模块中链路中频槽块的确定与选取的步骤为:(1)链路智能体取得步骤三中选取的物理网映射节点集N,根据弗洛伊德最短距离算法找到映射节点集N中按随机获得的每一对源节点S和目的节点D间的最短路径path;
(2)根据物理网拓扑图计算出每条路径的物理距离dis,并由物理距离dis以及虚拟网请求业务请求R中的带宽资源B,计算出链路所需的频槽数,计算方法为:其中,bvi为当前链路请求带宽,nus_FS为计算出当前请求的频槽数;
(3)最短路径path中的所有路径形成路径名列表,再根据路径名列表以及物理网此时的链路资源,根据底层物理网资源调度更新算法中链路的资源判断计算对于当前待映射路径的物理资源是否满足,若满足,返回所有可用的连续槽信息,包括所有连接槽的起始位置和连续长度;
(4)选择步骤(3)中计算得到所有连续槽中的第一个可用槽,进行链路映射,同时对该次映射进行记录;
(5)重复步骤(1)-(4),直到映射节点集N所生成的链路请求都映射成功,若有任何一个接节点对映射失败,则将该次链路请求占用的资源全部释放,该次映射失败。
7.根据权利要求1所述的基于多智能体深度强化学习的虚拟光网络映射方法,其特征在于,所述步骤五中多步映射的累计奖励Rπ(s,a)表示为:其中,b为步骤数,γ为奖励的衰退因子,ra为当前动作a执行后的即时奖励,ra-1、ra-2、ra-b分别为动作a-1、a-2、a-b的即时奖励。
8.根据权利要求1或7所述的基于多智能体深度强化学习的虚拟光网络映射方法,其特征在于,所述评判模块从环境模块中得到节点状态与链路状态组成总状态,获取节点动作与链路动作组成连续动作,并同时将总状态与连续动作作为评价模块中评价网络的输入,评价网络根据汇总的状态与动作并根据节点与链路利用率反馈的奖励计算各自的评价值,对节点动作与链路动作评价。
9.根据权利要求8所述的基于多智能体深度强化学习的虚拟光网络映射方法,其特征在于,所述步骤六中评价模块根据节点动作与链路动作的价值值分别计算出对本步长中节点动作的评价函数Qn(s,a)与链路动作的评价函数Ql(s,a):Qn(s,a)=lq+Un×Rπ(s,a) (3)
Ql(s,a)=lq+Ul×Rπ(s,a) (4)
其中,lq为评价网络的输出为代表本映射步长整个映射过程的情况,一个映射步长的节点利用率Un与链路利用率Ul分别:其中,Rπ(s,a)为一个步长映射当前动作a的累计奖励,Nu与Lu分别为底层物理网总的节点资源与链路资源,nb与lb分别为步长b中的底层物理网节点与链路资源占用率。
10.根据权利要求9所述的基于多智能体深度强化学习的虚拟光网络映射方法,其特征在于,所述评价模块根据评价值对节点智能体模块的参数进行更新的方法为:计算每次节点策略网的损失函数:
L(θ)=∑logπ(a|s,θ)Qn(s,a) (7)
由梯度公式进行梯度更新:
其中,L(θ)为节点策略网的损失函数,θ为本次网络输出的概率分布与概率分布Pθ同分布,Qn(s,a)为节点动作的评价函数, 为损失函数的梯度值,Eπθ为对奖励函数与概率分布函数取的两次差值取期望,logπ(a|s,θ)为网络输出的概率分布取log。