欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019113975604
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2024-02-26
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度强化学习的服务功能链可靠部署方法,其特征在于:该方法包括以下步骤:S1:基于设备使用度和周边安全系数的可靠性度量方式得到可靠性值;

S2:通过功能特性、拓扑特性初步确定每个虚拟网络功能的可靠性需求;

S3:求得满足虚拟链路可靠性需求的链路可靠性需求可部署长度;

S4:基于各个可靠性需求,使用深度强化学习寻找适合虚拟网络环境和基层环境的最佳映射方案;

S5:在映射过程中如VNF可靠性不能满足,使用基于重要度的节点备份方法,链路部署结果不满足链路可靠性,使用基于链路备份重要度的链路备份方法。

2.根据权利要求1所述的基于深度强化学习的服务功能链可靠部署方法,其特征在于:在步骤S1中,可靠性基于设备使用度和周边安全系数确定,设备使用度通过威布尔分布评估自身运行对设备的磨损,周边安全系数通过统计自身设备故障次数和与故障设备的距离来判定,具体包括:S11:设备使用度由Weibull分布来评估,设备已使用的时间越长,损耗越严重,失效概率越大,通过失效概率来间接描述设备使用度,其累积分布函数为 越大,说明设备使用时间越长,失效概率越大,故从使用度的角度物理节点的可靠度定义为:的含义为随着时间 设备损耗导致失效的概率,其中η和m为Weibull尺度参数和形状参数,可根据本地服务器的日志文件、系统配置数据,使用统计分析方法进行求解得出;

同理,物理链路li,j的链路使用度UL(li,j)也使用相同表达式;

S12:物理节点周边安全系数定义如下:

其中,q为物理节点ni在一段时间内发生故障的次数,pos[ni]表示ni到上次的故障物理节点的距离跳数;

同理,物理链路可靠系数为:

其中pos[li,j]为上一次故障链路离本次li,j链路故障中间隔的物理节点数;最终的可靠性为两种系数的乘积,即:RN(ni)=UR(ni)·ER(ni)、RL(li,j)=UR(li,j)·ER(li,j)。

3.根据权利要求1所述的基于深度强化学习的服务功能链可靠部署方法,其特征在于:在步骤S2中,将可靠性需求 分成针对于虚拟节点的可靠性需求和针对虚拟链路可靠性需求两部分,将可靠性均分为两部分,即将虚拟节点可靠性需求 和虚拟链路可靠性需求的值都定义为 根据该服务功能链的拓扑信息和功能信息,即通过VNF共享度,恢复资源成本,VNF功能重要度,VNF状态来确定每个虚拟网络功能的重要度得分。

4.根据权利要求3所述的基于深度强化学习的服务功能链可靠部署方法,其特征在于:所述的虚拟网络功能可靠性需求确定具体如下:

由于SFC中的各个VNF具有不同的拓扑特性和功能特性,从而失效影响,恢复难度,恢复时间是不同的,所以需要通过这些特性确定每个VNF在失效中的重要程度,进而得出与重要度相匹配的可靠性需求,提出确定可靠性需求的参考特征:

1)、VNF共享度:功能复用使单个VNF会同时被多个SFC共用,在本步骤中把VNF由多个SFC共用的参数定义为VNF共享度,与专用于一个SFC的VNF相比,多个SFC之间共享的VNF故障将影响所有相关的业务;

2)、恢复成本:每个VNF都要消耗相应的资源,且所需资源量 不同,在失效后恢复的难度也不同,资源需求越高恢复时满足资源需求的物理节点越少,恢复可能性越小,需要给予该VNF更多的可靠性;

3)、VNF功能重要度:对于InP而言,VNF功能本身都有各自的重要程度,由于该属性难以用客观数据描述,根据人为经验为每个VNF确定重要度,赋予相对重要的功能更高的可靠性;

4)、VNF状态:各类VNF需要保存包括数据流信息、地址映射在内的各自网络状态信息,状态包括相关状态和非相关状态,相关状态只与VNF本身有关,而非相关状态会随着数据流的到达和处理而被修改,其失效恢复过程比相关状态更加复杂,需要更长的恢复时间和更多的恢复成本消耗,所以VNF包含非相关状态则需要更高的可靠性;

通过这4种属性确定VNF的重要程度,从而确定相应的可靠性需求;首先应确定 的每个特征属性值,因为属性类型的不同,将属性值归一化:VNF共享度通过共用的SFC条数ψ表示,为避免共用过多导致的共因故障概率过大,设计VNF的最大共享度只能为4,因而归一化结果 为ψ/4;

恢复成本为资源的需求量,以SFC中资源需求量的最大值为基准得

VNF功能重要度通过人为评分得出重要等级,设重要度评分为χI,记录在评分表中,归一化结果 为:VNF的状态中包括非相关状态 为1,无非相关状态为0.5;

根据每个归一化属性值,最终 的属性值之和表示在SFC中的重要程度,得到归一化可靠性系数ωI:此时可得到 的可靠性需求 在部署时寻找满足VNF需求的物理节点即可。

5.根据权利要求1所述的基于深度强化学习的服务功能链可靠部署方法,其特征在于:在步骤S3中,为了联合优化功能部署和带宽需求,需要在功能复用和路径长度之间找到一个最优的平衡点,采用基于功能复用的链路可靠映射模型,将服务功能链的部署问题分解为两个问题:1)设置传输跳数最大值u′k;2)在u′k范围内找到复用度最高的有效路径;

对于问题1),将功能复用与链路可靠性需求联合考虑,通过控制链路长度uk来满足链路的可靠性需求,可得:其中[]+表示向上取整,rl为基层链路的平均可靠性:

|L|表示基层链路的条数,最终部署时应使链路长度小于uk;同时参考基层网络分布,还必须满足:a、为了保证服务路径可以连通源节点和目的节点,部署路径应不小于该收发节点间的最短路径;

b、无论是复用还是新部署,须保证该路径上能够部署所有的VNF。

6.根据权利要求5所述的基于深度强化学习的服务功能链可靠部署方法,其特征在于:所述uk来源于可靠性,未考虑基层网络拓扑,实际部署时可能存在不满足a、b的情况,从而即使资源充足,也只能拒绝该请求;造成这一情况的主要原因是路径长度不足,为避免这种情况产生,适当延长最大跳数uk,部署结果链路可靠性不足则可以通过备份来满足,由此得到:SF为扩展因子,扩展后以SF*uk部署能大大增加节点部署成功的可能性。

7.根据权利要求1所述的基于深度强化学习的服务功能链可靠部署方法,其特征在于:在步骤S4中,基于VNF可靠性和可部署链路长度通过深度强化学习实施映射方案,该方法需要确定3个元素集,状态集,动作集,奖励,相应数据的定义如下:状态空间:st={Bleft,Cleft,bmap,cmap},Bleft和Cleft分别表示剩余的节点资源集合和链路资源集合;该值能够反映底层的拓扑属性;在实际情况中会受到环境中随机因素的影响而发生故障,从而使服务器网络拓扑发生变化,此时将失效的节点、链路设置为0;当修复完成,则可继续在该节点/链路上映射;即强化学习其实时与环境交互的性能,感知并应对拓扑变化;bmap,cmap为SFC中已映射部分的节点和链路映射状态集合,表示相应基层环境状态对应的虚拟网络状态,其中节点状态包括已映射节点的部署结果及复用度大小,链路状态为已部署链路;

动作空间:at={an,al,aκ},an为节点映射动作,al为链路映射动作,ak为资源分配动作即根据需求分配相应资源;其中在执行节点映射动作时会探寻映射的基层节点已承载的VNF,如果发现承载的物理节点承载该VNF,直接复用该VNF,同时不执行节点资源分配动作,并重新计算各个ωI,反之消耗计算资源实例化VNF;

对动作集进行筛选,同时应增加选中有效动作的概率,训练结果是为了能正确反映得到最大累计奖励的策略,所以神经网络只需能反映满足需求的部署策略即可,对于非有效动作状态对的学习并不重要,这样并不会造成性能损失,同时能有效减少学习时间;满足需求的节点链路集分别表示为 和奖励:

该奖励保证了VNF映射动作在保证可靠性需求的基础上,最小化可靠性浪费;在考虑负载均衡的同时使该段映射资源消耗量尽可能小;

深度强化学习通过不断执行动作,得到相应的奖励即下一状态,收集多个[st,at,rt,st+1]向量放入经验回放池,然后在经验回放池中随机抽取,以减少训练数据的相关性,用以训练卷积神经网络,通过神经网络的强感知力拟合反映状态动作对在未来的潜在价值状态值函数,当训练充足,完全拟合时即可得到最优策略。

8.根据权利要求1所述的基于深度强化学习的服务功能链可靠部署方法,其特征在于:在步骤S5中,应对部署过程中的可靠性不足的情况,采用基于虚拟网络功能重要度的节点备份方案和基于链路备份重要度的链路备份方案,具体包括:在动作选取过程中,选取不到一个满足可靠性的节点时,则使用节点备份方案,该方案基于部署完成时得到的VNF重要度来确定备份方式,对于较为重要的VNF,即高于平均重要度的进行专用备份,即给已部署的VNF再实例化一个VNF部署在附近物理节点作为备份,源节点失效则直接使用备份节点的VNF;相对不重要的可进行共享备份,即多个备份节点共享同一份备份节点的资源,可在保证可靠性的同时有效的减少资源的消耗;

部署结果不满足虚拟链路可靠性则执行链路备份方案,该方案考虑到减少资源消耗,提高可靠性增量得 其中BW为链路备份资源消耗, 同时尽量为第可靠虚拟链路备份,得:

依据 能够选择较高可靠性提升,消耗尽可能少的资源,并能够减少较低可靠性链路失效的概率,从而基于 排序迭代备份。