欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202211138369X
申请人: 郑州大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度强化学习的卫星虚拟网映射方法,其特征在于,其步骤如下:步骤一:将底层卫星网络和虚拟网请求均建模为无向图,对于一个到来的虚拟网请求,采用滑动窗口的方式对整个卫星网络进行映射区域划分,选择负载系数最小的映射区域;

步骤二:进行节点映射过程:在从负载系数最小的映射区域中提取特征矩阵作为环境状态输入DRL智能体,通过DRL方法给出卫星节点被映射的概率并选择卫星节点进行资源分配;

步骤三:判断节点映射是否成功,如果没成功则该虚拟网请求映射失败,跳到步骤四;如果节点映射成功,进入链路映射过程:根据成本代价指标指标衡量星间链路状态,根据最短路径算法选择一条星间链路以供虚拟链路进行资源分配;

步骤四:判断链路映射是否成功,利用DRL智能体的奖励函数计算奖励值;

步骤五:判断是否到批次更新回合,如果没到更新回合,重复步骤一到步骤四;如果到了更新回合,通过奖励值计算损失函数来更新DRL智能体的网络参数和梯度。

2.根据权利要求1所述的基于深度强化学习的卫星虚拟网映射方法,其特征在于,所述底层卫星网络和虚拟网请求的建模方法为:将底层卫星网络表示为一个无向图Gs(Ns,Ls),其中,Ns表示卫星节点集合,Ls表示星间链路集合;对于一个卫星节点对应的属性集合为其中,表示该卫星节点所拥有的总的CPU资源,表示该卫星节点可用的CPU资源,表示该卫星节点已被嵌入的虚拟节点的数量;对于一条星间链路对应的属性集合为表示该星间链路所拥有的总的带宽资源,表示星间链路可用的带宽资源,表示星间链路的平均传输时延,表示星间链路建立所需的时间,表示星间链路的状态,用来判断星间链路是否已经建立;

将虚拟网请求表示为一个无向图Gv(Nv,Lv),其中,Nv和Lv分别表示该虚拟网请求的虚拟节点集合和虚拟链路集合;虚拟节点的CPU资源需求表示为虚拟链路的带宽资源需求表示为ts和te分别表示虚拟网请求的服务开始时间和结束时间。

3.根据权利要求1或2所述的基于深度强化学习的卫星虚拟网映射方法,其特征在于,所述滑动窗口的方式为:设置滑动窗口的大小为3*3、滑动步长为1对整个卫星网络进行滑动划分,每次滑动形成一个映射区。

4.根据权利要求3所述的基于深度强化学习的卫星虚拟网映射方法,其特征在于,所述负载系数的计算方法为:第k个映射区的资源的负载系数Loadk为:其中,表示第k个映射区内的卫星节点集合,是卫星节点集合中的第i个卫星节点,表示该卫星节点可用的CPU资源;是端点为卫星节点的链路集合,为第j个星间链路;表示星间链路的状态,表示该星间链路所拥有的总的带宽资源,表示星间链路可用的带宽资源,μ是链路状态因素的影响因子,表示卫星节点所能建立链路连接的最大数量,表示卫星节点所能建立链路连接的剩余数量。

5.根据权利要求2或4所述的基于深度强化学习的卫星虚拟网映射方法,其特征在于,所述DRL智能体设置了4层神经网络,分别是输入层、卷积层、归一化层和输出层;在输入层,将从最低负载系数的映射区域中提取特征矩阵作为环境状态输入,然后卷积层通过卷积运算得到一个n维向量,表示物理节点的可用资源状态;归一化层用softmax函数生成节点被映射的概率向量;根据概率向量的映射概率进行过滤,对每个虚拟节点依次选择不同的物理节点进行资源分配。

6.根据权利要求5所述的基于深度强化学习的卫星虚拟网映射方法,其特征在于,所述DRL智能体的状态空间S是一个四维特征矩阵:S=(F1,F2...,Fn)T;

其中,n是卫星节点的数量;

特征向量Fi包括四个的网络属性且:Fi={Ci,Bi,Di,Li};

其中,Ci表示正则化后的CPU资源状态,Bi是正则化后的带宽资源,Di表示节点的度,Li表示卫星节点的负载系数;

基于状态空间S的输入,DRL智能体结合卷积层和归一化层生成概率向量{P1,P2,...,Pn},其中,Pi表示卫星节点的映射概率;

所述DRL智能体的动作空间A为:A=(E1,E2,...,En);Ei表示卫星节点是否被选中。

7.根据权利要求6所述的基于深度强化学习的卫星虚拟网映射方法,其特征在于,所述DRL的奖励函数R的计算公式为:其中,收益函数

成本函数

其中,表示虚拟链路映射到物理路径上的跳数,Lv′表示物理路径上需要新建立的星间链路的数量,表示星间链路建立所需的时间。

8.根据权利要求6或7所述的基于深度强化学习的卫星虚拟网映射方法,其特征在于,所述成本代价的计算公式为:其中,α和β是风险系数和带宽资源负载的调节参数;为星间链路的平均时延,为星间链路的风险系数,为带宽资源负载。

9.根据权利要求8所述的基于深度强化学习的卫星虚拟网映射方法,其特征在于,所述正则化后的CPU资源状态Ci为:正则化后的带宽资源Bi为:

其中,L是连接到第i个卫星节点的链路集合,Sl表示星间链路l的状态;

节点的度Di为:

卫星节点的负载系数Li为:

其中,表示已经被嵌入的虚拟节点数量,表示其他虚拟网请求的映射路径通过该卫星节点的数量;

所述平均时延表示为:

其中,表示星间链路的平均传输时延,表示星间链路的状态,表示星间链路建立所需的时间;

风险系数为:

其中,表示已被嵌入的虚拟链路的数量;

带宽资源负载为:

10.根据权利要求8所述的基于深度强化学习的卫星虚拟网映射方法,其特征在于,所述损失函数为:其中,Rγ是在一个批次中的累计奖励且

其中,γ是折扣率,Pi表示卫星节点的选中概率,Ri表示在一个批次中,第i次的奖励值。