欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023104423771
申请人: 华南师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2026-02-06
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种弹性光网络的队列请求调动方法,其特征在于,包括:

当弹性光网络结束一个样本流量请求的服务时,通过策略网络对样本流量请求队列执行请求选择动作以选中待处理样本流量请求;其中,所述样本流量请求队列包括多个候选样本流量请求;

根据待处理样本流量请求,通过价值网络获取对应的请求选择动作的预估期望值,判断所述弹性光网络的频谱资源是否支持为所述待处理样本流量请求提供服务;

若所述弹性光网络的频谱资源支持为所述待处理样本流量请求提供服务,确定所述请求选择动作对应的瞬时奖励为正奖励,从所述样本流量请求队列删除所述待处理样本流量请求,更新所述样本流量请求队列的候选样本流量请求,继续通过所述策略网络对所述样本流量请求队列执行新的请求选择动作以选中新的待处理样本流量请求,通过所述价值网络获取对应的请求选择动作的预估期望值,根据新的待处理样本流量请求,判断所述弹性光网络的频谱资源是否支持为新的待处理样本流量请求,直至所述弹性光网络的频谱资源不支持为新的待处理样本流量请求提供服务;

若所述弹性光网络的频谱资源不支持为所述待处理样本流量请求提供服务,确定所述请求选择动作对应的瞬时奖励为第一负奖励;

将各个所述待处理样本流量请求的状态和对应的各个请求选择动作、各个所述请求选择动作对应的瞬时奖励以及各个所述请求选择动作对应的预估期望值存储到记忆库;

当所述记忆库存储的所述请求选择动作达到预设数量时,根据所述记忆库存储的所述待处理样本流量请求的状态、所述请求选择动作、所述瞬时奖励和所述预估期望值训练所述价值网络和所述策略网络;

当弹性光网络结束一个流量请求的服务时,通过训练得到的所述策略网络对实时流量请求队列执行请求选择动作以选中待调动的目标流量请求。

2.根据权利要求1所述的弹性光网络的队列请求调动方法,其特征在于,所述样本流量请求队列包括多个队列位置,前若干个所述队列位置为候选位置;

所述通过策略网络对样本流量请求队列执行请求选择动作以选中待处理样本流量请求的步骤,包括:通过策略网络对样本流量请求队列执行请求选择动作以选中所述样本流量请求队列的一个候选位置;

若选中的所述候选位置不为空,将所述候选位置对应的样本流量请求确定为待处理样本流量请求;

若选中的所述候选位置为空,确定所述请求选择动作对应的瞬时奖励为第二负奖励,通过所述价值网络获取对应的请求选择动作的预估期望值,将所述请求选择动作、对应的所述第二负奖励和对应的所述预估期望值存储到所述记忆库。

3.根据权利要求2所述的弹性光网络的队列请求调动方法,其特征在于,所述若选中的所述候选位置为空,确定所述请求选择动作对应的瞬时奖励为第二负奖励,通过所述价值网络获取对应的请求选择动作的预估期望值,将所述请求选择动作、对应的所述第二负奖励和对应的所述预估期望值存储到所述记忆库的步骤,包括:若选中的所述候选位置为空,获取位于所述候选位置的样本流量请求的第一请求数量;

根据所述第一请求数量,获取所述第二负奖励。

4.根据权利要求2所述的弹性光网络的队列请求调动方法,其特征在于,所述若所述弹性光网络的频谱资源不支持为所述待处理样本流量请求提供服务,确定所述请求选择动作对应的瞬时奖励为第一负奖励的步骤,包括:若所述弹性光网络的频谱资源不支持为所述待处理样本流量请求提供服务,获取所述弹性光网络的频谱资源支持为所述候选位置的样本流量请求提供服务的第二请求数量;

根据所述第二请求数量,获取所述第一负奖励。

5.根据权利要求1所述的弹性光网络的队列请求调动方法,其特征在于,所述样本流量请求包括请求到达时间和初始延迟容忍时间;

所述弹性光网络的队列请求调动方法还包括:

根据所述请求到达时间,获得所述样本流量请求的当前容忍时间;

若所述当前容忍时间达到所述初始延迟容忍时间,将对应的所述样本流量请求移除出所述样本流量请求队列。

6.根据权利要求5所述的弹性光网络的队列请求调动方法,其特征在于,所述弹性光网络的队列请求调动方法还包括:将移除出所述样本流量请求队列的所述样本流量请求确定为被阻塞请求;

根据被阻塞请求的数量和到达所述样本流量请求队列的所述样本流量请求的总数量,计算出队列请求调动的阻塞概率;

根据所述记忆库存储的所述待处理样本流量请求的状态、所述请求选择动作、所述瞬时奖励和所述预估期望值训练所述价值网络和所述策略网络,直至所述阻塞概率低于预设的阻塞阈值。

7.根据权利要求5所述的弹性光网络的队列请求调动方法,其特征在于,所述弹性光网络的队列请求调动方法还包括:根据请求开始时间和所述请求到达时间,获得所述样本流量请求的等待时间;其中,所述请求开始时间为所述弹性光网络开始为对应的样本流量请求服务的时间;

根据各个所述样本流量请求的等待时间,获得平均等待时间;

根据所述记忆库存储的所述待处理样本流量请求的状态、所述请求选择动作、所述瞬时奖励和所述预估期望值训练所述价值网络和所述策略网络,直至所述平均等待时间低于预设的等待时间阈值。

8.根据权利要求1所述的弹性光网络的队列请求调动方法,其特征在于,所述判断所述弹性光网络的频谱资源是否支持为所述待处理样本流量请求提供服务的步骤,包括:若所述弹性光网络的频谱资源支持为所述待处理样本流量请求提供服务的路径为最短路径,确定所述弹性光网络的频谱资源支持为所述待处理样本流量请求提供服务,否则,确定所述弹性光网络的频谱资源不支持为所述待处理样本流量请求提供服务。

9.根据权利要求1所述的弹性光网络的队列请求调动方法,其特征在于,所述当所述记忆库存储的所述请求选择动作达到预设数量时,根据所述记忆库存储的所述待处理样本流量请求的状态、所述请求选择动作、所述瞬时奖励和所述预估期望值训练所述价值网络和所述策略网络的步骤,包括:根据所述瞬时奖励和所述预估期望值,获得优势函数;所述优势函数用于指示所述策略网络和所述价值网络的网络参数调整方向;

根据所述优势函数和所述价值网络的网络参数,获取所述价值网络的第一梯度累计;

根据所述请求选择动作、所述优势函数和所述策略网络的网络参数,获得所述策略网络的第二梯度累计;

根据所述第一梯度累计训练所述价值网络,根据所述第二梯度累计训练所述策略网络。

10.一种弹性光网络的队列请求调动装置,其特征在于,包括:

待处理样本流量请求选择模块,当弹性光网络结束一个样本流量请求的服务时,通过策略网络对样本流量请求队列执行请求选择动作以选中待处理样本流量请求;其中,所述样本流量请求队列包括多个候选样本流量请求;

待处理样本流量请求处理模块,用于根据待处理样本流量请求,通过价值网络获取对应的请求选择动作的预估期望值,判断所述弹性光网络的频谱资源是否支持为所述待处理样本流量请求提供服务;

正奖励获取模块,用于若所述弹性光网络的频谱资源支持为所述待处理样本流量请求提供服务,确定所述请求选择动作对应的瞬时奖励为正奖励,从所述样本流量请求队列删除所述待处理样本流量请求,更新所述样本流量请求队列的候选样本流量请求,继续通过所述策略网络对所述样本流量请求队列执行新的请求选择动作以选中新的待处理样本流量请求,通过所述价值网络获取对应的请求选择动作的预估期望值,根据新的待处理样本流量请求,判断所述弹性光网络的频谱资源是否支持为新的待处理样本流量请求,直至所述弹性光网络的频谱资源不支持为新的待处理样本流量请求提供服务;

负奖励获取模块,用于若所述弹性光网络的频谱资源不支持为所述待处理样本流量请求提供服务,确定所述请求选择动作对应的瞬时奖励为第一负奖励;

数据存储模块,用于将各个所述待处理样本流量请求的状态和对应的各个请求选择动作、各个所述请求选择动作对应的瞬时奖励以及各个所述请求选择动作对应的预估期望值存储到记忆库;

训练模块,用于当所述记忆库存储的所述请求选择动作达到预设数量时,根据所述记忆库存储的所述待处理样本流量请求的状态、所述请求选择动作、所述瞬时奖励和所述预估期望值训练所述价值网络和所述策略网络;

流量请求调动模块,当弹性光网络结束一个流量请求的服务时,通过训练得到的所述策略网络对实时流量请求队列执行请求选择动作以选中待调动的目标流量请求。