欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025106640974
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度强化学习的空天地网络拥塞控制方法,其特征在于,所述方法包括:步骤1:空天地网络建模与全局状态空间定义,建立空天地网络的动态行为模型,定义全局状态空间与本地观测;

步骤2:多维度复合奖励函数设计,通过多维度奖励机制引导智能体协作优化拥塞控制;

步骤3:集中训练-分布式执行框架构建,通过集中式训练优化策略参数,进行分布式实时决策;

步骤4:服务速率动态调整与节点队列管理,实时响应流量变化,平衡节点间负载;

步骤1为步骤2的奖励函数设计与步骤3的策略训练提供状态输入基础;

步骤2的复合奖励通过多目标协同驱动步骤3的集中式策略优化;

步骤3通过参数共享将全局优化策略传递至步骤4的分布式执行;

步骤4的动态速率调整与拓扑适配直接依赖步骤3的策略网络输出,并通过MPLS流量协议增强网络鲁棒性,形成从建模、训练、执行到动态适配的闭环控制流程;

具体包括以下步骤:

(1)网络建模与状态空间构建:将空天地网络建模为多智能体马尔可夫决策过程MDP,每个节点作为独立智能体,构建全局状态空间,包含各节点归一化队列长度 、链路服务速率及流量波动;

(2)奖励函数设计:设计复合奖励函数包含方向性奖励、平滑性奖励 和队列效率奖励,公式为:其中,是一个超参数,用作服务速率选择的基线;如果节点 的队列剩余容量比邻居节点 更多,选择低于的服务速率可减轻下游邻居的压力;

;用来评估端口服务速率的合理性,用于衡量上游路由器的服务速率与下游路由器的队列长度变化之间的关系;表示在时刻所选择的动作带来的队列长度差异越小,奖励就越大;表示保持队列长度较小也能增加奖励;

(3)策略优化训练:采用集中训练-分布式执行框架,通过最大化累积奖励函数  优化策略网络参数,通过裁剪策略更新比率和优势函数 ,确保策略更新的稳定性,公式为:其中 为裁剪范围,为确保策略更新稳定性,裁剪范围为 ;

(4)服务速率动态调整:在分布式执行阶段,各节点基于本地观测 独立调整节点输出端口服务速率,公式为:其中  由策略网络输出决定。

2.根据权利要求1所述的基于深度强化学习的空天地网络拥塞控制方法,其特征在于,步骤1包括,首先将空天地网络建模为多智能体马尔可夫决策过程MDP,每个节点视为独立智能体;其中设置卫星节点周期性调用  方法,以模拟轨道移动导致的链路切换;区分地面节点与卫星节点的队列容量及链路带宽,优化资源分配,最后构建全局状态空间 ,包括各节点归一化队列长度 ; 各链路归一化服务速率,其中为链路容量;同时,为每个节点构建本地观测空间,其包括自身队列长度 、邻居节点历史流量 ,为后续奖励函数设计与策略优化提供输入基础 。

3.根据权利要求2所述的基于深度强化学习的空天地网络拥塞控制方法,其特征在于,步骤2包括,基于步骤1定义的全局状态与本地观测,设计复合奖励函数以引导智能体协作优化拥塞控制;所述复合奖励函数包含三个部分:方向性奖励  根据相邻节点队列差异调整服务速率方向,若上游节点队列较长时降低服务速率则获得正向奖励;

平滑性奖励  通过评估相邻节点队列差异的平滑性以鼓励相邻节点队列长度差异最小化,避免局部拥塞;

队列效率奖励  则是激励路由器减少队列积压,降低传输延迟;

所述奖励函数通过加权融合上述子奖励,驱动智能体缓解拥塞并提升网络服务质量。

4.根据权利要求3所述的基于深度强化学习的空天地网络拥塞控制方法,其特征在于,步骤3包括,在集中训练阶段收集全局状态数据包括队列长度、服务速率、流量波动,基于步骤1的输入基础和步骤2设计的算法最大化累积奖励 ,通过裁剪策略更新比率  和优势函数  确保训练稳定性,并引入经验回放池存储历史数据,提升样本利用率;

分布式执行阶段各节点基于本地观测  独立调整服务速率 ,无需全局通信,实现去中心化实时决策。

5.根据权利要求4所述的基于深度强化学习的空天地网络拥塞控制方法,其特征在于,步骤4包括,基于步骤3训练的策略网络输出调整值,动态更新节点输出端口服务速率,服务速率更新公式为 ; 同时通过队列动态模型 实时计算队列长度变化,队列变化由输入流量波动和基于步骤3策略网络调整的服务速率调整共同决定;

针对卫星网络高动态特性,通过MPLS流量工程协议动态适配卫星链路容量波动,周期性更新拓扑以应对轨道移动,当检测到链路中断时,触发快速恢复机制重新分配服务速率与流量路径,优化资源分配与负载均衡,增强网络的鲁棒性。

6.根据权利要求5所述的基于深度强化学习的空天地网络拥塞控制方法,其特征在于,步骤4中包括通过缓存突发流量平滑下游节点压力,队列模型满足:其中  为采样间隔,队列长度变化 由流量波动与服务速率调整共同决定,在每个节点中部署动态队列模型,通过以下公式描述队列长度变化:其中  为流量分割比例, 和  分别为输入端口的到达速率变化和输出端口的服务速率变化;节点根据当前队列长度  及相邻节点队列差异,采用深度强化学习算法实时调整输出端口的服务速率,以平衡相邻节点间的流量压力。

7.根据权利要求6所述的基于深度强化学习的空天地网络拥塞控制方法,其特征在于,所述步骤3包括深度强化训练过程:经验回放机制存储历史数据;其中集中式Critic网络基于全局状态 和联合动作 计算Q值,指导分布式Actor网络的参数更新,损失函数为:其中, 为折扣因子,为目标策略网络参数;

所述集中训练-分布式执行框架中,集中式 Critic 网络评估全局状态-动作价值函数,分布式 Actor 网络输出服务速率调整策略,实现去中心化执行。

8.根据权利要求4所述的基于深度强化学习的空天地网络拥塞控制方法,其特征在于,所述分布式执行阶段,各节点仅依赖本地观测 调整服务速率,无需全局通信,动作空间为连续值 。

9.根据权利要求3所述的基于深度强化学习的空天地网络拥塞控制方法,其特征在于,所述奖励函数中的方向性奖励  衡量服务速率调整方向是否正确,通过基准值判断服务速率调整方向,若 > 且<,则奖励为正,反之则惩罚。