欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021116094390
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度强化学习的跳波束卫星系统资源动态分配方法,其特征在于,包括以下步骤:

步骤1、根据跳波束GEO卫星系统业务时空分布不均匀的特性,建立跳波束卫星系统前向链路的业务模型;

步骤2、根据步骤1建立的跳波束卫星系统前向链路的业务模型,将每时隙到达地面波位的业务的数据包存储在数据包缓冲队列中,其中,数据包服从先到先服务的原则,结合卫星能够提供的容量建立最小化数据包传输时延的优化问题;

步骤3、引入深度强化学习算法,将卫星的资源分配模块建模为智能体,设计智能体的状态输入、智能体的输出决策动作以及评价动作的奖励;

步骤4、仿真步骤3的深度强化学习算法,初始化卫星场景,设置深度强化学习算法的参数,不断训练深度强化学习算法的决策神经网络权重参数;

步骤5、将步骤4训练获得的决策神经网络完成跳波束卫星系统资源动态分配,求解跳波束卫星系统资源分配的最优方案。

2.根据权利要求1所述的一种基于深度强化学习的跳波束卫星系统资源动态分配方法,其特征在于,步骤1中建立跳波束卫星系统前向链路的业务模型,具体如下:跳波束卫星系统中,地面波位ψ定义为ψ={cn|n=1,2,3,...,N},其中,N表示地面波位的总编号,cn为第n地面波位,最大工作波束数量为K,K≤N,跳波束周期T定义为T={t1,t2,...,tj,...,tJ},其中tj表示第j个跳波束时隙,1≤j≤J,J为跳波束时隙总数;

tj时的跳波束图案 其中, 表示tj时cn是否被工作波束点亮,表示tj时工作波束点亮cn, 表示tj时没有工作波束点亮cn;

根据跳波束图案 计算tj时、cn的信干噪比其中,ci为第i地面波位, 表示tj时工作波束点亮ci时对cn的功率增益,该功率增益包括卫星天线发射增益、自由空间损耗、雨衰和天线接受增益; 表示tj时工作波束点亮cn时对cn的功率增益, 表示tj时工作波束到cn的卫星发射功率, 表示tj时工作波束到ci的卫星发射功率,N0是噪声功率谱密度,W是卫星频谱带宽, 表示tj时工作波束点亮ci;

tj时工作波束点亮cn的卫星波束传输容量其中,fDVB‑S2(*)是欧洲电信标准协会标准关于信干噪比与频谱效率的分段函数。

3.根据权利要求1所述的一种基于深度强化学习的跳波束卫星系统资源动态分配方法,其特征在于,步骤2中建立最小化数据包传输时延的优化问题的具体过程如下:tj时新到达cn的数据包定义为 数据包存储在数据包缓冲队列其中 表示tj时cn的数据包缓冲队列, 表示第j‑q个跳波束时隙tj‑q时到达cn的数据包,0≤q≤Tth,Tth是数据包的最大传输时延;

若数据包的传输时延 超出Tth,则该数据包被丢弃;其中,其中,tj是数据包被传输的时隙,tk是数据包到达地面波位的时隙;

综上,建立如下最小化数据包传输时延的优化问题P:其中, 表示tk到达cn的数据包。公式(5)表示单个时隙内最大的工作波束不能超过K,表示tj时工作波束点亮cn的功率,公式(6)表示跳波束周期任意时隙内工作波束的功率和不能超过卫星总功率Ptot,公式(7)表跳波束周期任意时隙内单个工作波束的功率不能超过单波束最大功率Pb,公式(8)表示数据包的最大传输时延不能超出Tth。

4.根据权利要求3所述的一种基于深度强化学习的跳波束卫星系统资源动态分配方法,其特征在于,步骤3具体如下:步骤301、深度强化学习算法的状态设计:状态st定义为数据包数量和数据包平均传输时延两个属性,用公式(9)表示:其中, 表示tj时 内的数据包总数量,定义为 表示tj时内的数据包数量, 表示 内的数据包平均传输时延,定义为 表示tj时 内的数据包平均传输时延;

步骤302、深度强化学习算法的动作设计:跳波束图案 作为智能体在tj时的输出动作 通过迭代算法得到一组跳波束图案集合Set作为深度强化学习算法的动作其中,Xk是跳波束图案集合中第k跳波束图案,1≤k≤num,num是一组跳波束图案集合内跳波束图案的个数;

迭代算法具体过程如下:

步骤①、初始化地面波位编号,将地面波位分为M簇,设置同频干扰门限值,i=1,k=1;

步骤②、若第i簇中所有的地面波位都包含在Set中,则从第i簇中选择一个地面波位点亮;否则从第i簇中选择一个不包含Set中的地面波位,并点亮该地面波位;

步骤③、计算此时工作波束的同频复用距离,若同频复用距离大于同频干扰门限值,将步骤②中选择的地面波位加入到跳波束图案Xk,否则选择第i簇中使得同频复用距离最大的地面波位加入到跳波束图案Xk;

步骤④、若i不等于M,则i=i+1,返回步骤②;若i=M,将Xk加入到Set;

步骤⑤、若Set中所有元素满足X1∪X2∪...∪Xk=ψ,则迭代终止;否则k=k+1,i=1,返回步骤②;

步骤303、深度强化学习算法的奖励设计:深度强化学习算法tj时的奖励 设置为如下公式:其中⊙表示哈达玛矩阵运算,||·||表示矩阵中所有元素的总和。

5.根据权利要求4所述的一种基于深度强化学习的跳波束卫星系统资源动态分配方法,其特征在于,步骤4具体如下:步骤I、初始化卫星场景,初始化数据包缓冲队列;

步骤Ⅱ、初始化卫星智能体,初始化决策神经网络和目标网络的权重参数,初始化决策神经网络的训练步数step=0,设置目标网络的更新步长为G;

步骤Ⅲ、初始化经验池容量,设置训练周期数E和每周期的跳波束时隙数J,初始化训练周期e=1,初始化时隙编号j=1;

步骤IV、tj时数据包到达地面波位,观察提取此时的卫星环境状态信息为步骤Ⅴ、以概率ε随机选择步骤302得到的Set中一个跳波束图案Xk作为 或以概率1‑ε选择决策神经网络输出的最大动作价值对应的动作作为步骤Ⅵ、执行步骤Ⅴ选择的 此时环境转移将到下一状态 并获得此时的奖励步骤VII、存储经验条信息 到经验池;

步骤Ⅷ、随机从经验池中采样多个经验条信息,计算损失函数,利用Adam算法对决策神经网络进行训练,step=step+1;

步骤Ⅸ、若训练决策神经网络的步数step是G的倍数,则更新目标网络的权重参数为决策神经网络的权重参数,并执行步骤Ⅹ;

若训练决策神经网络的步数step不是G的倍数,则执行步骤Ⅹ;

步骤Ⅹ、首先判断j是否等于J,若j不等于J,则j=j+1,返回步骤IV;

若j等于J,再继续判断e是否等于E:若e不等于E,则e=e+1,并减小概率ε,返回步骤IV,若e等于E,则终止。