欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022101625527
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于迁移强化学习的资源分配方法,该资源分配方法适用于上行多小区的混合多址接入场景,其特征在于:所述资源分配方法包括如下步骤:步骤1:搭建用于资源分配的深度强化学习网络(MA-DRL),将当前时刻的环境的信道增益输入深度强化学习网络,深度强化学习网络计算信道增益差并依据信道增益差判断网络进行与环境交互的轮次;

步骤2:进行MA-DRL与环境的交互,每一轮交互中,所有小区获取当前时刻的环境状态,用于分配包含功率分配和用户调度资源的MA-DRL根据状态得出资源分配动作,MA-DRL再根据得出的资源分配动作和环境交互得到当前时刻的奖励和下一时刻的环境状态;

步骤3:进行MA-DRL的训练过程,训练将依据步骤2中交互得到的经验块进行,将每次与环境交互得到的经验块都存入记忆库中,并施加价值标签,抽取记忆块时选取价值标签更大的经验块;

步骤4:在资源分配网络的基础上,提出一种基于MA-DRL的迁移学习方案,面对MA-DRL中的两个子网络分开进行迁移,其中,迁移学习方案分为三种:第一种只迁移功率分配子网络的迁移方式,第二种只迁移用户调度子网络的迁移方式,第三种两个子网络都迁移的迁移方式;

步骤4具体为:

步骤4-1:使用迁移学习来增强MA-DRL模型在目标域中的鲁棒性,具体为使用源域中的网络参数和网络整体作为源域中的知识,并将知识应用于新网络参数的更新中,在DQN中,使用和更新参数,μnew代表目标域的新用户调度网络的参数,μold代表源域的旧用户调度网络的参数,代表新网络中的在线网络,代表新网络中的目标网络,β是新旧网络的结合率,β一开始设置的较小,随着训练过程的进行不断增加;

步骤4-2:迁移了旧网络的多小区深度策略梯度网络(MADDPG)参数,本发明使用和更新自身的策略网络和Q网络的参数,这是一种软更新方式,每隔一段时间用户调度网络就将新旧策略网络参数的结合以一定比例赋值给Q网络参数,τ代表了这种比例,σ表示了新旧网络的结合比例,σ一开始设置的很小,随着迁移过程的进行不断增加;

步骤4-3:用户调度网络迁移源域中的整个目标Q网络,并将其用于估计Q值,具体为将中的Q(st+1,at+1,θQ′)变为∈Qnew(st+1,at+1,θQ′)+(1-∈)Qold(st+1,at+1,θQ′),更新完整个资源分配网络的参数后,使用σ=γσσ,β=γββ和∈=γ∈∈更新β,∈和σ的值,重复进行上述过程,直至网络收敛。

2.根据权利要求1所述一种基于迁移强化学习的资源分配方法,其特征在于:所述步骤3具体为:

步骤3-1:进入深度强化学习网络的训练过程后,使用价值函数计算记忆块对于训练过程的价值,计算记忆块价值的模块计算出当前时刻记忆块的价值vt,将其与记忆块{st,at,rt,st+1}一并存入记忆库,其中,所述价值vt的计算表达式为C为相同环境变量下的交互轮次,λ为本记忆块在C中的序号,ξt为时差误差,

步骤3-2:资源分配网络根据vt从记忆库中选取一定数量的记忆块,用户调度网络通过最小化损失函数来更新自身网络参数,其中表示为网络计算出的此时隙结合了长期奖励的估计奖励,γ是折扣因子,是网络计算的下一时隙的最优奖励,Q(si,ai,μ)便是当前时隙的实际奖励,μ代表用户调度网络中在线网络的参数,μ′代表目标网络的参数;

步骤3-3:功率分配网络依据最小化损失函数来更新自身参数,D是选取的记忆块的数量,代表网络估计的结合长期奖励的奖励,Q(st+1,at+1,θQ′)是下一时隙的最优动作的奖励,Q(si,ai,θQ)是当前时隙的真实奖励;在功率分配网络中,θA代表在线策略网络的参数,θA′代表目标策略网络的参数,θQ代表在线Q网络的参数,θQ′代表目标Q网络的参数。

3.根据权利要求1所述一种基于迁移强化学习的资源分配方法,其特征在于:所述步骤1具体包括如下步骤:

步骤1-1:将强化学习应用于多小区混合多址接入场景中,使用深度Q网络进行用户调度,使用多小区深度策略梯度网络进行功率分配;

步骤1-2:所有小区的用户同时开始获取当前状态信息st,即信道增益,计算交互轮次的模块根据开始计算当前时刻和上一时刻的信道增益差其中H(t)是当前时隙用户的信道增益,是上一时隙用户的信道增益,根据差值判断当前信道增益下需要交互的轮次C,计算公式为其中占是最大的交互轮次,是理论上的最大信道增益差,如果小于最小限值dmin,则在此环境变量下只进行一轮交互。

4.根据权利要求1所述一种基于迁移强化学习的资源分配方法,其特征在于:所述步骤2具体方法如下:

步骤2-1:在计算出了固定的当前的环境状态下的与环境交互的轮次C后,每一轮交互中,每个小区都被视为一个智能体,智能体的资源分配网络根据st计算出当前最优动作at,两个网络在混合多址接入中需要定义的变量是:用st来表示用户在当前时隙t的状态,在此场景中代表各用户上行到其他小区的基站的信道增益,at表示用户在当前时隙t的动作,由用户调度结果和功率分配结果组成,rt表示用户在当前时隙t所获得的奖励,在此场景中代表用户获得的速率值;

步骤2-2:资源分配网络依据选取的动作at和环境进行交互并得到当前时刻的奖励rt和下一时刻的状态信息st+1,随后将当前时刻的记忆块表示为{st,at,rt,st+1}。