欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019100470584
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度增强学习的网络资源分配方法,其特征在于,包括如下步骤:S1、建立基于缓存的CSCN的下行传输链路系统模型,通过分析用户使用模型中不同链路的数据传输速率计算SBS的数据传输速率;

S2、提出博弈问题,以最大化网络吞吐量为目标,使用博弈论将问题公式化为一个多智能体非合作博弈问题;

S3、使用LSTM模型来预测用户的移动模式,SBS根据用户的移动模式以及用户所连接的SBS的缓存状态来选择传输条件最优的用户;

S4、建立RL-LSTM框架,使得SBS完成对信道资源的有效分配。

2.根据权利要求1所述的基于深度增强学习的网络资源分配方法,其特征在于,S1包括如下步骤:S11、建立基于缓存的CSCN的下行传输链路系统模型,所述基于缓存的CSCN的下行传输链路系统模型由一个云池和连接在云池上的L个SBS组成,每个SBS由l表示,时间段τ内考虑系统的网络吞吐量,将τ划分为F个等时间的时间周期t,τ=Ft;

在所述基于缓存的CSCN的下行传输链路系统模型中,U个用户由所有SBS通过C个子信道提供服务,每个子信道由c表示,每个用户连接到最近的SBS,在每个SBS中,每个子信道每次只能分配给一个用户,每个用户每次仅占用一个子信道,pl,c(t)代表在时间周期t SBS l的子信道c的传输功率;

内容服务器存储的请求内容为M,每个SBS的缓存存储的内容为G,其中G≤M;

用户请求的内容可通过两种传输链路进行独立传输,所述两种传输链路分别为由SBS缓存至用户以及由云池至SBS缓存再至用户。

3.根据权利要求2所述的基于深度增强学习的网络资源分配方法,其特征在于,S1还包括如下步骤:S12、计算用户通过由SBS缓存至用户这一链路的传输速率,用户在SBSl的子信道c的数据传输速率为

其中,gl,c(t)为信道增益系数, 为路径损耗系数,dl,c(t)为在时间周期t用户与SBS l之间的距离,σ2为高斯噪声的功率;

S13、计算用户通过由云池至SBS缓存再至用户这一链路的传输速率,用户在SBSl的子信道c的数据传输速率为

其中,Vf为用户在回程链路的数据传输速率,Rl,c,1(t)为SBSl通过由SBS缓存至用户这一链路的数据传输速率;

S14、结合S12及S13的结果,得出在时间周期t内SBSl的数据传输速率为其中,αl,c,t∈[0,1]表示在时间周期t内在子信道c上SBS l占用的时间百分比; 和均为指标函数,若SBSl通过由SBS缓存至用户这一链路通信并占用了子信道c,那么为1,否则 为0;若SBSl通过由云池至SBS缓存再至用户这一链路通信并占用了子信道c,那么 为1,否则 为0。

4.根据权利要求3所述的基于深度增强学习的网络资源分配方法,其特征在于,S2包括如下步骤:S21、使用博弈论将问题公式转化为一个多智能体非合作博弈问题,其中L个SBS代表L个博弈方,集合 是博弈方l可选择的一组动作向量,|Al|表示动作向量的数量;

是Al上的概率空间分布,其中,πl,a=Pr(a=al,a)表示博弈方l采用动作向量al,a的概率;

SBSl的一个动作向量表示为al=[(al,1,1,...,al,1,F),...,(al,C,1,...,al,C,F)],每个动作向量代表在时间段τ内一个SBS对所有C个子信道进行分配的配置,包括在每个时间周期t SBS是否选择了子信道c及在时间周期t在子信道c上占用的时间;

在τ的每一个时间周期t内每个SBS必须选择一个动作对al,c,t=(xl,c,t,αl,c,t)∈Al,其中,xl,c,t∈{0,1}表示如果在时间周期t SBS l选择了信道c,xl,c,t=1,否则为xl,c,t=0;

αl,c,t∈[0,1]表示在时间周期t在子信道c上SBS l占用的时间百分比;

S22、根据S14中的公式,计算出在时间段τ内SBSl的效用函数为其中,al表示SBS l的动作向量,a-l(t)表示其他所有SBS的动作向量,Rl(t)为在时间周期t SBS l的传输速率;

S23、每个SBS的目标均为最大化其效用函数,因此目标函数可写为其中,l'表示除SBS l外,其他所有的SBS;

S24、根据所有SBS的策略来定义性能,

每个SBS的目标是参考所有其他SBS的动作空间的概率分布,选择最优概率分布πl来最大化效用函数,将博弈问题写成

5.根据权利要求4所述的基于深度增强学习的网络资源分配方法,其特征在于,S3包括如下步骤:S31、对用户移动位置进行预测,

使用LSTM模型来预测用户在下一个τ的位置,公式为yτ=σ(W'hτ),

fτ=σ(Wf[hτ-1,xτ]+bf),

iτ=σ(Wi[hτ-1,xτ]+bi),

oτ=σ(Wo[hτ-1,xτ]+bo),

Cτ=fτ*Cτ-1+iτ*tanh(Wc[hτ-1,xτ]+bc),其中,xτ=[pτ-k+1,...,pτ-k+i,...,pτ]是输入向量,pT-k+i代表用户在时间段T-k+1的位置;yτ是输出值,表示用户在下一个τ的预测位置;hτ是隐藏层输出向量;Cτ是细胞状态;Wi、Wo、Wf和Wc分别是当前输入向量xτ和输入门、输出门、遗忘门及细胞连接上的权重参数矩阵;

W'是隐藏层和输出层连接上的权重参数矩阵;σ和tanh都是激活函数;

S32、对用户传输条件进行评估,

在时间周期t中,评估用户的传输条件的函数可定义为

f(t)=w1I(t)-w2d(t),

其中,I(t)∈(0,1)表示在时间周期t某个用户连接的SBS是否有其需要的缓存内容,有则I(t)=1,否则I(t)=0;d(t)表示这个用户和它所连接SBS之间的距离;w1和w2均为大于零的权重因子;用户的f(t)与用户被SBS选择的可能性成正比。

6.根据权利要求5所述的基于深度增强学习的网络资源分配方法,其特征在于,S4包括如下步骤:S41、建立RL-LSTM框架,所述RL-LSTM框架由M个LSTM编码器、L个LSTM解码器以及多层感知网络(MLP)组成,每个SBS都被建模为LSTM网络解码器。解码器l预测第t个时间周期的动作向量xl,t和αl,c,t,xl,t和αl,c,t上的概率向量分别为μl,c,t=S(Wμhl,t),αl,c,t~N(μl,c,t,Var(αl,c,t)),其中,μl,c,t和Var(αl,c,t)分别是高斯分布的均值和方差; 和Wμ∈Rn是参数;σ(.)是softmax函数,对于q=1,...,O, S(.)是S形函数, 用于将值归一化为(0,1);hl,t是解码器l在时间周期t的隐藏层向量; 是在时间周期t所有编码器的输入历史流量向量;xl,

S42、SBS l的整个动作序列的概率 为

其中,F代表时间段τ内的F个时间周期t,是在时间段τ所有编码器的输入历史流量序列;

S43、判断是否存在混合策略使博弈问题G存在纳什均衡,使用训练数据集D来训练RL-LSTM框架,在训练阶段使用增强学习算法来计算奖励函数的期望值的梯度,反向传播算法来更新LSTM参数,当训练次数满足设置的最大训练时间周期时停止训练;

博弈问题G的基于梯度的学习算法允许收敛到该博弈的平衡点;在动作空间上存在最好的概率空间分布 使得对于 策略向量 是纳什平衡;

其中, 表示采用策略πl给博弈方l带来的回报, 表示Al上最好的概率空间分布,表示A-l上最好的概率空间分布。