欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021103606117
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度强化学习的基站缓存替换方法,其特征是,包括:基于获取文件的传输时延和获取文件的新鲜度损失成本,确定获取文件的总成本;

基于获取文件的总成本,构建物联网场景下基于MDP的缓存替换模型;

基于A3C深度强化学习求解物联网场景下基于MDP的缓存替换模型,以实现获取文件的传输时延和获取文件的新鲜度损失成本之间的均衡;

所述获取文件的传输时延,具体为:

其中,σu,f(t)表示用户u在t时刻获取文件f的传输时延,yf表示文件是否从缓存中获取,若基站缓存有文件f且该文件未过期,则yf=1,否则yf=0; 表示当文件f缓存在基站的高速缓存设备中且未过期时,用户直接通过回程链路从缓存中获取文件的传输时延;

当基站未缓存请求文件或者请求文件过期时,基站从物联网数据源获取请求文件的传输时延;vf表示请求文件f的大小;Rb,u(t)表示基站到用户u的无线传输速率;Bu表示每个用户被分配的信道带宽;

所述获取文件的新鲜度损失成本,具体为:

其中,Lu,f(t)表示t时刻用户u获取文件f的新鲜度损失成本, 表示已缓存文件f的年龄, 表示文件f的生存周期;

所述获取文件的总成本,具体为:

Cu,f(t)=α·σu,f(t)+(1‑α)·Lu,f(t)                 (7)其中,Cu,f(t)表示t时刻用户u获取文件f的总成本,α表示衡量时延成本重要性的相对权重系数;

所述基于获取文件的总成本,构建物联网场景下基于MDP的缓存替换模型,具体为:定义t时刻的状态空间st={C(t),L(t),B(t)},其中,C(t)表示t时刻的网络状态,L(t)表示t时刻的数据请求状态,B(t)表示网络上下文信息;

0 1 V 0

定义动作空间为A={a ,a ,...,a},当t时刻的动作at=a时,这表明不缓存当前请求v文件,基站的缓存状态保持不变;当at=a (1≤v≤V)时,这表明会将高速缓存中的第v个文件替换掉,且缓存当前请求文件;

定义P(st+1|st,at)表示将时间点t的状态和动作映射到时间点t+1的状态分布的上的转移概率,其仅取决于判定时间点t、观察到的状态st和所选择的动作at,而不取决于该过程的历史;

t时刻采取行动at后所获得的即时奖励R(st,at)定义为:R(st,at)=‑Cu,f(t)                          (12)即以降低所有用户获取文件时的总成本为优化目标。

2.根据权利要求1所述的基于深度强化学习的基站缓存替换方法,其特征是,在所述物联网场景下基于MDP的缓存替换模型中,基站在t时刻的处理过程包括:a1、在t时刻的开始,基站观察系统并获得其当前状态st∈S,S表示状态空间;

a2、基站在观测到当前状态st后根据策略π执行动作at;

a3、采取行动at后,物联网系统根据动态环境中的R(st,at)和P(st+1|st,at),获取累积奖励Rt,并向新状态st+1进行转变;

a4、将累积奖励反馈给基站,然后进入下一个时隙t+1,并重复该过程。

3.根据权利要求1所述的基于深度强化学习的基站缓存替换方法,其特征是,所述基于A3C深度强化学习求解物联网场景下基于MDP的缓存替换模型,以实现获取文件的传输时延和获取文件的新鲜度损失成本之间的均衡,包括:b1、定义移动用户集合{U}={1,...,u,...,U},文件集合{F}={1,...,f,...,F},用户0

的总数为U,文件的总数为F;全局网络中Actor网络和Critic网络的参数分别为θ和 每m个智能体的Actor网络和Critic网络的参数分别为θ和 最大步数为tmax;文件缓存集合为W,初始化为φ;

0

b2、初始化网络参数的梯度更新量:dθ=0, 同时用全局共享参数初始化每个m 0线程的网络参数:θ=θ,

b3、令tstart=t,并获取当前系统状态空间st={C(t),L(t),B(t)}:其中,C(t)={Pb,u(t),Gb,u(t)}网络状态C(t)包含用户u接入基站信道后的无线发射功率Pb,u(t)以及无线信道增益Gb,u(t);

数据请求状态L(t)中的 表示在t时刻收到第n个用户请求时基站获得的请求文件集合,n∈{1,2,...,N};

网络上下文信息B(t)包含t时刻文件f的生命周期 和文件年龄 f∈{1,

2,...,F};

b4、每个智能体将st输入到Actor网络和Critic网络中;

b5、Actor网络输出此时的策略πθ(at,st),该策略是执行不同动作的概率分布向量,πθ(at,st)表示执行动作a的概率;

b6、按照策略πθ(at,st)选取一个动作概率最大的动作at,计算即时奖励R(st,at)=‑Cu,f(t),并转移到的下一个状态st+1;

b7、令t=t+1,若st是终止状态或者t‑tstart=tmax,则执行步骤b8;否则执行步骤b4:b8、用Critic网络计算状态空间为st时的状态值函数 定义如下:Rt表示截止t时刻的累积奖励:

其中,γ∈[0,1]为折扣因子,用来决定累积奖励Rt更看重眼前的回报还是未来时刻的累积回报;

b9、计算t时刻的目标值函数V:

b10、for i=(t‑1):tstart do,即从起始时刻tstart开始,至当前时刻i=(t‑1)为止,进行如下计算:b101、计算各个时刻的优势函数:

0

b102、计算梯度更新dθ:

b103、计算梯度更新

0

b11、每个智能体异步的更新全局共享参数θ和

0 0 0

θ=θ+λdθ;

b12、如果没有达到终止条件,转至b2执行。

4.一种基于深度强化学习的基站缓存替换系统,其特征是,包括处理器和存储设备,所述存储设备中存储有多条指令,用于所述处理器加载并执行权利要求1~3任一项所述方法的步骤。

5.一种计算机可读存储介质,其特征是,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序被处理器运行时控制所述存储介质所在设备执行权利要求1至3中任意一项所述的方法。