1.一种基于深度强化学习的全景视频边缘协作缓存替换方法,其特征在于,包括如下步骤:(1)初始化全景视频边缘协作缓存的系统环境以及用户请求;
(2)在边缘集群的缓存中检索请求内容zi,判断是否缓存命中;
(3)若缓存未命中,判断是否进行缓存替换;若剩余缓存空间足够缓存请求内容,则将请求内容缓存在集群中;若剩余缓存空间不足,则进行缓存替换;
(4)DRL智能体从系统环境中观察状态特征Φ(statet),并从主Q网络中获得一些动作和其对应的Q值;
(5)应用∈‑Greedy策略从动作空间中选择动作actiont;
(6)在动作actiont被执行之后,DRL代理从缓存系统获得即时奖励rewardt和下一个状态statet+1,并且新的状态也被预处理为Φ(statet+1);
(7)系统构造(Φ(statet),actiont,rewardt,Φ(statet+1))的转换关系,然后将其存储到经验回放池M中;
(8)DRL智能体根据经验回放池M的采样结果更新两个Q网络的网络参数。
2.如权利要求1所述的基于深度强化学习的全景视频边缘协作缓存替换方法,其特征在于,步骤(2)中,在边缘集群的缓存中检索该请求内容zi,判断是否缓存命中具体包括如下步骤:(21)首先在用户所连接的根基站缓存中检索该请求内容zi;
(22)若在根基站缓存中检索成功,则返回请求内容zi缓存命中;反之,若在根基站缓存中检索失败,则遍历边缘集群中其他节点的缓存,检索该请求内容zi;
(23)若在某一个邻基站缓存中检索成功,则请求内容zi缓存命中;反之,若在所有邻基站缓存中都检索失败,则遍历边缘集群中所有节点的缓存,检索该请求内容zi的其他变体zi′;
(24)若在集群中检索请求内容zi的其他变体zi′成功,则缓存命中;反之,则缓存未命中。
3.如权利要求1所述的基于深度强化学习的全景视频边缘协作缓存替换方法,其特征在于,步骤(3)中,若缓存未命中,判断是否进行缓存替换;若剩余缓存空间足够缓存该请求内容,则将该请求内容缓存在集群中;若剩余缓存空间不足,则进行缓存替换具体包括如下步骤:(31)首先检查用户所连接的根基站的缓存是否足够缓存该请求内容zi;
(32)若根基站的剩余缓存空间足够,则在根基站的缓存中缓存内容zi;反之,若在根基站的剩余缓存空间不充分,则遍历边缘集群中其他节点的剩余缓存空间;
(33)若某一个邻基站的剩余缓存空间足够,则在该邻基站的缓存中缓存内容zi;反之,若所有邻基站的剩余缓存空间都不充分,则对请求内容zi进行缓存替换。
4.如权利要求1所述的基于深度强化学习的全景视频边缘协作缓存替换方法,其特征在于,步骤(4)中,DRL智能体从系统环境中观察状态特征Φ(statet),并从主Q网络中获得一些动作和其对应的Q值采用以下计算式:s
其中C(t)是t时刻各个平铺块变体在边缘服务器集群中的缓存状态,F(t)是t时刻各个平铺块变体的FoV权重状态,和 分别是所有集群缓存状态和所有FoV权重状态的集合。
5.如权利要求1所述的基于深度强化学习的全景视频边缘协作缓存替换方法,其特征在于,步骤(5)中,应用∈‑Greedy策略从动作空间中选择动作actiont具体包括如下步骤:(51)对动作空间的描述采用以下计算式:
其中 是在t时刻用内容zk替换zi的缓存替换决策, 是所有缓存替换决策的集合;
(52)生成一个随机数p;
(53)若p<∈,采用自适应的动作选择方案,将每个基站上FoV权重最小的平铺块变体添加到集合{a}中,并从{a}中随机选择一个内容进行替换;
(54)若p>∈,选择当前Q值最大的动作;
(55)返回动作actiont。
6.如权利要求1所述的基于深度强化学习的全景视频边缘协作缓存替换方法,其特征在于,步骤(6)中,在动作actiont被执行之后,DRL代理从缓存系统获得即时奖励rewardt和下一个状态statet+1,并且新的状态也被预处理为Φ(statet+1)具体包括如下步骤:(61)计算响应一个用户请求的传输成本如下式:
其中,μ0和μ1分别是对应的从边缘和CDN传送视频内容的带宽资源单价,μ0>μ1,和 分别为t时刻请求内容zi和请求内容zi的其他变体zi′在基站hk上的缓存状态;
(62)计算响应一个用户请求的质量不匹配水平如下式:
其中 和 分别为t时刻请求内容zi和请求内容zi的其他变体zi′在基站hk上的缓存状态;
(63)计算响应一个用户请求的时延如下式:
其中,d1,d2以及d3表示从分别从根基站,邻基站和CDN三处传输视频内容的传输时延,d1
(64)通过加权求和,计算一个用户请求的总成本如下式:其中,k1,k2以及k3分别为传输成本、质量不匹配水平和传输时延的权重系数;
(65)奖励函数由下式给出:
其中 是被替换的内容zk在t时刻的FoV权重,Ri,j(t)为处理一个用户请求的总成本;
(66)根据上述公式,整个缓存过程的总奖励表示为:
其中γ为奖励的衰减因子。
7.如权利要求1所述的基于深度强化学习的全景视频边缘协作缓存替换方法,其特征在于,步骤(8)中,DRL智能体根据经验回放池M的采样结果更新两个Q网络的网络参数具体包括如下步骤:(81)DRL智能体从经验回放池M中采样(Φ(statet),actiont,rewardt,Φ(statet+1))作为minibatch,根据采样结果来计算当前目标Q值;
(82)使用均方差损失函数通过神经网络的梯度反向传播来更新Q网络的所有参数,其中对主Q网络的参数进行即时更新,对目标Q网络的参数进行周期性更新。