欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022112700428
申请人: 南京邮电大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于深度强化学习的高维度视频缓存选择方法,其特征在于:所述方法包括如下步骤:步骤S1:针对高维视频缓存问题进行系统建模,然后建立基于改进深度确定性策略梯度DDPG的高维度视频缓存动作选择模型;

步骤S2:通过Adam算法训练基于改进DDPG的高维度视频缓存动作选择模型的网络参数;

步骤S3:边缘服务器使用训练后的基于改进DDPG的高维度视频缓存动作选择模型选择视频进行缓存。

2.根据权利要求1所述的基于深度强化学习的高维度视频缓存选择方法,其特征在于:在步骤S1中,具体步骤如下:

步骤S1‑1:将边缘服务器的高维视频缓存问题形式化:设边缘服务器覆盖范围内用户的数量为U,视频的数量为N,时间的长度为T,边缘服务器的最大存储容量为C,用户本地到边缘服务器的单位时间延迟和单位流量成本分别为l和p;设边缘服务器的视频缓存选择策略为 , ;

其中, 表示时步t时,边缘服务器做出的视频缓存动作; ;

由于视频数量N庞大,所以 是高维离散的;当 时,表示时步t时边缘服务器缓存标号为j的视频,否则, ;设边缘服务器每个时步只选择一个视频缓存,那么 ;

设时步t时,用户k观看视频的情况为 , ; 是高

维向量,当 时,表示用户 在t时刻观看了标号为j的视频,否则, ;

设时步t时,边缘服务器缓存视频的情况为 , , 也是高维向量,当 时,表示在时步t时边缘服务器已经缓存了标号为j的视频,否则, ;

设标号为j的视频所占内存大小为 ,时步t时边缘服务器缓存视频后得到的即时奖励为 ;整个问题的优化目标为求解边缘服务器的视频缓存选择策略 ,以最大化边缘服务器的累积收益,即最小化视频传输的时间延迟和用户花费的流量成本:其中,为折扣率,表示对未来奖赏的关注度; 为时步t时,由于用户k观看视频,边缘服务器所得到的即时奖励;e为当用户所要观看的视频已经被边缘服务器缓存时,边缘服务器得到的正值即时奖励;为对视频传输的时间延迟和用户花费的流量成本的偏好,的取值在0到1范围内;C为边缘服务器的最大存储容量;U为边缘服务器覆盖范围内用户的数量;

式中 表示并且;

步骤S1‑2:将上述问题模型描述成马尔科夫决策过程,用 表示;其中,S是状态空间,存储边缘服务器可观测到的状态; 是高维动作空间,存储边缘服务器可执行的原始高维离散的视频缓存动作; 是低维动作空间,存储边缘服务器可选择的低维连续的视频缓存动作;是奖赏空间,存储边缘服务器得到的即时奖励;是状态转移概率空间,表示边缘服务器在某个状态下,执行动作后进入下一状态的分布情况;

步骤S1‑3:基于改进DDPG的高维度视频缓存动作选择模型,是将DDPG与训练好的decoder相结合;其中,DDPG包含actor、critic和重放缓存区;

actor分为在线actor网络和目标actor网络,均是层数为4层的深度全连接神经网络,网络参数分别为 和 ;在线actor网络的输入为边缘服务器观察到的状态 ,输出为低维连续的视频缓存动作 ;目标actor网络的作用为对在线actor网络进行网络参数的更新;

decoder是层数为6层的深度全连接神经网络,网络参数为 ;decoder的输入为低维连续的视频缓存动作 ,输出为原始高维离散的视频缓存动作 ;

重放缓冲区存储缘服务器观察到的状态 、低维连续的视频缓存动作 、边缘服务器根据动作 选择视频进行缓存后得到的即时奖励 以及边缘服务器观察到的下一时步的状态 ,即 ;

critic分为在线critic网络和目标critic网络,均是层数为4层的深度全连接神经网络,网络参数分别为 和 ;在线critic网络的输入为从重放缓冲区中采样所得的数据,输出为边缘服务器选择视频缓存后的状态动作值 ,即对边缘服务器所得累积收益的估计;目标critic网络的作用为对在线critic网络进行网络参数的更新。

3.根据权利要求2所述的基于深度强化学习的高维度视频缓存选择方法,其特征在于:步骤S1‑2中,定义状态为:

t‑1时步时,每个视频的被观看情况为 , ;

是根据如下公式计算得到:

把 以及 作为当前边缘服务器观察到的状态,即 ;根据上文的描述, 和 均是维度为N的高维向量,因此 是维度为2N的高维状态。

4.根据权利要求2所述的基于深度强化学习的高维度视频缓存选择方法,其特征在于:步骤S1‑2中,定义动作为:

将高维动作空间 中的视频缓存动作降维,得到低维动作空间 ,其维度为 ;则时步t时,边缘服务器可选择的低维连续的视频缓存动作为 , ; 需要还原为原始高维离散的视频缓存动作 ,其维度为 , 。

5.根据权利要求2所述的基于深度强化学习的高维度视频缓存选择方法,其特征在于:步骤S1‑2中,定义状态转移概率为:

在MDP中,边缘服务器在状态 下,根据动作 选择视频进行缓存的结果由来决定。

6.根据权利要求2所述的基于深度强化学习的高维度视频缓存选择方法,其特征在于:步骤S1‑2中,定义即时奖励为:

边缘服务器在时步t时缓存视频后得到即时奖励 ;边缘服务器在时步t时得到累积奖赏 ,公式如下:边缘服务器的目标为最大化累积收益,即累积奖赏的期望,公式如下:优化目标则转换为,在时步t时,求解边缘服务器的最优视频缓存动作 ,以最大化边缘服务器的累积收益。

7.根据权利要求1所述的基于深度强化学习的高维度视频缓存选择方法,其特征在于:在步骤S2中,通过Adam算法训练基于改进DDPG的高维度视频缓存动作选择模型的网络参数,此训练过程基于训练样本;在训练decoder之前,需要训练encoder和一个深度全连接神经网络;encoder是层数为6层的深度全连接神经网络,网络参数为 ;encoder的输入为原始高维离散视频缓存动作 ,输出为低维连续的视频缓存动作 ;另外的深度全连接神经网络的网络参数为 ,网络层数为5层;该深度全连接神经网络的输入为边缘服务器观察到的状态 和低维连续的视频缓存动作 ,输出为下一时刻的状态 。

8.根据权利要求7所述的基于深度强化学习的高维度视频缓存选择方法,其特征在于:步骤S2具体步骤如下:

步骤S2‑1:分别随机初始化encoder、深度全连接神经网络以及decoder的网络参数 、和 ;

步骤S2‑2:encoder将原始高维离散视频缓存动作 降维成低维连续的视频缓存动作 ;

步骤S2‑3:将低维连续的视频缓存动作 与边缘服务器观察到的状态 输入到深度全连接神经网络中,输出得到下一时刻的状态 ;

步骤S2‑4:最小化encoder和深度全连接神经网络的损失 ,以更新encoder和深度全连接神经网络的参数 和 ,公式如下:其中,为对公式 求期望; 为

策略 下状态转移概率的分布; 为深度全连接神经网络的参数为 时,输入 和 后,网络输出 的概率; 为encoder的参数为 时,输入 后,encoder的输出; 为KL散度,表示 和高斯分布 之间的差异;为KL散度的权重;

步骤S2‑5:重复步骤S2‑2至S2‑4,直到 收敛,完成encoder和深度全连接神经网络的训练;

步骤S2‑6:将 输入到decoder中,输出得到原始高维离散的视频缓存动作 ,公式如下:其中, 为decoder的参数为 时,输入 后,decoder的输出;

步骤S2‑7:最小化两个低维连续的视频缓存动作之间的距离 ,以更新decoder参数 ,公式如下:其中, 为encoder的参数为 时,输入decoder所输出的原始高维离散的视频缓存动作后,encoder的输出;第一项 保证了decoder是encoder的单侧逆,即 ,但是 ;第二项

保证了 的输出为唯一最小值;为第二项的权重;

步骤S2‑8:重复步骤S2‑6至S2‑7,直到 收敛,完成decoder的训练;

步骤S2‑9:在线actor网络和目标actor网络的网络参数分别为 和 ,在线critic网络和目标critic网络的网络参数分别为 和 ;随机初始化 和 ,然后分别将 和赋值给 和 ;

步骤S2‑10:边缘服务器观察到状态 后,根据在线actor网络和随机噪声选择低维连续视频缓存动作 ,公式如下:其中, 为在线actor网络的参数为 时,输入状态 后,网络的输出; 为随机噪声,用以增加视频缓存动作的探索;

步骤S2‑11:decoder将 还原为原始高维离散视频缓存动作 ;

步骤S2‑12:边缘服务器根据该动作 选择视频进行缓存后得到即时奖励 ,并观察到下一时步的状态 ;

步骤S2‑13:将 存储到重放缓冲区中;

步骤S2‑14:从重放缓冲区中随机采样M条数据 ;

步骤S2‑15:利用Adam算法,在线critic网络最小化损失 以更新其参数 ,公式如下:其中,为边缘服务器根据动作 选择视频进行缓存后得到即时奖励;为折扣率,表示对未来奖赏的关注度; 为目标critic网络的参数为 时,输入 和后的状态动作值; 为在线critic网络的参数为 时,输入 和 后的状态动作值;

步骤S2‑16:在线actor网络计算策略梯度 后,利用Adam算法更新参数 ,公式如下:其中, 为状态动作值 关于动作 的梯度; 为

在线actor网络的参数为 时,所输出的动作关于 的梯度;为参数 的更新步长;

步骤S2‑17:按照soft模式更新参数 和 ,公式如下:其中,为参数 和 的延迟更新步长;

步骤S2‑18:重复步骤S2‑10至S2‑17,直到损失函数 收敛,完成训练。

9.根据权利要求1所述的基于深度强化学习的高维度视频缓存选择方法,其特征在于:在步骤S3中,输入边缘服务器观察到的高维状态 ,利用训练后的基于改进的DDPG的高维度视频缓存动作选择模型输出低维连续的视频缓存动作,decoder将该动作还原为原始高维离散的视频缓存动作,边缘服务器根据该原始高维离散的视频缓存动作选择视频进行缓存。

10.根据权利要求9所述的基于深度强化学习的高维度视频缓存选择方法,其特征在于:步骤S3具体步骤如下:步骤S3‑1:边缘服务器观察到高维状态 后,将 输入到训练好的在线actor网络中,输出低维连续的视频缓存动作 ,公式如下:其中, 是经过步骤S2训练后得到的在线actor网络的参数; 为在线actor网络的参数为 时,输入状态 后,网络的输出;

步骤S3‑2:输入 ,decoder输出原始高维离散的视频缓存动作 ,公式如下:其中, 是经过步骤S2训练后得到的decoder的参数; 为decoder的参数为时,输入 后,decoder的输出;

步骤S3‑3:边缘服务器根据 从大量视频选取一个视频;如果边缘服务器已缓存的视频中不包含该视频,并且边缘服务器的剩余存储容量足够缓存该视频,则将该视频缓存到边缘服务器中;否则,依次删除边缘服务器中最早缓存的视频,直到边缘服务器的剩余存储容量足够缓存该视频,然后将该视频缓存到边缘服务器中。