1.一种异构蜂窝网络内容缓存方法,其特征在于,包括:基于搭建好的用户请求模型获取当前访问用户的内容请求概率、基站的内容缓存状态和本地缓存器的内容缓存状态;
根据所述当前访问用户的内容请求概率、基站的内容缓存状态和本地缓存器的内容缓存状态,获取当前系统状态;
根据所述当前系统状态,基于在线决策模型生成缓存决策并执行缓存动作;
基于搭建好的用户请求模型获取当前访问用户的内容请求概率、基站的内容缓存状态和本地缓存器的内容缓存状态,包括:根据公式(1)计算用户通过蜂窝网络请求内容的概率:(1)
其中,表示用户通过蜂窝网络请求内容的概率,表示用户,表示内容,表示基站序号;表示本地缓存器中内容的缓存状态;表示基站覆盖的小区中用户请求内容的概率,且服从Zipf分布;表示用户的本地缓存器缓存接收到内容的概率;
根据公式(2)计算用户在本地获取内容的概率:(2)
其中,表示用户在本地获取内容的概率;
采集本地缓存器中内容的缓存状态,若,本地缓存器已缓存内容;若,本地缓存器未缓存内容;
采集基站中内容的缓存状态为,若,基站已缓存内容;若,基站未缓存内容;
所述在线决策模型的搭建包括:
根据用户的内容请求概率、基站的内容缓存状态和本地缓存器的内容缓存状态,构造状态空间;所述状态空间的表达式如下:(3)
其中,表示系统状态,表示时刻的系统状态,表示任意时刻;表示时刻的用户内容请求概率,表示用户,表示内容,表示基站序号,表示用户请求内容集合,表示基站覆盖的所有用户,表示基站总数,表示基站覆盖的小区中用户请求内容的概率;表示本地缓存器和基站在时刻的缓存状态,表示本地缓存器中内容的缓存状态,表示基站中内容的缓存状态;
根据基站的内容缓存状态构造动作空间;所述动作空间的表达式如下:(4)
其中,表示缓存动作,表示时刻的缓存动作;
根据建立好的内容缓存联合优化问题构造奖励函数;所述奖励函数的表达式如下:(5)
其中,表示在系统状态下执行缓存动作获得的奖励值;表示性能关联系数;为缓存命中率,表示基站直接响应内容请求的概率与内容请求的总概率之比;为缓存冗余率,表示基站和本地缓存器中缓存的相同内容的比例;为延迟效率,表示缓存策略降低的内容交付延迟与无缓存时的内容交付延迟之比;
所述内容缓存联合优化问题表达式如下:(6)
其中,表示内容缓存联合优化问题,表示内容的数据量大小,表示基站的存储容量,、表示约束,约束表示基站缓存内容的总大小不能超过存储容量;
所述缓存命中率的表达式如下:
(17)
其中,表示用户通过蜂窝网络请求内容的概率,表示用户进行内容请求的总概率;
所述缓存冗余率的表达式如下:
(18);
所述延迟效率的表达式如下:
(19)
其中,表示用户在本地获取内容的概率,表示基站至用户之间的无线传输延迟,表示基站至核心网络的回程链路延迟;
所述基站至用户之间的无线传输延迟的表达式如下:(20)
其中,表示基站与本地缓存器的下行传输速率;表示内容的数据量大小;
所述基站至核心网络的回程链路延迟的表达式如下:(21)
其中,表示长期平均回程传输速率,表示时延误差补偿系数;
所述基站与本地缓存器的下行传输速率的表达式如下:(22)
其中,表示基站对用户配的带宽,表示基站和本地缓存器之间的信噪比。
2.根据权利要求1所述的异构蜂窝网络内容缓存方法,其特征在于,所述在线决策模型采用基于元强化学习的在线决策算法,解决内容缓存决策中的内容缓存联合优化问题,包括:采用智能体Actor-Critic结构搭建在线决策算法的基本结构,并初始化Actor网络、Critic网络、Actor网络参数、Critic网络参数和经验回放缓冲区;
根据所述联合优化问题,初始化性能关联系数,并构造系数集,其中,表示任务数量;
根据系数集,构造目标学习任务集,其中,表示第个任务,表示第个系数集,表示任务序号,;
对所述目标学习任务集进行采样,得到样本任务集为;
对于样本任务集中的任意一个任务,基于当前系统状态,执行缓存动作,获取奖励和下一个系统状态;
构造任务数据并存储在经验回放缓存器,形成任务的支持集;
根据样本任务集中的任意一个任务,对所构建的支持集进行采样,并计算任务的损失;
根据所述任务的损失分别对Actor网络和Critic网络进行参数更新,得到更新后的Actor网络参数和更新后的Critic网络参数;
根据更新后的Actor网络和Critic网络计算任务更新后的损失;
根据任务更新后的损失计算全局元损失;
根据全局元损失对元损失函数进行梯度下降,并更新全局Actor网络参数和Critic网络参数,以解决联合优化问题。
3.根据权利要求2所述的异构蜂窝网络内容缓存方法,其特征在于,所述任务的损失通过如下公式计算:(7)
其中,表示期望函数;为叠加因子,表示当前系统回报值对未来值的影响;表示利用Critic网络,在系统状态下执行缓存动作得到的奖励;表示利用Critic网络,在系统状态下执行缓存动作得到的奖励;
所述更新后的Actor网络参数通过如下公式计算:(8)
其中,表示Actor网络的学习率,表示的梯度算子;
所述更新后的Critic网络参数通过如下公式计算:(9)
其中,表示Critic网络的学习率;
所述根据更新后的Actor网络和Critic网络计算任务更新后的损失通过如下公式实现:(10)
其中,表示利用更新后Critic网络,在系统状态下执行缓存动作得到的奖励;表示利用更新后Critic网络,在系统状态下执行缓存动作得到的奖励;
所述全局元损失通过如下公式计算:(11);
所述全局Actor网络参数通过如下公式计算:(12)
其中,表示元学习率;
所述全局Critic网络参数通过如下公式计算:(13)。
4.一种计算机系统,其特征在于,包括:存储器,用于存储计算机指令;
处理器,用于执行所述计算机指令以实现权利要求1-3中任一项所述的异构蜂窝网络内容缓存方法的步骤。