欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021105998211
申请人: 电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2026-06-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于智能体深度增强学习的多边缘基站联合缓存替换方法,其特征在于,包括以下步骤:

(1)、设边缘缓存系统内包含I个边缘基站,每个边缘基站都部署了初始智能体,对于第i个基站bi,其部署的智能体记为ai,每个智能体都维护一个智能体决策网络;设I个边缘基站在过去一段时间T内接收到的用户内容请求数量为N,每个边缘基站能够缓存的热点内容数量上限为K;设置边缘缓存系统的流行度动态矢量,其长度为L=K·I;

(2)、边缘缓存系统运行时,网络控制器收集并统计I个边缘基站接收到的用户内容请求数量,如果接收到的用户内容请求数量小于N,则等待继续接收用户内容请求数量,否则进入步骤(3);

(3)、网络控制器提取过去N条用户内容请求的流行度特征;

在N个用户内容请求中,统计每种内容被请求的次数,并按照从大到小的方式进行排序,排序完成后,将排序后每种内容被请求的次数作为流行度特征,记为流行度动态矢量;

同时对排序后每种内容进行动态编号,其中,若排序后某种内容的序号n小于等于流行度动态矢量的长度,即n≤L,则排在第n位的内容的动态编号记为L‑n+1;否则,其动态编号记为

0;

(4)、流行度特征变化检测;

(4.1)、网网络控制器统计I个边缘基站每接收到W条用户请求时作为触发流行度特征变化检测的标志,设当前为第k次检测;

(4.2)、在第k次检测时,当网络控制器统计I个边缘基站每接收到W条用户内容请求后,提取已接收到的N条用户内容请求在流行度动态矢量中存储的请求次数,然后计算请求次数排序靠前的H种用户内容请求的请求频率向量,记为 其中,k

i=1 ,2 ,… ,H,fi 表示第k次检测时第i种用户内容请求的请求频率,k k‑1

(4.3)、计算F和F 的距离,记为KLk;

(4.4)、若KLk大于前m次计算得到的距离平均值的λ倍,λ为常数,则判定内容流行度特征发生了变化,并清空历史到达的用户内容请求,再进入步骤(6),否则进入步骤(5);

(5)、边缘基站进行智能体缓存替换;

边缘缓存系统计未命中的请求次数,当未命中请求达到M次时,记录在此期间内边缘缓存系统所收到的总请求数D(M),同时接收第D(M)个请求的边缘基站的智能体执行缓存替换;

智能体执行缓存替换的具体过程为:(5.1)、边缘缓存系统中的每个边缘基站bi都向各自智能体决策网络输入本地观察值、智能体编号以及边缘基站上一次决策时决策网络输出的动作;其中,本地观察值具体包括:当前基站缓存区内所有内容的动态编号 以及它们在过去N个请求中被请求的次数 当前边缘基站的每个邻居基站bj中缓存区内所有内容的动态编号 以及它们在过去N个请求中被请求的次数 基站缓存替换触发标志R,当R=1时,表示边缘基站需要进行缓存替换决策,当R=0时,表示边缘基站不需要进行缓存替换决策;第D(M)个内容请求g的动态编号sg以及该内容在过去N个请求中被请求的次数cg;

(5.2)、各边缘基站向智能体决策网络输入上述信息后,对接收第D(M)个请求的边缘基站进行缓存替换,并根据智能体决策网络的输出结果决定将当前缓存中的哪个内容替换为当前被请求的内容或选择不进行替换,而其它所有边缘基站都不进行缓存替换;

(5.3)、缓存替换结束后,返回步骤(4);

(6)、重新训练智能体决策网络;

(6.1)、当边缘缓存系统检测到流行度特征变化时,使用LFU作为缓存替换算法替代当前智能体;然后进入步骤(6.2);

(6.2)、重新训练智能体决策网络;

(6.2.1)、提取已接收到的N条用户内容请求组成的序列;

(6.2.2)、调用用于训练各边缘基站智能体的仿真器;

(6.2.3)、通过仿真器训练各边缘基站的智能体;

1)、将序列输入至仿真器;

2)、仿真器统计未命中请次数,当未命中请求达到M次时,仿真器触发缓存替换,记当前触发的时刻为t;

3)、在t时刻,仿真器统计各边缘基站中智能体的本地观察值 及全局状态St;其中,全局状态St包括:动态编号从L到1的内容在过去N个用户内容请求中分别被请求的次数{cL,cL‑1,…,c1};

4)、在t时刻,每个智能体ai将自身观察 与智能体编号i以及上一时刻的动作 作为待训练的智能体决策网络的输入,从而输出当前时刻的动作

5)、仿真器根据动作 进行缓存替换,并计算上一时刻的奖励值rt;

6)、保存t时刻获取到的本地观察值、全局状态、所有智能体的动作以及奖励值,若尚未执行完序列则返回步骤2),否则通过多智能体深度增强学习方法进行对每个智能体的决策网络并返回步骤1),直至每个智能体的决策网络趋于稳定;

(6.3)、停止使用LFU作为缓存替换决策算法,然后启用训练好的智能体继续执行缓存替换决策,再返回至步骤(4)。

2.根据权利要求1所述的基于智能体深度增强学习的多边缘基站联合缓存替换方法,其特征在于,所述奖励值的计算公式为: