1.一种基于深度强化学习的物联网边缘协同缓存方法,其特征在于,该方法包括以下步骤:步骤一:边缘服务器收集所在区域的终端层用户设备的视频缓存信息,构建动态日志文件数据集,数据集元素包括视频用户ID、时间戳、视频内容ID;
步骤二:各分布式边缘服务器通过模型训练模块训练数据集,模型训练模块的神经网络输入为包含视频用户ID、时间戳、视频内容ID标签的动态日志文件数据集,经过训练,模型训练模块输出包含边缘服务器缓存信息的局部梯度参数 同步转发给中心服务器及相邻的边缘服务器;分布式边缘服务器中的神经网络是为了得到局部梯度参数 该参数反映边缘服务器的缓存状态;
步骤三:中心服务器接收到各分布式边缘服务器发送的局部梯度参数 后,经过参数聚合模块对局部梯度参数 进行聚合,得到全局梯度参数Gτ;各分布式边缘服务器通过协作共享模块,共享彼此的局部梯度参数 以实现各边缘服务器之间的缓存信息交互;
步骤四:中心服务器通过参数训练模块,输入拟合后的全局梯度参数Gτ,经过神经网络的训练,输出更新后的全局模型参数ωτ,中心服务器的神经网络是为了得到全局模型参数ωτ,该参数进一步优化边缘服务器中的神经网络;中心服务器将全局模型参数ωτ发送给各分布式边缘服务器,进行新一轮的局部梯度参数 全局梯度参数Gτ、全局模型参数ωτ的更新;
步骤五:重复一到步骤四,直至预测模型收敛,得到视频用户在线视频请求的预测模型,并进行视频内容请求预测,获得用户在线视频请求的预测列表;训练之后的预测模型进行自动更新;
步骤六:根据预测模型得到的用户在线视频请求的预测列表,多个分布式边缘服务器进行协作缓存,直至各分布式边缘服务器达到存储上限。
2.根据权利要求1所述的一种基于深度强化学习的物联网边缘协同缓存方法,其特征在于,步骤一的具体方法如下:分布式边缘服务器m收集其覆盖区域内的终端层用户设备d的视频缓存信息i,各分布式边缘服务器根据视频缓存信息建立动态日志文件数据集Xm,对数据集中的数据进行标签分类,得到三种类别的数据:视频用户ID、时间戳和视频内容ID。
3.根据权利要求1所述的一种基于深度强化学习的物联网边缘协同缓存方法,其特征在于,步骤二的具体方法如下:步骤2.1,数据集划分,将标签分类后的动态日志文件数据集Xm划分为具有最小批量大小 的子集,β表示训练数据集分成的批次大小,M表示边缘服务器个数;
步骤2.2,生成输出矩阵,对于DNN神经网络,分布式边缘服务器生成输出矩阵:其中, 是分布式边缘服务器中的神经网络第l层的输入矩阵,αm是边缘服务器中的整流线性单元激活函数,用于将每层神经网络的输入转换为非线性模式,定义覆盖所有DNN层的全局模型参数ω,ω=(W,v),W=[W1,...,Wl,...,WL]和v=[v1,...,vl,....,vL],Wl是全局权重矩阵,vl是全局偏置向量,L表示神经网络层数;
步骤2.3,计算预测损失函数,在输出层生成 用于找到边缘服务器m最小批迭代次数τ的预测损失pm(ωτ):
其中,τ表示小批量的样本完成训练的迭代过程;t表示完成迭代过程τ的时间;ωτ表示在迭代过程τ时的全局模型参数; 是分布式边缘服务器输入矩阵的元素, 是分布式边缘服务器输出矩阵 的元素;
步骤2.4,计算局部梯度参数;通过计算:
由此得出分布式边缘服务器的局部梯度参数
4.根据权利要求3所述的一种基于深度强化学习的物联网边缘协同缓存方法,其特征在于,步骤三的计算全局梯度参数Gτ的公式如下:
5.根据权利要求4所述的一种基于深度强化学习的物联网边缘协同缓存方法,其特征在于,步骤四的具体步骤如下:步骤4.1,计算学习步长λ,基于中心服务器的参数训练模块部署的神经网络,以及全局梯度参数,将ητ和δτ分别视为Gτ和 的指数移动平均值,用于估计均值,以预测当前样本迭代τ处的方差,ητ+1和δτ+1的更新公式如下:其中, 和 分别表示ητ和δτ在τ处的指数衰减步长,为了更新全局模型参数ωτ,加入学习步长λ,以决定在每个迭代过程τ更新全局模型ωτ的速度,学习步长λ的更新公式如下:步骤4.2,计算下一个迭代过程τ+1的全局模型参数ωτ+1:
其中,ωτ+1用于边缘服务器学习下一个τ+1的数据集,ε表示常数;
步骤4.3,将预测的全局模型参数ωτ+1发送给各分布式边缘服务器,进行新一轮的局部梯度参数 全局梯度参数Gτ和全局模型参数ωτ的更新。
6.根据权利要求1所述的一种基于深度强化学习的物联网边缘协同缓存方法,其特征在于,步骤六的具体步骤如下:步骤6.1,各分布式边缘服务器交互其覆盖区域内的终端层用户在线视频请求的预测列表;
步骤6.2,根据不同在线视频在不同用户的预测列表中出现的频率,统计视频请求次数;
步骤6.3,根据视频请求次数,分布式边缘服务器进行协作缓存,如果当前服务器缓存了视频,则相邻的服务器不再重复缓存该视频,直至各边缘服务器达到存储上限。