1.一种多智能体深度确定性梯度策略计算卸载方法,其特征在于,包括下列步骤:步骤1:构建包括多物联网终端及多边缘节点的斯塔克尔伯格博弈模型;
在步骤1中的环境场景是在多物联网设备、多边缘计算服务器节点应用场景下构建的,具体包括多个计算能力不同的边缘计算服务器节点以及多个物联网终端设备,即多个智能体,整个系统的服务周期被划分为个时隙,终端设备在每个时隙都会产生一个计算密集型任务,终端设备通过无线网络将计算任务卸载到边缘节点进行辅助处理;
所述斯塔克尔伯格博弈模型中的物联网终端设备及边缘节点的效用函数构建,边缘节点服务器的效用函数如下:;
其中,表示边缘节点i的效用函数,表示边缘节点i单位计算资源的售价,表示在边缘计算系统时隙t终端设备卸载至边缘节点的任务数据量,表示物联网终端设备的卸载至边缘节点的任务比例,表示边缘节点单位资源成本;
物联网终端设备的效用函数如下:
;
其中,表示物联网终端设备单位资源计算成本,表示物联网终端设备i所产生的计算任务进行本地计算的比例;
步骤2:设计马尔科夫决策过程;
步骤2中边缘节点作为智能体的状态空间、动作空间、奖励函数设计策略的表达式如下:;
;
;
其中,为所有边缘节点的单位资源成本集合,为所有边缘节点单位资源售价集合,为所有物联网终端设备的卸载策略集合;
步骤2中物联网终端设备作为智能体的状态空间、动作空间设计策略、奖励函数的表达式如下:;
;
;
步骤3:多智能体根据其对环境的观测进行动作选择;
步骤4:从经验回放池中抽取一定数量的样本,通过计算目标回报值、损失函数和策略梯度更新多智能体的在线策略网络参数和在线网络参数,并采用软更新目标策略网络参数和目标网络的参数。
2.如权利要求1所述的多智能体深度确定性梯度策略计算卸载方法,其特征在于,步骤3中多智能体的动作选择策略,每个智能体在系统时隙t根据其部分观测以及策略选择动作:。