1.一种基于交替迭代优化的深度确定性梯度策略计算卸载方法,其特征在于,包括下列步骤:步骤1:将应用场景下的终端设备卸载策略、边缘节点资源分配及位置部署变量建模为三个智能体,设计相应的马尔科夫过程;
在步骤1中,将终端设备卸载决策、无人机资源分配及位置部署分别建模为三个智能体进行交替决策优化;三个智能体的状态空间为:;
其中,表示智能体在时隙观察到所构建模型的环境状态,其中为终端设备在时隙产生的计算任务集合;表示智能体1在时隙时的动作;表示智能体2在时隙时的动作;表示智能体3在时隙时的动作;
三个智能体的动作空间分别为终端设备的卸载决策集合、无人机主频分配系数集合以及无人机的位置坐标,表示如下:;
其中,为终端设备的二进制卸载策略变量,等于1表示终端设备卸载任务至边缘节点进行计算,否则将任务进行本地计算;表示边缘节点分配给终端设备的CPU主频系数比例即资源分配策略;表示边缘节点位置坐标即位置部署策略;
步骤2:初始化每个智能体的观测环境状态空间;
步骤3:智能体根据状态空间交替执行动作;
步骤3的执行过程,包括下列步骤:
步骤3.1:将时隙智能体2和智能体3的动作和当前环境中的任务大小合并得到智能体1在时隙的状态并输入其Actor网络,得到智能体1在时隙的动作;
步骤3.2:将时隙智能体1智能体3的动作和当前环境中的任务大小合并得到智能体2在时隙的状态并输入其Actor网络,得到智能体2在时隙的动作;
步骤3.3:将时隙智能体1智能体2动作和当前环境中的任务大小合并得到智能体3在时隙的状态并输入其Actor网络,得到智能体3在时隙的动作;
步骤4:将所有智能体动作进行合并输入环境,得到当前状态下的奖励值和下一个环境状态;
步骤5:处理智能体的经验池;
步骤6:抽取N条经验更新智能体的神经网络。
2.如权利要求1所述的基于交替迭代优化的深度确定性梯度策略计算卸载方法,其特征在于,智能体的动作合并后的奖励函数策略,如下所示:;
其中,表示智能体在状态下执行动作所获得的期望奖励值;为时隙的系统能耗,为时隙的系统时延,为无人机飞出环境区域时所获得的惩罚值常数;
相应的,和的计算公式如下:
;
;
其中,表示终端设备在时隙的任务传输速率,表示边缘节点CPU主频,表示边缘节点处理每1bit大小任务的周期数,表示无人机的CPU电容系数。
3.如权利要求2所述的基于交替迭代优化的深度确定性梯度策略计算卸载方法,其特征在于,步骤4的执行过程,具体为将所有智能体动作合并,并将合并动作输入环境,得到奖励和下一个环境状态。
4.如权利要求3所述的基于交替迭代优化的深度确定性梯度策略计算卸载方法,其特征在于,步骤5的执行过程,包括下列步骤:
步骤5.1:将元组输入智能体1的经验池;
步骤5.2:将元组输入智能体2的经验池;
步骤5.3:将元组输入智能体3的经验池。
5.如权利要求4所述的基于交替迭代优化的深度确定性梯度策略计算卸载方法,其特征在于,步骤6的每个更新智能体包含4个神经网络:Actor网络,参数为;Critic网络,参数为;目标Actor网络,参数为;目标Critic网络,参数为;
Actor网络用于探索环境状态并生成预测动作,进一步通过Critic网络评估动作的价值并输出,计算出智能体在状态下执行动作的累积期望奖励如下式所示:;
其中,表示状态转移概率得到下一个状态,表示在状态执行动作得到的动作值,表示在状态执行动作得到的奖励值;
则参数的目标网络值可表示为:
;
通过计算估计值与实际值的均方误差,Critic网络的损失函数表示为:;
目标网络采用软更新策略来更新参数,即每次更新时,目标网络的参数会逐渐向在线网络的参数靠近一定的程度,以减少更新造成的突变;具体来说,通过迭代方式更新目标Actor网络和目标Critic网络中的参数和:;
。