1.一种边缘计算环境下基于深度强化学习的车载任务卸载方法,其特征在于,包括如下步骤:(1)基于排队论对任务到达与任务卸载建立包括车辆终端、路边单元的车联网环境;
(2)若车辆终端不需要路边单元决策,则任务执行总时延为零;若车辆终端需要路边单元决策,则通过停止车辆计算模式和路边单元计算模式计算得到任务执行总时延;
(3)将使任务的总执行时延最小为优化目标,建立优化目标函数;
(4)基于MADDPG网络构建行为-评价网络,根据步骤(1)构建的车联网环境,利用评价网络评估智能体行为,优化行为策略,寻找优化目标,训练行为网络;
所述步骤(4)具体包括以下子步骤:(4.1)基于MADDPG网络构建一行为-评价网络;
(4.2)训练行为-评价网络,更新行为-评价网络模型参数θ其中,行为-评价网络模型参数θ
θ′
其中,γ为更新因子取值在0-1之间,θ所述步骤(4.2)具体包括以下子步骤:(4.2.1)初始化参数:
设置循环次数为M,初始化N个智能体,初始化环境状态动作对存储空间D容量,初始化动作最大步长max-action-length,初始化评价更新所需环境状态动作对最小对数minibatch,随机初始化网络参数当前值θ与网络参数目标值θ′,其中θ=θ′,获取智能体可采取的行为;
(4.2.2)从环境中读取N个智能体当前环境状态x;
(4.2.3)依据环境更新智能体动作状态:取每个智能体i,将智能体当前所能观察到的状态o(4.2.4)使用评价网络训练行为网络:对于每一个智能体i,随机从智能体环境状态动作对存储空间D中取得minibatch个记录样本集合S,其中S中每个元素为(x其中,
并通过对损失函数最小化,公式如下:其中S为样本集合大小,y
基于神经网络的反向传播算法获得新的评价网络参数θ(c)′,即Q函数参数,通过梯度下降方法更新行为网络,实现对智能体的评价,优化智能体行为策略,寻找优化目标,公式如下:式中,
获得新的行为网络参数θ(a)′,即μ函数参数;直至达到预设最大迭代次数,完成更新;
(4.2.5)组合步骤(4.2.4)更新得到的θ(c)′和θ(a)′,得到θ′,通过下式得到最终的θ′,对于每一个智能体,更新其行为-评价网络参数;
更新行为-评价网络模型参数θ
θ′
其中,γ为更新因子取值在0-1之间,θ(4.2.6)重复步骤(4.2.2)~步骤(4.2.5)M次,完成行为网络的训练;
(5)通过将训练好的每个智能体的行为网络运用于卸载问题,完成车载任务卸载。
2.根据权利要求1所述的边缘计算环境下基于深度强化学习的车载任务卸载方法,其特征在于,将所述路边单元计算模式中的车辆任务执行时延路边单元间传递时延以及车辆终端将任务卸载至路边单元的上传时延相加,得到任务执行总时延;所述路边单元计算模式中的任务执行总时延分为本地处理的总时延和邻居处理的总时延。
3.根据权利要求2所述的边缘计算环境下基于深度强化学习的车载任务卸载方法,其特征在于,所述本地处理的总时延具体为:在路边单元计算模式中,第m个路边单元的任务执行时延表示为:t
其中,maxMECμ为路边单元上单位时间内最大处理任务量;
车辆终端传递到本地路边单元的上传时延由上得为,其中,d
路边单元RSUm的任务执行时延表示为t路边单元计算模式中本地处理的总时延为t
4.根据权利要求2所述的边缘计算环境下基于深度强化学习的车载任务卸载方法,其特征在于,所述邻居处理的总时延具体为:车辆终端传递到本地路边单元的上传时延由上得为,R
所述本地路边单元传递到邻居路边单元的上传时延为,其中,d
路边单元计算模式中邻居处理的总时延为t其中,t
5.根据权利要求2所述的边缘计算环境下基于深度强化学习的车载任务卸载方法,其特征在于,将所述停止车辆计算模式中的车辆任务执行时延、车辆终端将任务卸载至路边单元的上传时延,以及路边单元将任务卸载至停止车辆的传输时延,得到任务执行总时延;具体为:车辆终端将任务卸载至路边单元的上传时延表示为其中,d
所述从车辆终端到路边单元的传输率的公式如下:其中,W是带宽,p
停止车辆计算模式的总时延t
6.根据权利要求2所述的边缘计算环境下基于深度强化学习的车载任务卸载方法,其特征在于,所述步骤(3)中的优化目标表示为:r(t)=-max(α
其中,α
7.一种电子设备,包括存储器和处理器,其中,所述存储器与所述处理器耦接;其中,所述存储器用于存储程序数据,所述处理器用于执行所述程序数据以实现上述权利要求1-6任一项所述的边缘计算环境下基于深度强化学习的车载任务卸载方法。