1.一种基于深度Q网络的车载边缘网络任务分发卸载方法,其特征在于,包括以下步骤:(1)终端车辆将自身携带的计算任务信息上传至RSU,RSU根据层次分析法对不同车辆终端的计算任务进行优先级划分,得出计算任务相应的权重;
(2)为计算任务处理速率赋予不同的权重建立关系模型,并以计算任务处理速率加权和为优化目标建立任务卸载模型;
(3)构建深度Q网络中的目标值网络、在线值网络以及状态-值函数,针对当前应用环境确定深度强化学习三要素:状态、动作、奖励;
(4)以车辆终端无线信道增益为Q网络输入,通过Q网络遍历当前状态下的各种动作与环境进行实时交互以最大化任务处理速率,最后得出最优卸载策略。
2.根据权利要求1所述的一种基于深度Q网络的车载边缘网络任务分发卸载方法,其特征在于,所述步骤(1)包括以下步骤:(11)将计算任务同一层次的因素进行两两比较,构造评价因素判断矩阵A=(aij)3×3及目标层相对于准则层的判断矩阵B1,B2...B3=(aij)K×K,其中(12)根据方根法求得判断矩阵Bk对应的权重向量元素:
其中,k表示在决策过程中车辆终端k携带的计算任务,i表示我们所考虑的第i个评价因素,得到所有车辆终端计算任务的权重矢量矩阵:(13)根据方根法求得评价因素判断矩阵A的权重向量Δ=[Δ1,Δ2,Δ3]:(14)通过一致性检验,最得到所有计算任务的权重向量W,其中的每一个元素可以分别代表对应终端计算任务的权重,可由下式求出:。
3.根据权利要求1所述的一种基于深度Q网络的车载边缘网络任务分发卸载方法,其特征在于,步骤(2)所述的优化目标为:其中,wk为k终端携带任务的优先级别,数值越大则表示该计算任务需要分配更多的计算资源,xk表示为卸载决策向量,xk为0表示本地计算模式,为1表示卸载计算模式,pk为终端发射功率,kk为能量效率系数,fk为本地处理器频率,tk表示任务上传时间或本地执行时间,RL为计算任务的处理速率,Econstraint为终端用于处理计算任务的能量为额定值,R0为计算任务上传速率,约束2表示计算任务执行能耗不能超过额定值。
4.根据权利要求1所述的一种基于深度Q网络的车载边缘网络任务分发卸载方法,其特征在于,步骤(3)所述的目标值网络与在线值网络算法均采用三层DNN架构,网络激活函数为relu函数,网络输出函数为sigmoid函数,对应卸载动作的概率值,设置奖励值函数,卸载动作向量表征为Xt=[x1,x2,...,xK],并将当前动作下的计算任务执行时延为当前状态函数。
5.根据权利要求1所述的一种基于深度Q网络的车载边缘网络任务分发卸载方法,其特征在于,所述步骤(4)包括以下步骤:(41)卸载决策动作的产生:当边缘服务器收到终端当前的信道增益信息后,深度学习网络根据当前观测到的状态st得到一个的卸载动作向量Xt=[x1,x2,...,xK],根据步骤(2)产生一个奖励值rt,将DNN网络输出作为动作状态函数Q(st,xt,θt);
(42)卸载决策动作的更新:根据下式来实现动作状态函数的更新:
其中,αk与γ分别是学习速率与折扣因子,s'与x'分别是第k次迭代过程中执行动作xt后的状态观测值以及在状态s'下奖励值最大的动作;对于第K次迭代过程而言,最小化如下式所示的目标函数后可以更新网络参数θ,从而实现卸载决策动作的更新:(43)得到t时刻最佳卸载动作后,将该状态-动作对 放入经验池作为新的训练样本;当经验池容量足够后,新生成的状态-动作对会代替旧的数据样本;深度学习网络反复学习最佳状态对 并随着时间的推移生成更好的卸载决策输出。