1.车联网边缘计算任务卸载与资源调度的优化方法,其特征在于,包括以下步骤:S1:构建基于双优先级与任务动态跳转的车联网任务卸载与资源调度优化模型,根据移动车辆任务卸载与调度的总成本,建立最小化卸载调度时延与总能耗的目标函数;
在步骤S1中,基于双优先级与任务动态跳转的车联网任务卸载与资源调度优化模型,车辆用户的本地卸载模型表示成:(2);
(3);
表示任务i在本地处理需要的时延,表示任务i在本地计算需要的能耗,表示任务i需要的计算资源,表示任务i对应的移动车辆的本地计算能力,表示任务i对应的移动车辆进行一个CPU周期计算的能耗,具体地,构建一个包含多个基站且每个基站内部署一个边缘服务器以及一个可移动天线的系统,存在N辆车辆用户,任务传输优先级表示成:
(4);
表示任务i的综合通信优先级,用于表示通信资源分配权重;分为表示速度/数据量/紧急度的权重系数,用于控制不同因素对任务通信优先级的影响程度;表示车辆i在时隙t的瞬时速度,表示当前道路允许的最大车速,表示车辆i在时隙t当前任务的原始数据量,表示当前时隙t下,同一边缘服务器服务范围内所有车辆任务的平均数据量,即,用于消除数据量绝对值的偏差;则是任务紧急度标识,用来保证紧急任务的绝对优先;
任务计算优先级表示成:
(5);
表示任务i的综合计算优先级,为任务i能容忍的最大时延,为任务i已经在边缘服务器进行计算的时间,为一个时间平滑项,为任务紧急度标识,α为紧急系数,确保紧急任务的绝对优先;
在步骤S1中,基于双优先级与任务动态跳转的车联网任务卸载与资源调度优化模型,任务抢占机制如下:(6);
其中C是候选任务集,表示当前任务可以抢占的任务集合,表示当前该边缘服务器上运行的任务集合,表示当前时隙主边缘服务器所能提供的最大计算资源,表示假定被抢占计算资源的任务j,表示当前任务i最少需要的计算资源,表示动态释放比例,用于确保释放的资源刚好满足新任务需求,计算得,如果C不为空集,则从候选集C中选择计算优先级最低的任务j,并判断当前任务i的优先级是否优于任务j,如果高于任务j,则对任务j的计算资源执行部分抢占,按比例释放其占用的算力,并将释放的算力分配给新任务;若C为空集,或者需要进行抢占的任务j的计算优先级高于任务i,则跳过抢占阶段,任务i直接进入迁移流程,具体地,任务迁移机制如下:
(7);
表示当前区域主服务器的临近边缘服务器集群,表示该集群中负载率最低的服务器,表示服务器的原始计算资源,表示服务器已经被使用的计算资源总和;
S2:将联合优化问题建模为一个马尔可夫决策过程;采用深度强化学习算法,通过智能体与环境的交互持续学习优化策略,直接输出每一调度时隙的最优联合策略,从而实现系统总成本的最小化;
S3:在每一调度时隙,边缘服务器依据求解得出的最优通信策略、任务卸载决策与计算资源分配方案,为车辆用户分配通信带宽与计算资源,并触发任务抢占与跨服务器跳转机制,计算当前时隙的系统总时延与总能耗,并输出优化后的系统性能指标。
2.根据权利要求1所述的车联网边缘计算任务卸载与资源调度的优化方法,其特征在于,在步骤S1中,建立最小化卸载调度时延与总能耗加权和的目标函数包括:建立目标函数包含两个部分,分别是时延成本以及能耗成本,优化问题目标函数如下所示:(1);
;
其中,表示在边缘服务器m上车辆任务i在时隙t卸载与调度所产生的时延之和,表示在边缘服务器m上车辆任务i在时隙t卸载与调度所产生的能耗之和;表示时延与能耗的加权和;M表示边缘服务器总集合,m表示集合M中某一个具体的边缘服务器,表示边缘服务器m下所有的车辆任务,i表示中第i辆车所产生的任务,表示该任务i可以容忍的最大处理时延,表示边缘服务器m分配给车辆任务i的计算资源的百分比,N表示边缘服务器m范围内的车辆集合总数, 表示任务i在时隙t的卸载决策,表示任务是由车辆本地进行处理,表示任务卸载到就近的MEC服务器;分别表示速度/数据量/紧急度的权重系数,用于控制不同因素对优先级的影响程度,表示该边缘服务器的一个邻近服务域,用来判断任务跳转的可行性,定义其邻近服务器集合为,其中为两个边缘服务器间的距离,为主边缘服务器最大单跳距离,值为2倍的RSU覆盖半径,即,因为本模型只考虑单个主服务器,故省略的下标。
3.根据权利要求1所述的车联网边缘计算任务卸载与资源调度的优化方法,其特征在于,在步骤S1中,基于双优先级与任务动态跳转的车联网任务卸载与资源调度优化模型,同一时隙中通信资源分配策略表示成:(8);
(9);
表示为当前主边缘服务器分配给车辆任务i的频谱资源比例,N表示当前主边缘服务器范围内所有的任务集合,此处忽略不同边缘服务器和不同信道之间互相干扰产生的影响,仅优化单个服务器覆盖范围内的资源分配;表示任务i的通信优先级权重,表示该边缘服务器范围内所有任务的通信优先级权重之和;表示车辆i将任务卸载到主服务器的实际上行速率,W表示边缘服务器总可用频谱的信道带宽,表示车辆i上传任务到RSU时的发射功率,表示噪声功率谱密度,表示车辆i与边缘服务器之间无线传播的信道增益。
4.根据权利要求1所述的车联网边缘计算任务卸载与资源调度的优化方法,其特征在于,在步骤S1中,基于双优先级与任务动态跳转的车联网任务卸载与资源调度优化模型,车辆任务卸载与调度所消耗的时延和能量分别表示成:(10);
(11);
(12);
(13);
表示任务i的传输时延,表示任务i上传至边缘服务器的上行速率,表示任务i的数据量大小;表示任务的i传输能耗,表示车辆i上传任务时的上传功率;表示边缘服务器m处理任务i的计算时延,表示任务i所需要的计算资源,表示边缘服务器m的总计算资源,表示边缘服务器m分配给任务i的计算资源比率;表示边缘服务器m处理任务i的计算能耗,表示边缘服务器m的计算功率。
5.根据权利要求1所述的车联网边缘计算任务卸载与资源调度的优化方法,其特征在于,在步骤S1中,基于双优先级与任务动态跳转的车联网任务卸载与资源调度优化模型,在任务发生跳转情况下,所消耗的时延和能量表示成:(14);
(15);
表示任务i发生迁移的跳转时延,为边缘服务器间独占的信道带宽,表示任务i的数据量大小,表示边缘服务器的信号传输功率,表示两服务器间的信道增益,表示噪声功率谱密度;表示任务i发生迁移的跳转能耗,表示边缘服务器进行任务迁移时的信号发射功率。
6.根据权利要求1所述的车联网边缘计算任务卸载与资源调度的优化方法,其特征在于,在步骤S1中,基于双优先级与任务动态跳转的车联网任务卸载与资源调度优化模型,在非本地计算的情况下,所消耗的时延和能量表示成:(16);
(17);
表示任务i的总边缘计算延迟,表示任务i的传输时延,表示边缘服务器k处理任务i的计算时延之和,k为该任务最终所在的边缘服务器,是时间片,描述了任务在执行过程中被多次中断、多次分配不同计算资源的动态情况,表示任务i发生迁移的跳转时延;表示任务i的总边缘计算能耗,表示任务i的传输能耗,表示边缘服务器k处理任务i的计算能耗之和,表示任务i发生迁移的跳转能耗,m表示当前模型选择的主边缘服务器。
7.根据权利要求1所述的车联网边缘计算任务卸载与资源调度的优化方法,其特征在于,在步骤S1中,基于双优先级与任务动态跳转的车联网任务卸载与资源调度优化模型,本模型进行任务卸载与资源调度所消耗的时延和能量综合表示成:(18);
(19);
表示任务i的综合处理时延,表示任务i的本地处理时延,表示任务i的边缘卸载处理时延;表示任务i的综合处理能耗,表示任务i的本地处理能耗,表示任务i的边缘卸载处理能耗;表示任务i的卸载决策。
8.根据权利要求1所述的车联网边缘计算任务卸载与资源调度的优化方法,其特征在于,在步骤S2中,采用强化学习中的Deep Q-learning算法进行求解,具体为:使用强化学习中的Deep Q-learning算法求解每一调度时隙的最优联合策略,具体过程如下:S21、目标联合优化问题表示为:
(1);
;
其中,表示在边缘服务器m上车辆任务i在时隙t卸载与调度所产生的时延之和,表示在边缘服务器m上车辆任务i在时隙t卸载与调度所产生的能耗之和;表示时延与能耗的加权和;M表示边缘服务器总集合,m表示集合M中某一个具体的边缘服务器,表示边缘服务器m下所有的车辆任务,i表示中第i辆车所产生的任务,表示该任务i可以容忍的最大处理时延,表示边缘服务器m分配给车辆任务i的计算资源的百分比,N表示边缘服务器m范围内的车辆集合总数, 表示任务i在时隙t的卸载决策,表示任务是由车辆本地进行处理,表示任务卸载到就近的MEC服务器;分别表示速度/数据量/紧急度的权重系数,用于控制不同因素对优先级的影响程度,表示该边缘服务器的一个邻近服务域,用来判断任务跳转的可行性,定义其邻近服务器集合为,其中为两个边缘服务器间的距离,为主边缘服务器最大单跳距离,值为2倍的RSU覆盖半径,即,因为本模型只考虑单个主服务器,故省略的下标;S22、采用强化学习中的Deep Q-learning算法对问题进行求解,具体步骤如下:S221、构建马尔可夫决策过程表示为:
(20);
其中表示状态空间,表示动作空间,表示即时决策奖励,表示状态转移概率,其中表示为:(21);
其中表示邻近边缘服务器集合,表示车辆任务信息集合,表示车辆动态信息集合,包含车辆的速度向量和位置向量,表示为:
(22);
其中分别表示速度/数据量/紧急度的权重系数,用于控制不同因素对优先级的影响程度,表示任务i在时隙t的卸载决策,表示边缘服务器m分配给车辆任务i的计算资源的百分比;
S222、构建目标网络:
在深度Q学习算法中,引入目标网络的主要目的是提升Q值训练的稳定性,并缓解因过高估计Q值所引发的问题,该网络依据贝尔曼方程对目标Q值进行更新,其数学表达式如下:(23);
其中表示目标Q值,表示智能体在第 i步所获得的奖励,表示折扣系数,表示在第 i+1步选取的动作,为目标网络输出的Q值,代表第 i+1步的状态,则为目标网络中的参数集合,S223、构建经验回放池:
经验回放机制用于存储智能体与环境交互过程中产生的历史状态转移数据,并在模型训练阶段以随机抽样的方式从中提取批次样本,该机制将每一步交互记录表示为如下多元组形式:(24);
其中代表经验回放缓存区,表示第i步时的状态,是第i步时智能体选择的动作,表示在执行动作后获得的即时奖励,表示后继状态,为终止标识符,用于标识该状态是否为终止状态,在深度强化学习算法的训练过程中,损失函数的设计通过结合均方误差准则与贝尔曼最优性原理,构造如下形式的损失函数:(25);
其中,表示以为参数的训练损失,为数学期望算子,为从经验缓存中采样的转移样本,代表通过目标网络计算得到的目标Q值,表示当前Q网络对状态与动作的估值输出;
S224、构建-贪婪策略:
在深度Q学习算法的动作选择机制中,采用-贪婪策略以实现探索与利用之间的有效平衡,该策略以概率随机选取动作,从而增强对环境潜在行为的探索;同时以概率1-选择当前状态下具有最大Q值的动作,实现对已有知识的最优利用,其决策过程可表述为如下形式:(26);
(27);
其中表示第i步选择的动作,代表动作空间A上的均匀分布,表示探索概率超参数,表示当前Q网络对状态与动作的估值输出,表示能产生最大Q值的动作,为挑选此动作的函数,在强化学习的探索-利用平衡策略中,采用线性衰减机制对探索率参数进行动态调整,以实现训练初期充分探索和后期稳定利用的目标,该机制可表述为如下数学形式:(28);
其中表示第i次训练迭代时的探索率取值,表示最大的值,表示最小的值,为当前训练步数序号,表示预设的总训练步数。