1.一种基于联邦学习的车联网任务卸载方法,其特征在于,包括下列步骤:(1)、建立车联网与边缘服务器之间的通信及计算模型;
分析车联网信息传送信道模型,将卸载过程产生的时延分成传输时延和计算时延,建立车联网与服务器通信模型,构造卸载总时延,建立优化目标和约束条件;
具体方法如下:
卸载过程产生的时延包括传输时延和计算时延,其中传输时延又分为任务数据上传的时间和结果回传的时间,忽略边缘服务器将计算结果发送到车辆端的时延,定义车辆,边缘服务器传输的信道增益表示为:;
其中——信道增益参考值;
——边缘服务器和车辆间的距离;
根据香农公式,数据上行传输速率,表示为:;
其中:
——信道带宽;
——数据传输时的高斯白噪声;
——信道增益;
——车辆与边缘服务器之间的干扰功率;
——车辆到边缘服务器的传输功率;
——车辆与边缘服务器之间是否存在遮挡的标志;
使用表示第时隙内车辆卸载到边缘服务器上的任务量占比,任务的传输时延表示为:;
其中:—— 时刻任务量;
——信道上行传输速率;
车辆的计算任务由车辆本身处理或者卸载到边缘服务器来进行计算,当计算任务由车辆本身计算时,此时卸载决策,表示第时隙内车辆卸载到边缘服务器上的任务量比例,表示单位任务需要的资源量,表示车辆的计算能力,则表示车辆在本地进行计算时的任务量比例,本地计算时延表示为:;
当任务需要卸载给边缘服务器计算时,卸载时延取决于卸载决策,假设当个任务卸载到同一服务器时,每个服务器的计算资源平均分配给各个任务,边缘服务器的计算能力表示为,则计算时延表示为:;
当任务卸载给边缘服务器计算时,总延时为任务的传输时延和计算时延的总和,总时延为:;
优化目标是最小化所有车辆所有任务的总时延,表示车辆到边缘服务器的卸载决策,其为一个二进制变量,表示本地计算车辆数,,以下为优化目标和约束条件:;
;
;
;
;
(2)、引入深度学习;
使用Double Deep Q Network算法DDQN能够动态地适应车联网环境,且具有复杂度低、收敛速度快的优势,以进行任务卸载决策;
(3)、引入联邦学习的车联网任务卸载算法;
选择客户端-服务器架构,在联邦学习中包括两种参与方:参与者车辆与服务器,根据联邦学习算法,所有参与者将配备自身数据集,参与者会依托私人数据集训练本地深度学习模型,并将本地模型参数发送至中心服务器,在收到参与者的信息后,中心服务器汇总所有模型参数,全局聚合模型参数并生成全局模型参数,再将全局模型参数下发至各个参与者,重复上述过程,直至模型达到收敛,完成卸载过程;
具体方法如下:
引入联邦学习设计一个保护用户数据隐私安全的任务卸载决策算法,假定联邦学习有𝑁个客户端参与,联邦学习问题概述为:;
,;
其中表示第个客户端的权重,假设第个客户端拥有条训练数据:,本地目标函数的定义如下:;
其中 是损失函数,它根据模型参数和对应训练数据得出;
联邦平均算法将经过聚合的新的全局模型同时分发给所有客户端,客户端在接收到之后立刻进行本地训练获得局部模型,那么对于在第轮的联邦学习训练过程中,客户端将会进行下面的操作:;
是联邦学习学习率,是第轮从客户端训练数据中抽取到的一条数据,将这些数据收集起来得到新模型:;
联邦学习算法解决任务卸载问题的具体步骤如下:步骤一:输入客户端、即车辆的初始状态参数;
步骤二:初始化算法两个神经网络参数和;
步骤三:初始化算法经验池B;
步骤四:训练轮次k=1,2,…,K;
步骤五:观测状态值;
步骤六:将状态值输入至网络,基于输出动作的值选择;
步骤七:执行动作,得到奖励和下一时刻状态和;
步骤八:将参数(, )放入经验池B;
步骤九:采集足够数量的样本,从经验池中随机抽取一定数量小批量样本训练各个网络 ;
步骤十:设置;
步骤十一:误差反向传播更新与;
步骤十二:目标网络满足更新;
步骤十三:将Q网络与目标网络训练参数上传至中心服务器进行联邦聚合;
步骤十四:中心服务器接受训练参数,使用联邦平均算法进行模型聚合;步骤十五:中心服务器聚合后下发模型参数;
重复以上过程,直至模型收敛,即完成模型的训练。
2.根据权利要求1所述的一种基于联邦学习的车联网任务卸载方法,其特征在于,所述步骤(2)中具体方法如下:采用算法解决任务卸载决策问题,其中,和表示时刻和下一时刻时的状态,表示时刻采取的动作,表示时刻采取动作后获得的奖励,表示时刻采取动作后网络输出的值,当输入状态后,网络会根据状态输出对应值,依据策略选取最大值对应的动作,处理后得到下一时刻的状态和奖励,基于上述流程按时间顺序生成经验样本,并将每个经验存放在经验池中;
算法包含网络和两个神经网络,算法从网络中找到最大值动作,然后从网络找到对应的输出值,动作选择参数为,当前状态参数为,在时选取网络输出值最大的动作,并获得奖励,在时选取的网络输出值最大的动作:;
基于的算法以作为网络的预测值,作为网络的实际值,最后进行误差反向传播,其中为损失因子,得到目标函数:。
3.根据权利要求1所述的一种基于联邦学习的车联网任务卸载方法,其特征在于:所述算法分为服务器和客户端两部分,在服务器和每一个本地客户端、即车辆上都具有相同网络结构模型,通过服务器和客户端之间的多轮次通信,共同训练模型;
服务器端:首先初始化参数,对于训练过程中,随机选择一定数量客户端,等待所有的客户端更新结束后,将本地模型参数传到服务器,服务器会整合之前随机选取的客户端的本地模型参数,得到最新的全局参数,最后服务器将最新的全局参数分发给所有客户端,进行下一轮的更新。
4.根据权利要求3所述的一种基于联邦学习的车联网任务卸载方法,其特征在于,所述客户端:首先本地客户端根据本地数据进行固定次数的更新,根据联邦梯度下降更新,得到新的本地模型参数,然后更新完的本地模型参数传送到中央服务器,服务器整合计算得到的参数,得到最新的全局模型参数,最后,客户端收到服务器发送的最新全局模型参数,进行下一轮更新。
5.根据权利要求3所述的一种基于联邦学习的车联网任务卸载方法,其特征在于,所述服务器端,聚合参数的算法为联邦平均算法,即中心服务器初始化模型参数,执行若干轮,假设共有个客户端,每轮选取的客户端同时根据服务器下发的第轮的模型参数在本地训练模型,得到本地模型参数并上传回服务器,服务器将各个客户端的模型参数根据各方样本数量用加权平均的方式进行聚合,得到下一轮的模型,联邦学习的具体过程如下:
1) 车辆选择:边缘服务器首先根据的车辆选择算法选择参与训练的车辆下载当前全局模型;
2) 下载本地模型:随机选择参与训练的车辆,边缘服务器将其初始模型下发到目标车辆;
3) 本地模型训练:车辆进行分布式学习,参与车辆根据自身的本地数据集训练模型,采用联邦学习计算对全局模型的更新;
4) 上传全局模型:车辆将其量化后的本地梯度发送到边缘服务器;
5) 全局聚合:边缘服务器在接收到车辆的本地梯度后,聚合局部梯度并更新全局模型。