欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024115485297
申请人: 暨南大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种车辆计算卸载的深度学习方法,其特征在于,包括以下步骤:S1、车辆在采用卸载环境中,采用VE-Kmeans算法进行聚类,以形成动态数据库;

S2、构建强化学习代理,此强化学习代理包括Transformer特征提取模型和MADDPG网络模型;

S3、构建Transformer特征提取模型,并利用此Transformer特征提取模型从动态数据库提取状态特征进行处理;

S4、基于经验重放机制和随机采样历史决策,MADDPG网络模型中的Critic网络评估状态动作对的价值,并通过策略梯度更新MADDPG网络模型中的Actor网络的参数,以实现MADDPG网络模型的持续优化;Transformer特征提取模型对状态特征进行处理得到的结果作为优化后的MADDPG网络模型的输入,以得到卸载决策;

S5、将S4得到卸策决策根据持续优化的MADDPG网络模型即时更新并部署到车辆边缘计算系统,车辆边缘计算系统将对车辆边缘计算环境中的车辆动态任务数据进行卸载决策,并记录相关结果至RSU数据库。

2.根据权利要求1所述的车辆计算卸载的深度学习方法,其特征在于,步骤S1包括以下具体步骤:S11、选择RSU作为聚类中心,计算每辆车与聚类中心之间的I值:其中,dismax代表最大通信距离,w∈(1,2)为松弛变量,Θ为一个足够大的数,syn(x)为符号函数,I为Kmeans聚类中的欧氏距离的补数;

S12、基于I和松弛距离dismaxw对各车辆进行聚类:

当车辆STi驶向基站RSUk时,I>0,表示距离越远的车辆能被聚类;

当车辆STi驶离RSUk时,I<0,表示距离越近的车辆能被聚类;

当车辆STi驶向RSUk但超出其最大通信距离时,设定一个松弛距离dismaxw,此时车辆STi依然可以作为RSU的可聚类对象;

当车辆STi在松弛距离之外时,该车辆将被视为RSUk的不可聚类对象;

S13、收集被聚类的车辆的数据,以构成动态数据集。

3.根据权利要求1所述的车辆计算卸载的深度学习方法,其特征在于,步骤S3中构建的Transformerr特征提取模型包括依次连接的嵌入层、含有车辆特征提取自注意力层的Encoder模块和Linear Layer线性层,嵌入层,用于将输入的状态特征转换为嵌入向量;

车辆特征提取自注意力层,用于捕捉车辆特征中的长距离依赖性;

Encoder模块,从车辆状态和任务信息中提取出关键特征,增强序列数据的全局特征提取能力,并通过层归一化和残差连接,保持训练过程的稳定性和更强的泛化能力,以得到高维特征映射到目标维度;

Linear Layer线性层,将Encoder输出的高维特征映射到目标维度,用于计算具体的任务卸载决策。

4.根据权利要求3所述的车辆计算卸载的深度学习方法,其特征在于,步骤S3中采用构建的Transformer特征提取模型对输入状态特征的处理过程包括以下步骤:

3a、令Transformer特征提取模型中的关键向量为Query、Key和Value,Query在注意力机制中首先经过自注意力层的线性变换,进行卷积运算,得到:Query=wQEmb,Key=wkEmb,Value=wvEmb;其中,Emb为神经网络的嵌入层输出的嵌入向量,Query、Key和Value均为模型的关键向量;

S3b、将得到的卷积运算结果与Value相乘并除以其平方和,以进行归一化,得到注意力权重:其中,d为Query的维度,用于调整结果的尺度;T表示向量转置;

S3c、结合权重参数和偏差∈(0,1),计算得到注意力分数:S3d、最终将注意力分数与通过线性层处理后再归一化,得到车辆特征向量的输出结果:其中,LayerNorm表示归一化,MultiHead表示通过多个Attention组成多头自注意力机制,计算注意力分数,FeedForward表示前馈神经网络。

5.根据权利要求1所述的车辆计算卸载的深度学习方法,其特征在于,步骤S4中MADDPG的优化过程的优化包括以下步骤:S41、根据MADDPG网络模型的维度参数来初始化MADDPG网络模型;

S42、MADDPG网络模型遵循∈-greedy策略:

其中ρ符合随机分布,random代表生成随机卸载决策,∈∈(0,1),初始∈设为一个接近1的数,此后每次迭代∈服从指数衰减:∈e+1=∈eδ,0<δ<1,e>0,

当∈<ρ<1时,状态被输入到MADDP网络模型的Actor网络中,输出动作向量S43、车辆计算卸载Transformer特征提取模型和MADDPG网络模型对输入车辆观察状态向量进行训练学习,其中Transformer特征提取模型的损失函数由MADDPG网络模型的损失函数通过反向传播构成;

S44、MADDPG网络模型中的损失函数由两部分组成,分别是Actor网络的输出与真实卸载决策之间的损失值以及Critic网络对当前状态和动作的Q值与目标Q值的均方误差损失;

S45、执行动作并获得奖励后,系统将当前状态所采取的动作获得的奖励以及下一个状态作为transition存入经验回放池;经验回放池用于随机抽取历史transition,打破时间相关性,减少训练中的方差;

S46、MADDPG网络模型中的算法采用了目标网络来稳定训练过程:Target Actor和Target Critic网络的参数通过软更新的方式进行更新,即:(θ|target)=τθ+(1-τ)(θ|target)

其中(θ|target)为目标网络的参数,θ为当前网络的参数,τ为更新系数,通常取值在0到1之间。

6.根据权利要求5所述的车辆计算卸载的深度学习方法,其特征在于,步骤S41中初始化MADDPG网络模型时,设置初始参数,训练批次大小设置为16,训练次数设置为800,Actor和Critic学习率为0.000001,优化器采用Adam优化器,损失函数使用均方误差损失函数。

7.根据权利要求1所述的车辆计算卸载的深度学习方法,其特征在于,在Transformer特征提取模型构建前,先对动态数据库中的数据集进行预处理,以将数据集划分为训练集、验证集以及测试集,从而得到训练样本。