欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024110178273
申请人: 华东交通大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度强化学习的车联网移动边缘计算服务部署方法,其特征在于,包括:步骤S1,构建车联网移动边缘计算系统,获取车联网移动边缘计算系统中各个基站的位置信息,并在各个基站的周围使用泊松点过程分布模拟车辆用户的位置分布以及任务请求类型,以最大化总收入为优化目标,建立系统的营收模型,并根据优化目标确定约束条件;

步骤S2,在车联网移动边缘计算系统中,采用改进的KMeans方法进行基站和车辆用户的分簇,在每个簇的簇心上部署一个边缘服务器,边缘服务器为相应簇内的车辆用户提供计算服务,并搜集相应簇内的车辆用户发送的任务队列;

步骤S3,基于优化目标和约束条件,使用深度强化学习网络算法对优化目标进行求解,完成每个边缘服务器上的服务部署,决策出每个边缘服务器上部署的服务数量,并计算出系统最终的总收入;

所述营收模型满足以下条件式:

其中,

约束条件为:

其中,

深度强化学习网络算法中存在当前状态

其中,

在经验回放中,使用的Q-learning的更新公式为:其中,

深度强化学习网络算法的损失函数

其中,

2.根据权利要求1所述的基于深度强化学习的车联网移动边缘计算服务部署方法,其特征在于,步骤S2中,采用改进的KMeans方法进行基站和车辆用户的分簇,在每个簇的簇心上部署一个边缘服务器,具体包括:步骤S21,根据基站的位置信息,确定边缘服务器的侯选位置,边缘服务器的总数步骤S22,从边缘服务器的侯选位置中选择

步骤S23,判断每个分簇的簇内的负载是否超过了负载阈值,对于超出负载阈值的目标簇,将目标簇内距离簇心最远的基站划分到其他簇内,最后,更新簇心,并返回步骤S22进行迭代,直至达到设定的迭代次数,结束分簇,此时的簇心即为改进的KMeans方法决策出的边缘服务器的初始部署位置。

3.根据权利要求2所述的基于深度强化学习的车联网移动边缘计算服务部署方法,其特征在于,步骤S21中,负载阈值其中,

4.根据权利要求3所述的基于深度强化学习的车联网移动边缘计算服务部署方法,其特征在于,深度强化学习网络算法的训练过程为:初始化:初始化深度强化学习网络的参数,设定贪婪策略的初始值;状态收集:将每个边缘服务器作为智能体,智能体从环境中收集当前状态信息,当前状态信息包括任务队列、服务器资源情况、车辆用户的服务请求,环境由与边缘服务器建立联系的基站和车辆用户组成;

动作选择:根据深度强化学习网络输出的Q值,选择当前状态下的最优动作,即部署的各类服务的数量,使用贪婪策略来平衡探索和利用;

执行动作:根据选择的动作在边缘服务器上部署相应数量的服务,并观察执行后的环境变化和获得的奖励;

经验存储:将当前状态、动作、奖励和下一状态存储到经验回放池中;

经验回放:从经验回放池中随机抽取样本进行训练,使用Q-learning的更新公式来更新深度强化学习网络的参数;

参数更新:周期性地将策略网络的参数更新到目标网络中,完成深度强化学习网络算法的训练。