欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020103583784
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2024-04-26
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多智能体架构强化学习的资源分配及卸载决策方法,其特征在于:在设备到设备通信D2D辅助的云雾混合架构下,考虑激励约束、能量约束和网络资源约束,联合优化无线资源分配、计算资源分配以及卸载决策,最大化系统总用户QoE;然后,基于行动者-评判家算法提出一种集中式训练、分布式执行机制;

在集中式训练过程中,多智能体通过协作获取全局信息,实现资源分配及任务卸载决策策略优化,在训练过程结束后,各智能体独立地根据当前系统状态及策略进行资源分配及任务卸载;

所述D2D辅助的云雾混合架构包含三层:

用户层,由多个支持D2D技术的IoT设备组成,IoT设备通过无线接入链路发送服务请求给相应的雾节点,并根据雾节点的决策采取相应的行为;

雾节点层,由多个部署在小区边缘的雾节点组成;

云层,作为集中式架构为用户提供丰富的资源及强大的计算能力。

2.根据权利要求1所述的一种基于多智能体架构强化学习的资源分配及卸载决策方法,其特征在于:所述激励约束为只有当用户贡献更多资源给其他用户时,用户才能享受更多其他用户贡献的资源;

所述能量约束为避免用户过度牺牲自己来帮助他人;

所述网络资源为通信资源和计算资源。

3.根据权利要求1所述的一种基于多智能体架构强化学习的资源分配及卸载决策方法,其特征在于:所述系统总用户QoE为通过计算卸载节省的长期平均通信成本。

4.根据权利要求1所述的一种基于多智能体架构强化学习的资源分配及卸载决策方法,其特征在于:所述全局信息为信道状态、用户设备上产生的任务特征和权重信息。

5.根据权利要求1所述的一种基于多智能体架构强化学习的资源分配及卸载决策方法,其特征在于:所述资源分配为功率分配、信道分配以及雾节点计算频率。

6.根据权利要求3所述的一种基于多智能体架构强化学习的资源分配及卸载决策方法,其特征在于:所述通信成本表示执行一个任务需要的能耗和时延的加权和。

7.根据权利要求4所述的一种基于多智能体架构强化学习的资源分配及卸载决策方法,其特征在于:所述信道状态为智能体服务的IoT设备到连接到雾节点的其他IoT设备的信道状态以及IoT设备到雾节点的信道状态。

8.根据权利要求6所述的一种基于多智能体架构强化学习的资源分配及卸载决策方法,其特征在于:所述能耗为传输能耗与计算能耗,所述时延为传输时延与计算时延。

9.根据权利要求1所述的一种基于多智能体架构强化学习的资源分配及卸载决策方法,其特征在于:根据所述全局信息进行资源分配和卸载任务,在每个离散的时隙上,最大化系统总用户QoE,具体步骤如下:初始化各参数以及系统状态;

在每个调度时隙开始时,收集当前时隙的状态,即全局信息;

根据下式选取近似最优的资源分配动作和卸载决策:

其中A为:行动空间,即功率分配、信道分配、卸载决策、卸载率以及雾节点计算频率;

其中γ为:折扣因子,所述Qπ(st+1,at+1)为:下一时隙的行为值函数;

其中rt为:时隙t时的即时回报函数,表示为:

其中 为用户Kn,m的QoE;

给定资源分配和卸载决策,判断当前所述的资源分配和任务卸载策略是否满足所述的激励约束、能量约束以及通信资源和计算资源约束;

如果不满足,则重复上述选择最优行为的步骤;如果当前资源分配和任务卸载策略满足约束条件,则将资源分配和任务卸载策略通知给每个智能体;

经过数次迭代,判断是否满足收敛条件;

如果不满足收敛条件,则观察下一时隙状态st+1,重复上述步骤;

按照资源分配和任务卸载策略,分配给每个用户无线资源和信道,以及将任务卸载到D2D设备、卸载到雾节点或者云端;

等待下一个调度时隙。