1.一种基于深度强化学习的基站休眠和功率分配方法,其特征在于,包括:步骤S1,建立由多个重叠覆盖的基站组成、且使用正交频分复用技术的超密集网络场景,在超密集网络场景中建立超密集网络多基站部署的系统模型;
步骤S2,根据建立的系统模型,以频谱效率和能量效率为优化目标,建立能耗优化模型;
步骤S3,将能耗优化模型的求解问题拆分为两个子问题,分别为基站休眠决策问题和功率分配决策问题,并确定基站休眠决策问题的优化目标和约束条件,以及功率分配决策问题的优化目标和约束条件;
步骤S4,基于基站休眠决策问题的优化目标和约束条件,使用第一深度强化学习网络,并设置第一状态空间、第一动作空间与第一奖励函数,对基站休眠决策问题进行求解,得到基站休眠决策;基于功率分配决策问题的优化目标和约束条件,使用第二深度强化学习网络,并设置第二状态空间、第二动作空间与第二奖励函数,对功率分配决策问题进行求解,得到功率分配决策;
步骤S1中,在所述系统模型中,存在步骤S2中,频谱效率
其中,
步骤S2中,能量效率
其中,
步骤S3中:
基站休眠决策问题的优化目标为最大化能量效率基站休眠决策问题的约束条件为:其中,
功率分配决策问题的优化目标为最大化能量效率功率分配决策问题的约束条件为:其中,
步骤S4中:
第一状态空间中存在第一状态集合第一动作空间中存在第一动作集合第一奖励函数的长期奖励值其中,
第二状态空间中存在第二状态集合第二动作空间中存在第二动作集合第二奖励函数的长期奖励值其中,