1.一种基于近端策略优化的多类型终端随机接入竞争解决方法,其特征在于,具体包括如下步骤:S1:初始化各类型终端状态与数据队列状态、小区基站状态、竞争资源数量与竞争队列状态;并对各类型终端进行优先级划分,得到不同优先级的终端;获取当前环境状态;
S2:在基站侧建立智能体模型,基于分布式队列机制,结合当前环境状态利用近端策略优化PPO算法的策略网络对智能体模型进行训练,获取最优选择动作、以及即时奖励,并构成经验数据存储至经验池中;
S3:构建目标函数,并基于经验池中所存储的经验数据对目标函数进行深度学习;利用预设阈值对参数进行训练更新,以对预留的独占资源数量进行调整,完成多类型终端随机接入的分配优化;
所述S3中,构建目标函数,并基于经验池中所存储的经验数据对目标函数进行深度学习;利用预设阈值对参数进行训练更新,以对预留的独占资源数量进行调整,完成多类型终端随机接入的分配优化的过程具体包括如下步骤:S31:判定经验池中所存储的经验数据是否达到预设阈值;
S311:当经验池中所存储的经验数据达到预设阈值时,构建目标函数,对近端策略优化PPO算法进行训练,更新网络参数,并清空经验池;
S312:当经验池中所存储的经验数据未达到预设阈值时,进入下一步;
S32:判定迭代次数是否达到预设最大迭代次数;
S321:当迭代次数达到预设最大迭代次数时,进入下一步;
S322:当迭代次数未达到预设最大迭代次数时,基于当前环境状态,重新对智能体模型进行训练;
S33:判定当前迭代周期结束后系统整体指标,即平均时延、平均前导码传递次数、平均能耗是否能达到预设要求;
S331:当系统整体指标中任一指标未达到预设要求时,基于当前环境状态,重新对智能体模型进行训练;
S332:当系统整体指标均达到预设要求时,输出最优解方案,完成多类型终端随机接入的分配优化。
2.根据权利要求1所述的一种基于近端策略优化的多类型终端随机接入竞争解决方法,其特征在于,所述S1中,对各类型终端进行优先级划分,得到不同优先级的终端,并获取当前环境状态的过程具体包括如下步骤:S11:基于数据终端对时延和可靠性的敏感程度,对接入终端划分优先级,将低时延高可靠需求的终端划分为高优先级终端,将常规机器类通信终端划分为低优先级终端;
S12:对环境参数进行环境初始化;
其中,需要进行环境初始化的参数包括:发起接入的终端数量terminal_nums、竞争队列的状态、前导码总数slot_nums、为高优先级预留的独占资源数量;
S13:获取当前环境状态,即获取当前低时延高可靠需求的终端数量URLLC_nums、机器类通信终端数量mMTC_nums、竞争队列的长度CDQ_length。
3.根据权利要求2所述的一种基于近端策略优化的多类型终端随机接入竞争解决方法,其特征在于,所述S11中,高优先级终端包括控制类设备数据采集终端、故障预警与检测设备;
低优先级终端包括运行指标数据采集终端、环境监控数据采集终端。
4.根据权利要求2所述的一种基于近端策略优化的多类型终端随机接入竞争解决方法,其特征在于,所述S2中,获取最优选择动作、以及即时奖励,并构成经验数据存储至经验池中的过程具体包括如下步骤:S21:设定初始化高优先级终端独占的前导码数量为 ;S22:基于分布式队列机制,结合当前环境状态利用近端策略优化PPO算法的策略网络对智能体模型进行训练,获取最优选择动作;
S23:将所获取的最优选择动作输入至环境状态中,基于基站广播的随机接入信息执行分布式队列随机接入过程;
S24:更新环境状态,并基于终端接入结果计算即时奖励;
S25:将当前环境状态、最优选择动作、选择动作的概率、即时奖励作为一组经验数据存储至经验池中。
5.根据权利要求4所述的一种基于近端策略优化的多类型终端随机接入竞争解决方法,其特征在于,所述S22中,获取最优选择动作的过程具体包括如下步骤:S221:基于分布式队列机制,将当前环境状态 输入至近端策略优化PPO算法的策略网络中;
S222:在输出层中输出动作空间 中概率最大的动作作为最优选择动作;
S2221:输出层中输出每个动作,并利用softmax函数得到每个动作的分数向量;
S2222:从每个动作的形成的概率分布中采样任一动作值 ,以表征独占接入资源比例,并设定选择该动作的概率为 ;
其中,选择动作的概率 的计算表达式为:
;
式中, 为在状态 下动作 的选择概率;为动作空间的大小; 为选择动作分量的值; 为动作空间中第 个动作分量的值;
S2223:选择动作空间 中概率最高的动作作为最优选择动作;
其中,动作空间 的范围为: 。
6.根据权利要求5所述的一种基于近端策略优化的多类型终端随机接入竞争解决方法,其特征在于,所述S23中,将所选取的动作输入环境中,基于基站广播的随机接入信息执行分布式队列随机接入过程的过程具体包括如下步骤:S231:检测参与当前回合随机接入终端的数据包重传次数是否达到容忍的重传次数;
S2311:当检测到数据包重传次数达到容忍的重传次数时,接入失败,进行丢包处理;
S2312:当检测到数据包重传次数未达到容忍的重传次数时,依照接入终端的优先级规则发起接入过程,即高优先级终端任选一个前导码发起接入请求,低优先级终端向与高优先级终端共享部分前导码发起接入请求;分别计算高优先级终端、低优先级终端成功接入的概率;
其中,高优先级终端接入成功率 的计算表达式为:;
式中,为规定的高优先级终端独占的前导码的数量;为本回合中发起接入请求的终端数量,且 ;
其中,低优先级终端接入成功率 的计算表达式为:;
式中,为前导码的可用数量;
S232:将所选择的前导码通过物理层随机接入信道传递至基站,基站对其解码、并告知发生接入冲突的终端的序号;发生接入冲突的终端构成冲突终端组,并依据前导码的序号依序排入至CRQ中,等待下一次可随机接入的机会。
7.根据权利要求6所述的一种基于近端策略优化的多类型终端随机接入竞争解决方法,其特征在于,所述S24中,更新环境状态,并基于终端接入结果计算即时奖励的过程具体包括如下步骤:S241:结合冲突终端组,统计当前位于竞争队列队首的高优先级终端的数量、位于竞争队列队首的低优先级终端的数量、以及竞争队列的长度,进入新的环境状态 ;
S242:分别基于高优先级终端接入成功率、低优先级终端接入成功率、竞争队列的长度变化、以及丢包情况计算即时奖励;
即时奖励 的计算表达式为:
;
其中, 为高优先级终端接入成功率的奖励,其计算表达式为:;
式中, 为参与接入过程的低时延高可靠需求的终端的接入成功率, 为系统可容忍的低时延高可靠需求的终端的最低接入成功率;
其中, 为低优先级终端接入成功率的奖励,其计算表达式为:;
式中, 为参与接入过程的机器类通信终端的接入成功率, 为系统可容忍的机器类通信终端的最低接入成功率;
其中, 为竞争队列长度变化的奖励,其计算表达式为:;
式中,为本回合随机接入过程后竞争队列的长度; 为历史竞争队列的长度;
其中, 为本回合随机接入过程中丢包处理的惩罚,其计算表达式为:;
式中,为丢包的个数。
8.根据权利要求7所述的一种基于近端策略优化的多类型终端随机接入竞争解决方法,其特征在于,所述S311中,对近端策略优化PPO算法进行训练,更新网络参数的过程具体包括如下步骤:S3111:根据折扣率 及结算这批数据中每次随机接入过程对应的奖励期望与优势估计;
其中,奖励期望 的计算表达式为:
;
式中, 为第 次随机接入过程的奖励期望;为第 次随机接入过程的即时奖励;
为利用预设的Critic网络获得的 状态的价值;为一个回合的总次数;
其中,优势估计 的计算表达式为:
;
式中, 为第 次随机接入过程的优势估计; 为利用预设的Critic网络获得的 状态的价值;
S3112:采用MSEloss作为损失函数更新Critic网络,以最小化当前状态价值与折扣奖励之间的差值:;
式中, 为价值函数误差项; 为状态 的状态价值; 为折扣奖励,为经验池中的数据量;
S3113:计算Actor网络的损失函数;
其中,Actor网络的损失函数 的计算表达式为:;
式中, 为新旧策略的概率比,即 , 为新策略的概率, 为旧策略的概率; 为优势估计函数,即; 为截断函数;为截断超参数,以限制网络更新幅度;
S3114:构建近端策略优化PPO算法网络的目标函数;
其中,近端策略优化PPO算法网络的目标函数 的表达式为:;
其中, 为Actor网络的损失函数; 为价值函数误差项; 为策略模型的熵奖励;、 为常系数,以调整目标函数中各部分的权重;
S3115:通过最大化的近端策略优化PPO算法网络的目标函数,更新网络参数 ,且当经验池中数据对网络参数进行T次连续更新后,将网络参数 更新为 。
9.根据权利要求7所述的一种基于近端策略优化的多类型终端随机接入竞争解决方法,其特征在于,所述S33中,当前迭代周期结束后系统整体指标的计算包括:平均时延 的计算表达式为:
;
式中, 表示所有终端完成随机接入过程所需要的RAO总和,即系统的整体平均时延;“1”表示第一个RAO; 表示参与接入过程的终端总数量;表示可用前导码的总数量;为参与接入过程的终端; 为在第一个RAO中发生冲突的终端在接下来全部完成随机接入过程需要的RAO总和;
前导码传递次数 的计算表达式为:
;
平均能耗 的计算表达式为:
;
式中, 、 、 分别为终端在退避状态、接入状态、以及监测状态的能耗; 、 分别为第 层参与随机接入的高优先级终端和低优先级终端的数量;为预留的独占前导码的数量。