1.eMBB/URLLC共存场景的智能资源分配方法,其特征在于,包括以下步骤:获取未被URLLC穿孔情况下eMBB用户的最大传输数据速率;
采用穿孔方式实现eMBB/URLLC的共存,根据eMBB用户的最大传输数据速率计算被URLLC穿孔后eMBB用户的传输数据速率损失;
基于有限块长编码公式计算URLLC用户传输数据速率,并实现URLLC的可靠性约束;
根据eMBB用户的最大传输数据速率、eMBB用户的传输数据速率损失和URLLC的可靠性约束,使用比例公平算法分别建立时隙尺度上的eMBB资源分配模型和迷你时隙尺度上的URLLC穿孔模型;
将时隙尺度上的eMBB资源分配模型和迷你时隙尺度上的URLLC穿孔模型分别建模为马尔可夫过程;
对于时隙尺度上的eMBB资源分配模型的马尔可夫过程设置eMBB智能体,对于迷你时隙尺度上的URLLC穿孔模型的马尔可夫过程设置URLLC智能体,基于PF-TSIPRA算法实现eMBB智能体和URLLC智能体的协同训练;
获取第一输入参数和第二输入参数,将第一输入参数输入至训练好的eMBB智能体,输出资源块分配矩阵及功率分配矩阵;将第二输入参数输入至训练好的URLLC智能体,输出穿孔矩阵、穿孔带宽占比矩阵及穿孔功率占比矩阵,实现资源分配;
其中,所述基于PF-TSIPRA算法实现eMBB智能体和URLLC智能体的协同训练,包括:步骤a:随机初始化eMBB智能体和URLLC智能体的训练网络参数并复制到对应的目标网络中,初始化eMBB智能体和URLLC智能体的经验回放池;
步骤b:在每个时隙,eMBB智能体观测状态并通过Actor网络生成第一动作;在每个迷你时隙,URLLC智能体观测状态并通过Actor网络生成第二动作,URLLC智能体执行第二动作,得到第二奖励以及下一时刻的URLLC智能体观测状态,将对应的经验数据存储到URLLC智能体经验回放池中;eMBB智能体执行第一动作,得到第一奖励和下一时刻的eMBB智能体观测状态,将对应的经验数据存储到eMBB智能体经验回放池中;eMBB智能体和URLLC智能体分别从各自的经验回放池中随机采样批量数据,用于更新各自的目标网络;
步骤c:重复步骤b直到达到最大训练周期次数。
2.根据权利要求1所述的eMBB/URLLC共存场景的智能资源分配方法,其特征在于,所述获取未被URLLC穿孔情况下eMBB用户的最大传输数据速率,具体表达式如下:;
式中:为时隙;为资源块;为eMBB用户;为未穿孔情况下,eMBB用户在时隙t资源块k上可达到的最大传输数据速率;为eMBB用户在时隙t资源块k上的下行传输功率;是小尺度信道衰落因子;为资源块k的带宽;为噪声功率谱密度;为路径损耗因子;为eMBB用户与下一代基站gNodeB之间的距离;为路径损耗指数。
3.根据权利要求2所述的eMBB/URLLC共存场景的智能资源分配方法,其特征在于,所述根据eMBB用户的最大传输数据速率计算被URLLC穿孔后eMBB用户的传输数据速率损失,具体包括:获取URLLC对eMBB进行穿孔时得到的带宽和传输功率,具体表达式如下:;
;
式中:为URLLC用户;时隙包括个迷你时隙,为整数,,个迷你时隙的集合为,具体表示为;为URLLC用户在时隙资源块的迷你时隙穿孔得到的带宽;为URLLC用户在时隙资源块的迷你时隙穿孔得到的传输功率;为时隙资源块的迷你时隙的穿孔带宽占比,;为时隙资源块的迷你时隙的穿孔功率占比,;
根据URLLC对eMBB进行穿孔时得到的带宽和传输功率,计算被URLLC穿孔后eMBB用户在时隙t资源块k的第个迷你时隙上的数据速率,具体表达式如下:;
式中:为被URLLC穿孔后eMBB用户在时隙t资源块k的第个迷你时隙上的数据速率;
根据未被URLLC穿孔情况下eMBB用户的最大传输数据速率以及被URLLC穿孔后eMBB用户在时隙资源块的迷你时隙上的数据速率,计算被URLLC穿孔后eMBB用户在时隙资源块的迷你时隙上的传输数据速率损失,具体表达式如下:;
式中:为被URLLC穿孔后eMBB用户在时隙资源块的迷你时隙上的传输数据速率损失。
4.根据权利要求3所述的eMBB/URLLC共存场景的智能资源分配方法,其特征在于,所述基于有限块长编码公式计算URLLC用户传输数据速率,具体包括:获取时隙资源块的迷你时隙的穿孔情况,具体表达式如下:;
式中:为时隙资源块的迷你时隙的穿孔情况;
根据时隙资源块的迷你时隙的穿孔情况,基于有限块长编码公式,计算URLLC用户在时隙的第个迷你时隙的数据速率,具体表达式如下:;
;
;
式中:为URLLC用户的信噪比;表示信道色散;为高斯反函数;为迷你时隙的长度;为URLLC的最大可容忍传输丢包概率;,为资源块的集合,为集合中资源块的数量;为时隙资源块的迷你时隙的穿孔情况;为URLLC用户在时隙的第个迷你时隙的数据速率;
令表示URLLC用户在时隙的第个迷你时隙的传输流量需求,则URLLC用户的传输延迟约束的具体表达式如下:;
式中:为URLLC的可容忍传输延迟;
所述实现URLLC的可靠性约束,具体表达式如下:;
式中:为单位时间内URLLC的丢包率;表示URLLC用户在时隙的第个迷你时隙内不满足传输延迟约束。
5.根据权利要求4所述的eMBB/URLLC共存场景的智能资源分配方法,其特征在于,所述分别建立时隙尺度上的eMBB资源分配模型和迷你时隙尺度上的URLLC穿孔模型,包括:建立时隙尺度上的eMBB资源分配模型,具体包括:获取eMBB用户在时隙的权重,具体表达式如下:;
式中:为eMBB用户在时隙的权重,为eMBB用户的历史平均传输数据速率,具体表达式如下:;
式中:为计算历史平均传输数据速率的时间窗口长度;为eMBB用户在时隙的总传输数据速率;为以时隙为基准计算的eMBB用户的历史平均传输数据速率;
获取时隙资源块的分配情况,根据时隙资源块的分配情况和未被URLLC穿孔情况下eMBB用户的最大传输数据速率,获取eMBB用户在时隙的总传输数据速率,具体表达式如下:;
;
式中:为时隙资源块的分配情况,为eMBB用户在时隙的总传输数据速率;
根据eMBB用户在时隙的权重、时隙资源块的分配情况和eMBB用户在时隙的总传输数据速率,建立时隙尺度上的eMBB资源分配模型,具体表达式如下:;
;
;
;
;
式中:为下一代基站gNodeB最大传输功率;,为eMBB用户e的集合,为集合中eMBB用户e的数量;表示阶的资源块分配矩阵;表示阶的功率分配矩阵;
建立迷你时隙尺度上的URLLC穿孔模型,具体包括:根据被URLLC穿孔后eMBB用户在时隙资源块的迷你时隙上的传输数据速率损失,计算eMBB用户在迷你时隙上的总传输数据速率损失,具体表达式如下:;
式中:为eMBB用户在迷你时隙上的总传输数据速率损失;
根据eMBB用户在时隙的权重、时隙资源块的迷你时隙的穿孔情况和eMBB用户在迷你时隙上的总传输数据速率损失,建立迷你时隙尺度上的URLLC穿孔模型,具体表达式如下:;
;
;
;
;
;
;
式中:,为URLLC用户u的集合,为集合中URLLC用户u的数量;表示URLLC用户u穿孔位置的阶穿孔矩阵;表示阶穿孔带宽占比矩阵;表示阶穿孔功率占比矩阵。
6.根据权利要求5所述的eMBB/URLLC共存场景的智能资源分配方法,其特征在于,所述将时隙尺度上的eMBB资源分配模型和迷你时隙尺度上的URLLC穿孔模型分别建模为马尔可夫过程,包括:将时隙尺度上的eMBB资源分配模型建模为马尔可夫过程,状态空间的表达式如下:;
式中:为eMBB用户在时隙的信噪比;为eMBB用户在时隙的总传输数据速率;为时隙尺度上的eMBB资源分配模型建模为马尔可夫过程的状态空间;用于表示eMBB;
时隙尺度上的eMBB资源分配模型建模为马尔可夫过程的动作空间具体表达式如下:;
式中:为时隙尺度上的eMBB资源分配模型建模为马尔可夫过程的动作空间;
制定时隙尺度上的eMBB资源分配模型建模为马尔可夫过程的奖励函数,具体表达式如下:;
式中:为时隙尺度上的eMBB资源分配模型建模为马尔可夫过程的奖励函数;
将迷你时隙尺度上的URLLC穿孔模型建模为马尔可夫过程,状态空间的表达式如下:;
式中:为迷你时隙尺度上的URLLC穿孔模型建模为马尔可夫过程的状态空间;表示eMBB用户在迷你时隙上的总传输数据速率损失;是迷你时隙内URLLC用户u的信噪比;用于表示URLLC;
迷你时隙尺度上的URLLC穿孔模型建模为马尔可夫过程的动作空间具体表达式如下:;
式中:为迷你时隙尺度上的URLLC穿孔模型建模为马尔可夫过程的动作空间;
制定迷你时隙尺度上的URLLC穿孔模型建模为马尔可夫过程的奖励函数,具体表达式如下:;
式中:为迷你时隙尺度上的URLLC穿孔模型建模为马尔可夫过程的奖励函数;为惩罚项,表示迷你时隙内不满足传输延迟约束的URLLC用户u总数;为惩罚系数。
7.根据权利要求6所述的eMBB/URLLC共存场景的智能资源分配方法,其特征在于,所述基于PF-TSIPRA算法实现eMBB智能体和URLLC智能体的协同训练,具体包括:所述PF-TSIPRA算法的具体训练步骤如下:步骤1:随机初始化eMBB智能体的训练网络参数、URLLC 智能体的训练网络参数并复制到对应的目标网络、中,初始化eMBB智能体经验回放池和URLLC 智能体经验回放池;
式中:为eMBB智能体的Actor网络参数;为eMBB智能体的Critic网络参数;为URLLC 智能体的Actor网络参数;为URLLC 智能体的Critic网络参数;为eMBB智能体的目标Actor网络参数;为eMBB智能体的目标Critic网络参数;为URLLC 智能体的目标Actor网络参数;为URLLC 智能体的目标Critic网络参数;
步骤2:在每个时隙t,eMBB 智能体观测状态,并基于选择第一动作;
式中:为探索噪声;为对应的eMBB智能体的Actor网络;
步骤3:在每个迷你时隙n,URLLC智能体观测状态,并基于选择第二动作;
式中:为对应的URLLC 智能体的Actor网络;
步骤4:URLLC智能体执行第二动作,获取第二奖励和下一时刻的URLLC智能体观测状态;将经验数据存入URLLC 智能体经验回放池中,结束迷你时隙n;
步骤5:eMBB智能体执行第一动作,获取第一奖励和下一时刻的eMBB智能体观测状态;将经验数据存入eMBB智能体经验回放池中,结束时隙t;
步骤6:从eMBB智能体经验回放池和URLLC 智能体经验回放池中分别随机采样批量数据、,基于、计算目标Q值;
式中:=1,2,…,C;表示第个样本的索引;C表示抽取的样本数据的数量;为奖励折扣因子;、分别是目标Critic网络、对状态、下动作、的评价;、分别是目标Actor网络、根据状态、做出的决策;;;为对应的eMBB智能体的目标Critic网络;为对应的URLLC 智能体的目标Critic网络;为对应的eMBB智能体的目标Actor网络;为对应的URLLC 智能体的目标Actor网络;
步骤7:基于、最小化损失函数来更新Critic网络;
式中:、分别为Critic网络、对当前状态、下动作、的评价;为对应的eMBB智能体的Critic网络;为对应的URLLC 智能体的Critic网络;
步骤8:采用梯度上升法基于
、
更新Actor网络;
式中:为eMBB智能体的Actor网络根据当前策略生成的动作;为URLLC 智能体的Actor网络根据当前策略生成的动作;
步骤9:基于、、、分别更新、、和;其中,为软更新系数;
步骤10:重复步骤2至步骤9,直至达到最大训练周期次数,完成训练工作。
8.一种eMBB/URLLC共存场景的智能资源分配装置,其特征在于,所述装置包括:采集模块:用于获取未被URLLC穿孔情况下eMBB用户的最大传输数据速率;
第一计算模块:用于采用穿孔方式实现eMBB/URLLC的共存,根据eMBB用户的最大传输数据速率计算被URLLC穿孔后eMBB用户的传输数据速率损失;
第二计算模块:用于基于有限块长编码公式计算URLLC用户传输数据速率,并实现URLLC的可靠性约束;
模型建立模块:用于根据eMBB用户的最大传输数据速率、eMBB用户的传输数据速率损失和URLLC的可靠性约束,使用比例公平算法分别建立时隙尺度上的eMBB资源分配模型和迷你时隙尺度上的URLLC穿孔模型;
转换模块:用于将时隙尺度上的eMBB资源分配模型和迷你时隙尺度上的URLLC穿孔模型分别建模为马尔可夫过程;
训练模块:用于对于时隙尺度上的eMBB资源分配模型的马尔可夫过程设置eMBB智能体,对于迷你时隙尺度上的URLLC穿孔模型的马尔可夫过程设置URLLC智能体,基于PF-TSIPRA算法实现eMBB智能体和URLLC智能体的协同训练;
输出模块:用于获取第一输入参数和第二输入参数,将第一输入参数输入至训练好的eMBB智能体,输出资源块分配矩阵及功率分配矩阵;将第二输入参数输入至训练好的URLLC智能体,输出穿孔矩阵、穿孔带宽占比矩阵及穿孔功率占比矩阵,实现资源分配。
9.一种终端,其特征在于,包括处理器及存储介质;
所述存储介质用于存储指令;
所述处理器用于根据所述指令进行操作以执行根据权利要求1至7任一项所述方法的步骤。
10.计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。