欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202510616119X
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.eMBB/URLLC共存场景的智能资源分配方法,其特征在于,包括以下步骤:获取未被URLLC穿孔情况下eMBB用户的最大传输数据速率;

采用穿孔方式实现eMBB/URLLC的共存,根据eMBB用户的最大传输数据速率计算被URLLC穿孔后eMBB用户的传输数据速率损失;

基于有限块长编码公式计算URLLC用户传输数据速率,并实现URLLC的可靠性约束;

根据eMBB用户的最大传输数据速率、eMBB用户的传输数据速率损失和URLLC的可靠性约束,使用比例公平算法分别建立时隙尺度上的eMBB资源分配模型和迷你时隙尺度上的URLLC穿孔模型;

将时隙尺度上的eMBB资源分配模型和迷你时隙尺度上的URLLC穿孔模型分别建模为马尔可夫过程;

对于时隙尺度上的eMBB资源分配模型的马尔可夫过程设置eMBB智能体,对于迷你时隙尺度上的URLLC穿孔模型的马尔可夫过程设置URLLC智能体,基于PF-TSIPRA算法实现eMBB智能体和URLLC智能体的协同训练;

获取第一输入参数和第二输入参数,将第一输入参数输入至训练好的eMBB智能体,输出资源块分配矩阵及功率分配矩阵;将第二输入参数输入至训练好的URLLC智能体,输出穿孔矩阵、穿孔带宽占比矩阵及穿孔功率占比矩阵,实现资源分配;

其中,所述基于PF-TSIPRA算法实现eMBB智能体和URLLC智能体的协同训练,包括:步骤a:随机初始化eMBB智能体和URLLC智能体的训练网络参数并复制到对应的目标网络中,初始化eMBB智能体和URLLC智能体的经验回放池;

步骤b:在每个时隙,eMBB智能体观测状态并通过Actor网络生成第一动作;在每个迷你时隙,URLLC智能体观测状态并通过Actor网络生成第二动作,URLLC智能体执行第二动作,得到第二奖励以及下一时刻的URLLC智能体观测状态,将对应的经验数据存储到URLLC智能体经验回放池中;eMBB智能体执行第一动作,得到第一奖励和下一时刻的eMBB智能体观测状态,将对应的经验数据存储到eMBB智能体经验回放池中;eMBB智能体和URLLC智能体分别从各自的经验回放池中随机采样批量数据,用于更新各自的目标网络;

步骤c:重复步骤b直到达到最大训练周期次数。

2.根据权利要求1所述的eMBB/URLLC共存场景的智能资源分配方法,其特征在于,所述获取未被URLLC穿孔情况下eMBB用户的最大传输数据速率,具体表达式如下:;

式中:为时隙;为资源块;为eMBB用户;为未穿孔情况下,eMBB用户在时隙t资源块k上可达到的最大传输数据速率;为eMBB用户在时隙t资源块k上的下行传输功率;是小尺度信道衰落因子;为资源块k的带宽;为噪声功率谱密度;为路径损耗因子;为eMBB用户与下一代基站gNodeB之间的距离;为路径损耗指数。

3.根据权利要求2所述的eMBB/URLLC共存场景的智能资源分配方法,其特征在于,所述根据eMBB用户的最大传输数据速率计算被URLLC穿孔后eMBB用户的传输数据速率损失,具体包括:获取URLLC对eMBB进行穿孔时得到的带宽和传输功率,具体表达式如下:;

;

式中:为URLLC用户;时隙包括个迷你时隙,为整数,,个迷你时隙的集合为,具体表示为;为URLLC用户在时隙资源块的迷你时隙穿孔得到的带宽;为URLLC用户在时隙资源块的迷你时隙穿孔得到的传输功率;为时隙资源块的迷你时隙的穿孔带宽占比,;为时隙资源块的迷你时隙的穿孔功率占比,;

根据URLLC对eMBB进行穿孔时得到的带宽和传输功率,计算被URLLC穿孔后eMBB用户在时隙t资源块k的第个迷你时隙上的数据速率,具体表达式如下:;

式中:为被URLLC穿孔后eMBB用户在时隙t资源块k的第个迷你时隙上的数据速率;

根据未被URLLC穿孔情况下eMBB用户的最大传输数据速率以及被URLLC穿孔后eMBB用户在时隙资源块的迷你时隙上的数据速率,计算被URLLC穿孔后eMBB用户在时隙资源块的迷你时隙上的传输数据速率损失,具体表达式如下:;

式中:为被URLLC穿孔后eMBB用户在时隙资源块的迷你时隙上的传输数据速率损失。

4.根据权利要求3所述的eMBB/URLLC共存场景的智能资源分配方法,其特征在于,所述基于有限块长编码公式计算URLLC用户传输数据速率,具体包括:获取时隙资源块的迷你时隙的穿孔情况,具体表达式如下:;

式中:为时隙资源块的迷你时隙的穿孔情况;

根据时隙资源块的迷你时隙的穿孔情况,基于有限块长编码公式,计算URLLC用户在时隙的第个迷你时隙的数据速率,具体表达式如下:;

;

;

式中:为URLLC用户的信噪比;表示信道色散;为高斯反函数;为迷你时隙的长度;为URLLC的最大可容忍传输丢包概率;,为资源块的集合,为集合中资源块的数量;为时隙资源块的迷你时隙的穿孔情况;为URLLC用户在时隙的第个迷你时隙的数据速率;

令表示URLLC用户在时隙的第个迷你时隙的传输流量需求,则URLLC用户的传输延迟约束的具体表达式如下:;

式中:为URLLC的可容忍传输延迟;

所述实现URLLC的可靠性约束,具体表达式如下:;

式中:为单位时间内URLLC的丢包率;表示URLLC用户在时隙的第个迷你时隙内不满足传输延迟约束。

5.根据权利要求4所述的eMBB/URLLC共存场景的智能资源分配方法,其特征在于,所述分别建立时隙尺度上的eMBB资源分配模型和迷你时隙尺度上的URLLC穿孔模型,包括:建立时隙尺度上的eMBB资源分配模型,具体包括:获取eMBB用户在时隙的权重,具体表达式如下:;

式中:为eMBB用户在时隙的权重,为eMBB用户的历史平均传输数据速率,具体表达式如下:;

式中:为计算历史平均传输数据速率的时间窗口长度;为eMBB用户在时隙的总传输数据速率;为以时隙为基准计算的eMBB用户的历史平均传输数据速率;

获取时隙资源块的分配情况,根据时隙资源块的分配情况和未被URLLC穿孔情况下eMBB用户的最大传输数据速率,获取eMBB用户在时隙的总传输数据速率,具体表达式如下:;

;

式中:为时隙资源块的分配情况,为eMBB用户在时隙的总传输数据速率;

根据eMBB用户在时隙的权重、时隙资源块的分配情况和eMBB用户在时隙的总传输数据速率,建立时隙尺度上的eMBB资源分配模型,具体表达式如下:;

;

;

;

;

式中:为下一代基站gNodeB最大传输功率;,为eMBB用户e的集合,为集合中eMBB用户e的数量;表示阶的资源块分配矩阵;表示阶的功率分配矩阵;

建立迷你时隙尺度上的URLLC穿孔模型,具体包括:根据被URLLC穿孔后eMBB用户在时隙资源块的迷你时隙上的传输数据速率损失,计算eMBB用户在迷你时隙上的总传输数据速率损失,具体表达式如下:;

式中:为eMBB用户在迷你时隙上的总传输数据速率损失;

根据eMBB用户在时隙的权重、时隙资源块的迷你时隙的穿孔情况和eMBB用户在迷你时隙上的总传输数据速率损失,建立迷你时隙尺度上的URLLC穿孔模型,具体表达式如下:;

;

;

;

;

;

;

式中:,为URLLC用户u的集合,为集合中URLLC用户u的数量;表示URLLC用户u穿孔位置的阶穿孔矩阵;表示阶穿孔带宽占比矩阵;表示阶穿孔功率占比矩阵。

6.根据权利要求5所述的eMBB/URLLC共存场景的智能资源分配方法,其特征在于,所述将时隙尺度上的eMBB资源分配模型和迷你时隙尺度上的URLLC穿孔模型分别建模为马尔可夫过程,包括:将时隙尺度上的eMBB资源分配模型建模为马尔可夫过程,状态空间的表达式如下:;

式中:为eMBB用户在时隙的信噪比;为eMBB用户在时隙的总传输数据速率;为时隙尺度上的eMBB资源分配模型建模为马尔可夫过程的状态空间;用于表示eMBB;

时隙尺度上的eMBB资源分配模型建模为马尔可夫过程的动作空间具体表达式如下:;

式中:为时隙尺度上的eMBB资源分配模型建模为马尔可夫过程的动作空间;

制定时隙尺度上的eMBB资源分配模型建模为马尔可夫过程的奖励函数,具体表达式如下:;

式中:为时隙尺度上的eMBB资源分配模型建模为马尔可夫过程的奖励函数;

将迷你时隙尺度上的URLLC穿孔模型建模为马尔可夫过程,状态空间的表达式如下:;

式中:为迷你时隙尺度上的URLLC穿孔模型建模为马尔可夫过程的状态空间;表示eMBB用户在迷你时隙上的总传输数据速率损失;是迷你时隙内URLLC用户u的信噪比;用于表示URLLC;

迷你时隙尺度上的URLLC穿孔模型建模为马尔可夫过程的动作空间具体表达式如下:;

式中:为迷你时隙尺度上的URLLC穿孔模型建模为马尔可夫过程的动作空间;

制定迷你时隙尺度上的URLLC穿孔模型建模为马尔可夫过程的奖励函数,具体表达式如下:;

式中:为迷你时隙尺度上的URLLC穿孔模型建模为马尔可夫过程的奖励函数;为惩罚项,表示迷你时隙内不满足传输延迟约束的URLLC用户u总数;为惩罚系数。

7.根据权利要求6所述的eMBB/URLLC共存场景的智能资源分配方法,其特征在于,所述基于PF-TSIPRA算法实现eMBB智能体和URLLC智能体的协同训练,具体包括:所述PF-TSIPRA算法的具体训练步骤如下:步骤1:随机初始化eMBB智能体的训练网络参数、URLLC 智能体的训练网络参数并复制到对应的目标网络、中,初始化eMBB智能体经验回放池和URLLC 智能体经验回放池;

式中:为eMBB智能体的Actor网络参数;为eMBB智能体的Critic网络参数;为URLLC 智能体的Actor网络参数;为URLLC 智能体的Critic网络参数;为eMBB智能体的目标Actor网络参数;为eMBB智能体的目标Critic网络参数;为URLLC 智能体的目标Actor网络参数;为URLLC 智能体的目标Critic网络参数;

步骤2:在每个时隙t,eMBB 智能体观测状态,并基于选择第一动作;

式中:为探索噪声;为对应的eMBB智能体的Actor网络;

步骤3:在每个迷你时隙n,URLLC智能体观测状态,并基于选择第二动作;

式中:为对应的URLLC 智能体的Actor网络;

步骤4:URLLC智能体执行第二动作,获取第二奖励和下一时刻的URLLC智能体观测状态;将经验数据存入URLLC 智能体经验回放池中,结束迷你时隙n;

步骤5:eMBB智能体执行第一动作,获取第一奖励和下一时刻的eMBB智能体观测状态;将经验数据存入eMBB智能体经验回放池中,结束时隙t;

步骤6:从eMBB智能体经验回放池和URLLC 智能体经验回放池中分别随机采样批量数据、,基于、计算目标Q值;

式中:=1,2,…,C;表示第个样本的索引;C表示抽取的样本数据的数量;为奖励折扣因子;、分别是目标Critic网络、对状态、下动作、的评价;、分别是目标Actor网络、根据状态、做出的决策;;;为对应的eMBB智能体的目标Critic网络;为对应的URLLC 智能体的目标Critic网络;为对应的eMBB智能体的目标Actor网络;为对应的URLLC 智能体的目标Actor网络;

步骤7:基于、最小化损失函数来更新Critic网络;

式中:、分别为Critic网络、对当前状态、下动作、的评价;为对应的eMBB智能体的Critic网络;为对应的URLLC 智能体的Critic网络;

步骤8:采用梯度上升法基于

、

更新Actor网络;

式中:为eMBB智能体的Actor网络根据当前策略生成的动作;为URLLC 智能体的Actor网络根据当前策略生成的动作;

步骤9:基于、、、分别更新、、和;其中,为软更新系数;

步骤10:重复步骤2至步骤9,直至达到最大训练周期次数,完成训练工作。

8.一种eMBB/URLLC共存场景的智能资源分配装置,其特征在于,所述装置包括:采集模块:用于获取未被URLLC穿孔情况下eMBB用户的最大传输数据速率;

第一计算模块:用于采用穿孔方式实现eMBB/URLLC的共存,根据eMBB用户的最大传输数据速率计算被URLLC穿孔后eMBB用户的传输数据速率损失;

第二计算模块:用于基于有限块长编码公式计算URLLC用户传输数据速率,并实现URLLC的可靠性约束;

模型建立模块:用于根据eMBB用户的最大传输数据速率、eMBB用户的传输数据速率损失和URLLC的可靠性约束,使用比例公平算法分别建立时隙尺度上的eMBB资源分配模型和迷你时隙尺度上的URLLC穿孔模型;

转换模块:用于将时隙尺度上的eMBB资源分配模型和迷你时隙尺度上的URLLC穿孔模型分别建模为马尔可夫过程;

训练模块:用于对于时隙尺度上的eMBB资源分配模型的马尔可夫过程设置eMBB智能体,对于迷你时隙尺度上的URLLC穿孔模型的马尔可夫过程设置URLLC智能体,基于PF-TSIPRA算法实现eMBB智能体和URLLC智能体的协同训练;

输出模块:用于获取第一输入参数和第二输入参数,将第一输入参数输入至训练好的eMBB智能体,输出资源块分配矩阵及功率分配矩阵;将第二输入参数输入至训练好的URLLC智能体,输出穿孔矩阵、穿孔带宽占比矩阵及穿孔功率占比矩阵,实现资源分配。

9.一种终端,其特征在于,包括处理器及存储介质;

所述存储介质用于存储指令;

所述处理器用于根据所述指令进行操作以执行根据权利要求1至7任一项所述方法的步骤。

10.计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。