1.一种基于近端策略优化算法的5G-TSN网络资源调度方法,其特征在于,包括以下步骤:获取底层网络信息,所述底层网络信息包括DW-TT门控状态、基站用户的队列长度、队头等待时延和5G系统的信道质量;所述DW-TT门控状态用于控制时间敏感流的调度时机;门控状态用于控制时间敏感流的调度时机,当门控状态为开时,允许调度时间敏感流;当门控状态为关闭时,仅允许调度非时间敏感流,包括视频流;队头等待时延包括时间敏感队列和视频队列的队头等待时延;
基于所述底层网络信息建立5G无线信道模型,包括信号接收功率、可用资源块数量和资源块容量;
构建马尔可夫决策过程模型,定义状态空间、动作空间和奖励函数;所述状态空间包括5G-TSN网络的底层拓扑结构特征和部署服务功能链的特征;动作包括数据流分配的资源块数量;在每个时间片内,实时计算单个资源块容量和可用资源块数量,并将其作为资源调度的变量输入状态空间;所述奖励函数包括数据流调度准时值;当时间敏感流的调度时间小于等于时间敏感流的允许截止调度时间,且视频流的调度时间小于等于视频流的截止调度时间时,奖励函数为1;当时间敏感流的调度时间大于时间敏感流的允许截止调度时间,且视频流的调度时间大于视频流的截止调度时间时,奖励函数为-1;所述状态空间基于所述5G无线信道模型建立;
基于近端策略优化算法搭建策略网络和评估网络,所述策略网络用于输出动作值均值,所述评估网络用于输出状态价值;
评估网络基于状态输出状态价值;基于所述状态价值优化所述策略网络;策略网络基于状态输出动作值均值,通过采样获得动作值;基于所述动作值实现5G-TSN网络资源调度。
2.根据权利要求1所述的一种基于近端策略优化算法的5G-TSN网络资源调度方法,其特征在于,在数据流调度时考虑资源和截止时间的约束,包括:;;;
其中,表示是否分配资源支持数据流完成调度,表示能被调度的数据流需要的资源量,表示信道总资源数,表示时间敏感流的调度时间,为视频流的调度时间,和分别表示时间敏感流的允许截止调度时间和视频流的截止调度时间。
3.根据权利要求1所述的一种基于近端策略优化算法的5G-TSN网络资源调度方法,其特征在于,在数据流调度时考虑资源块数量分配约束,包括:;
其中,表示数据流分配的资源块数量,表示数据流需要资源块数量。
4.根据权利要求1所述的一种基于近端策略优化算法的5G-TSN网络资源调度方法,其特征在于,所述信号接收功率表示为:;
其中,表示基站发射信号功率,PL(d)表示路径损耗;
;
其中,d表示基站与终端之间的距离,N表示距离功率损耗系数,表示楼层穿透损耗因子,f表示信号的载波频率。
5.根据权利要求1所述的一种基于近端策略优化算法的5G-TSN网络资源调度方法,其特征在于,所述可用资源块数量表示为:;
其中,表示可用资源块数量,表示信道总带宽,表示单边的保护带带宽,表示单个资源块的资源块带宽;
单个资源块的资源块容量表示为:
;
其中,表示比特错误率,表示标准正态分布的逆函数,r表示资源块的块长度,表示信噪比;
其中,。
6.根据权利要求1所述的一种基于近端策略优化算法的5G-TSN网络资源调度方法,其特征在于,所述策略网络包括三个依次连接的全连接层,所述策略网络的全连接层之间通过ReLU激活函数连接,最后一个所述全连接层作为输出层,用于输出动作值均值,Softmax函数用于基于所述输出动作值均值计算输出动作的概率分布;所述评估网络包括三个依次连接的全连接层,评估网络的每个所述全连接层包括256个神经元,用于输出当前状态的输出状态价值。
7.根据权利要求1所述的一种基于近端策略优化算法的5G-TSN网络资源调度方法,其特征在于,还包括:将状态输入到策略网络中,获得动作值均值,基于所述动作值均值采样获得动作值;执行所述动作值获得奖励值,当获得的奖励值数量大于预设阈值时,基于所述奖励值更新所述策略网络和所述评估网络,并清空所述奖励值。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的5G-TSN网络资源调度方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的5G-TSN网络资源调度方法。