1.一种基于深度强化学习的战术通信网络业务成帧方法,其特征在于,包括:划分待成帧数据包的业务类型,将上层待成帧的数据包添加到相应的发送等待队列;其中发送等待队列包括第一队列和第二队列,并且第一队列的优先级高于第二队列的优先级;
当需要传输数据包时,确定传输队列;
对传输队列进行成帧判断,若成帧,则第一队列利用基于深度强化学习的自适应帧生成算法或者第二队列利用高效率帧生成算法执行成帧操作,生成数据帧,并由物理层进行发送;
接收端解析收到的数据帧;
划分待成帧数据包的业务类型,将上层待成帧的数据包添加到相应的发送等待队列包括:将待成帧数据包划分为时敏业务数据包和非时敏业务数据包,并将时敏业务数据包添加到第一队列,将非时敏业务数据包添加到第二队列;
对传输队列进行成帧判断包括对第一队列进行成帧判断;
对第一队列进行成帧判断的过程为:
将队列中的成帧决策过程构建成基于深度Q神经网络DQN和马尔可夫决策过程MDP的智能决策模型,并通过时间差分算法进行训练,输出当前时刻第一队列是否成帧,若不成帧,获取第二队列的状态信息,并对第二队列进行成帧判断;
将队列中的成帧决策过程构建成基于深度Q神经网络DQN和马尔可夫决策过程MDP的智能决策模型,并通过时间差分算法进行训练,输出当前时刻第一队列是否成帧的过程包括:MDP组成元素包括智能体的状态空间
深度Q神经网络DQN作为智能体,寻找Q值最大动作,DQN的输入层包括3个神经元,对应状态空间中的3个参数,两个全连接层各有64个神经元,输出层有2个神经元,对应智能体能够采取成帧或者不成帧的两个动作;智能体根据当前的状态其中,
其中,
根据奖励函数判断当前动作是否正确,若动作错误将会获取负奖励作为惩罚;若当前的成帧时延已经超过期望的成帧时间,奖励就会设置成负数来惩罚智能体;
在DQN模型中智能体将每一步过程存储为经验
智能体从存储的经验中随机选择经验,利用时间差分算法TD来训练智能体,TD误差其中,
智能体使用均方误差MSE损失函数最小化TD误差,损失函数的公式如下:其中,
创建两个结构相同的深度Q神经网络作为智能体,包括目标神经网络和主神经网络;环境根据动作发生变化后,智能体从环境中获取动作的奖励,通过TD算法更新主神经网络,主神经网络的参数以固定频率更新到目标神经网络,主神经网络用于每次迭代更新,目标神经网络用于计算目标值;
对传输队列进行成帧判断还包括对第二队列进行成帧判断;
对第二队列进行成帧判断的过程包括:
获取第二队列的队列长度,判断当前队列长度是否达到最大帧长,如果大于最大帧长则成帧;如果小于最大帧长则不成帧,继续等待上层的数据包添加到发送等待队列。
2.根据权利要求1所述的一种基于深度强化学习的战术通信网络业务成帧方法,其特征在于,确定传输队列包括:首先检查第一队列中是否包含数据包,若有,则将第一队列作为传输队列;若没有,则检查第二队列中是否包含数据包,若有,则将第二队列作为传输队列;若第一队列和第二队列均没有数据包,则继续等待上层的数据包添加到发送等待队列。
3.根据权利要求2所述的一种基于深度强化学习的战术通信网络业务成帧方法,其特征在于,若成帧,则第一队列利用基于深度强化学习的自适应帧生成算法或者第二队列利用高效率帧生成算法执行成帧操作,生成数据帧,并由物理层进行发送包括:如果需要执行成帧操作,成帧算法会将第一队列或第二队列中的数据包组合成一帧并记录每一个数据包的长度和数据包的数量,将这些信息写入成帧算法报头添加到新组合的数据包的头部;新组合的数据包传递给MAC层,添加链路层协议的帧头和帧尾,组成一个新的数据帧由物理层进行发送。
4.根据权利要求3所述的一种基于深度强化学习的战术通信网络业务成帧方法,其特征在于,接收端解析收到的数据帧包括:接收端在收到新组合成的数据帧后会按照链路层协议去除帧头和帧尾后,根据成帧算法报头中的信息解析数据包,恢复成组合前的数据包后传递给网络层,根据路由表继续转发或者接收。