1.一种基于信息年龄约束的能量捕获移动异构网络优化方法,其特征在于,所述基于信息年龄约束的能量捕获移动异构网络优化方法,包括:针对包括基站、混合接入点、发射机和接收机的物理实体层,建立对应的数字孪生层;
在时隙的控制阶段,发射机和接收机进行移动,发射机将本地状态信息输入到训练好的第一深度强化学习网络得到对应的模式选择和信道分配策略,发送给数字孪生层;
基站将全局状态信息和发射机的模式选择和信道分配策略输入到训练好的第二深度强化学习网络,得到发射机的功率控制和能量捕获时间策略,发送给数字孪生层;
数字孪生层将发射机的模式选择和信道分配策略与发射机的功率控制和能量捕获时间策略合并为完整的模式选择和资源分配策略,并同步给发射机;
在无线能量传输阶段,发射机根据能量捕获时间进行能量捕获,在无线数据传输阶段,发射机根据模式选择、信道分配和功率控制进行数据传输;
其中,所述本地状态信息包括:
当前时隙发射机移动之后的位置坐标,当前时隙接收机移动之后的位置坐标,当前时隙开始时发射机的可用能量与电池容量的比值,当前时隙发射机的信息年龄,当前时隙发射机是否生成数据的二进制变量,当前时隙移动之后的发射机与相关联的基站或混合接入点之间的信道增益,当前时隙移动之后的发射机与移动之后的接收机之间的信道增益,前一时隙发射机的吞吐量,前一时隙发射机的信道分配;
所述全局状态信息,包括:
当前时隙开始时发射机的可用能量与电池容量的比值,当前时隙发射机的信息年龄,前一时隙发射机的吞吐量。
2.根据权利要求1所述的基于信息年龄约束的能量捕获移动异构网络优化方法,其特征在于,所述数字孪生层部署在基站。
3.根据权利要求1所述的基于信息年龄约束的能量捕获移动异构网络优化方法,其特征在于,所述基于信息年龄约束的能量捕获移动异构网络优化方法,还包括:训练所述第一深度强化学习网络和第二深度强化学习网络;
所述训练所述第一深度强化学习网络和第二深度强化学习网络,包括:步骤F1、初始化第一深度强化学习网络对应的本地Q网络和目标Q网络,初始化第二深度强化学习网络对应的当前动作网络、目标动作网络、第一当前价值网络、第一目标价值网络、第二当前价值网络和第二目标价值网络的参数;
步骤F2、初始化混合接入点、发射机和接收机;
步骤F3、发射机和接收机进行移动,更新数字孪生层中当前时隙的本地状态信息;
步骤F4、发射机将本地状态信息发送给本地Q网络,得到对应的模式选择和信道分配策略,发送给数字孪生层;
步骤F5、基站接收数字孪生层中的全局状态信息和发射机的模式选择和信道分配策略,输入当前动作网络,得到发射机的功率控制和能量捕获时间策略,发送给数字孪生层;
步骤F6、数字孪生层将发射机的模式选择和信道分配策略与发射机的功率控制和能量捕获时间策略合并为完整的模式选择和资源分配策略,并同步给发射机;
步骤F7、发射机执行完整的模式选择和资源分配策略;
步骤F8、发射机和基站计算相应的奖励;
步骤F9、发射机和基站分别将自身的经验存储到自身的经验回放池中并随机抽取预设份数经验;
步骤F10、发射机根据抽取的经验更新本地Q网络的参数;
步骤F11、如果当前迭代次数关于2取模的结果不等于0则不执行任何操作,否则采用本地Q网络的参数更新目标Q网络的参数;
步骤F12、基站根据抽取的经验更新第一当前价值网络和第二当前价值网络的参数;
步骤F13、如果当前迭代次数关于2取模的结果不等于0则不执行任何操作,否则根据抽取的经验更新当前动作网络和所有目标网络参数;
步骤F14、若当前时隙小于总时隙数,则将下一个时隙作为当前时隙,返回步骤F3;
步骤F15、若当前迭代次数小于总迭代次数,则返回步骤F2继续进行迭代训练,否则结束训练。
4.根据权利要求3所述的基于信息年龄约束的能量捕获移动异构网络优化方法,其特征在于,所述发射机自身的经验包括发射机的本地状态信息,模式选择和信道分配策略,发射机得到的奖励,下一时隙发射机的本地状态信息。
5.根据权利要求3所述的基于信息年龄约束的能量捕获移动异构网络优化方法,其特征在于,所述基站自身的经验包括全局状态信息、发射机的模式选择和信道分配策略,发射机的功率控制和能量捕获时间策略,基站得到的奖励,下一时隙全局状态信息和发射机的模式选择和信道分配策略。