1.一种分块捷变跳频方法,其特征在于,主要包括以下步骤:步骤S1、跳频通信双方确定跳频序列和一个跳频频率表;具体方法如下:步骤S11、构建具有分块方式的动态偏移跳频系统模型,该模型包含一对合法发射机和接收机,合法发射机和接收机共享一个固定的跳频序列和一个跳频频率表;
步骤S12、发射机和接收机可用的频率资源能够分为M个频隙,频率集合表示为;
步骤S13、令 表示一个阿贝尔群,其中 是一组可用频率,其中,阿贝尔群中的的规则定义为:a b=(a+b) mod M;
步骤S14、发射机和接收机之间共享的是一个阿贝尔群上 上长度为T=N L的跳频序列: ,其中, 表示第t个时刻的跳频频率,为共享跳频序列;
步骤S2、跳频通信双方事先确定跳频分块捷变窗口长度L;具体方法如下:步骤S21、跳频通信双方事先确定跳频分块捷变窗口长度L;
步骤S22、共享跳频序列 能够分为由跳频分块捷变窗口组成的序列,跳频分块捷变窗口能够将共享跳频序列 分为没有重叠的块,当跳频分块捷变窗口长度为L时,长度为T的共享跳频序列 拆分为N=T/L块: ,其中, 表示 中第n个跳频分块捷变窗口,其长度为L,能够表示为: ,其中, 表示第n个跳频分块捷变窗口中第 个时隙的频率;
步骤S3、根据通信任务需求跳频通信接收方动态实时预先计算下一个分块窗口内的捷变偏移参数;
步骤S4、跳频通信接收方在下一个分块窗口捷变前向跳频通信发送方传输下一个分块窗口的捷变偏移参数;
步骤S5、跳频通信发送方根据接收到的分块捷变偏移值对下一个跳频分块捷变窗口内的跳频序列进行整体偏移,输出偏移后的跳频序列,通过频率映射表选择跳频频点进行跳频。
2.根据权利要求1所述的分块捷变跳频方法,其特征在于:步骤S3的具体步骤为:使用深度强化学习实现抗干扰策略,根据共享跳频序列 确定状态、动作选择、立即奖励值,计算下一个分块窗口的捷变偏移参数。
3.根据权利要求1所述的分块捷变跳频方法,其特征在于:步骤S3还包括步骤S31、定义 表示第n个跳频分块捷变窗口的分块捷变偏移参数,以合法用户之间的通信吞吐率为目标,跳频通信接收方通过但不限于深度强化学习来实时计算下一个分块捷变偏移参数 ;
步骤S32、使用one‑hot编码将共享跳频图案中的元素映射到大小为1×M的向量;其中,向量 由0和1组成,且当 时, ,否则,;
步骤S33、共享跳频图案 中的跳频块 能够表示为大小为L×M的矩阵;
,
步骤S34、基于步骤S33,偏移后的跳频序列能够表示为大小为L×M的矩阵;
,
步骤S35、使用multi‑hot编码将第n个块中第l个时隙中的一组干扰音 映射到大小为
1×M的向量 ;其中,向量 由0和1组成,且当 时, ,否则,;
步骤S36、基于步骤S35,第n个块中的干扰音能够表示为大小为L×M的矩阵,,步骤S37、使用深度强化学习算法实时抗干扰策略,块偏移跳频图案状态 包含三个矩阵,表示为一个L×M×3的三维张量 ,其中 , 和 分别表示第n块跳频图案对信道的占用情况,第n块干扰信号对信道的占用情况和第n+1块原始跳频图案信道的占用情况,动作 为第n+1个块中共享跳频图案的偏移量,即 ,状态转移概率表示为P: ,指的是在执行操作 时从当前状态 到下一状态 的转移概率,立即奖励值定义为 ,其中 为指示函数,如果第n+1个块中第l个时隙中的通信没有收到干扰,则 ,否则为0,表示第n+1个块中数据传输成功的时隙数;
步骤S38、建立两个神经网络,一个是权值参数为 的策略神经网络,另一个是权值参数为 的策略神经网络,并初始化权值参数,将块偏移跳频图案状态 作为神经网络的输入,经过两个卷积层和两个全连接层得到最终的输出值,即动作 ,Q函数表示为:,
其中, 为立即奖励值,是折扣因子, 是在状态 下采取动作 的下一个状态,为目标网络所选动作,每个时间步长n的经验 被存储在经验回放池中,即将数组 存放入集合 中,且通过随机选择均匀分布 中的元素,得到目标值:
,
其中,为立即奖励值, 是第i次迭代时目标Q网络的参数,当输入为 时,目标Q网络的输出为 ,第i次迭代时策略Q网络的参数 ,目标值与策略Q网络的实际输出的均方误差作为损失函数:,
其中, 为目标网络的参数,为策略网络的参数,损失函数的梯度为:,
其中,为目标值,使用梯度下降法对策略网络的参数进行更新。
4.根据权利要求3所述的分块捷变跳频方法,其特征在于:步骤3还包括步骤S39、在训练阶段,根据状态 ,智能体采用动态 ‑greedy算法选择动作 ,即在每次迭代时随机选择动作 的概率为 ,而选择令策略网络最大的动作的概率为 ,其中, ,其中 =0.9为初始概率,i为迭代次数,decay为衰减参数,概率 随着迭代次数的增加以指数级别降低,并将样本存入经验回放池 ,经验回放池 满了之后,用新的样本根据先进先出的原则更新经验回放池;
步骤S310、经验回放池 中元素数量大于预设值10000后,从 中随机选择64个样本,其中 表示随机变量 服从 上的均匀分布,通过梯度下降算法进行策略网络的参数 迭代更新,每迭代设定值C次后,将策略网络的参数复制用来更新目标网络参数 重复以上过程直到达到500次训练回合;
步骤S311、训练结束后,将状态 输入策略网络计算得到输出 ,选取最大Q值对应的动作,执行该动作即可,不需要再继续迭代更新网络参数。
5.根据权利要求1所述的分块捷变跳频方法,其特征在于:步骤S4的具体方法如下:步骤S41、跳频通信接收方在下一次捷变前向跳频通信发送方传输下一个分块窗口的捷变偏移参数 ;
步骤S42、跳频通信发送方接收下一个分块窗口的捷变偏移参数 。
6.根据权利要求1所述的分块捷变跳频方法,其特征在于:步骤S5的具体方法如下:步骤S51、跳频通信发送方根据接收到的分块捷变偏移参数 对下一个跳频分块捷变窗口内的跳频序列进行整体偏移;
步骤S52、跳频通信发送方输出偏移后的跳频序列;
步骤S53、跳频通信发送方通过跳频频率表选择频点进行跳频。
7.根据权利要求6所述的分块捷变跳频方法,其特征在于:第n个跳频分块捷变窗口中的分块捷变偏移跳频图案能够表示为:其中, 是第n个分块捷变偏移跳频图案中第 个时隙的偏移频率,跳频通信发送方输出偏移后的跳频序列能够表示为。