1.一种分层迭代对抗策略网络训练方法,其特征在于,包括以下步骤:S1:根据当前规避敌机导弹策略和规避策略训练奖励函数获取当前规避敌机导弹策略对应的规避结果奖励,根据当前规避结果奖励对规避策略网络进行更新;
S2:根据当前导弹发射策略和发射策略训练奖励函数获取当前导弹发射策略对应的导弹发射结果奖励,根据当前导弹发射结果奖励对发射策略网络进行更新,其中,包括命中率奖励函数,当敌我战机距离不大于导弹雷达能够锁定敌机的最大距离时,获取当前代训练后的发射指导模型的实时输出值,将发射指导模型的实时输出值作为的函数值;
S3:重复S1-S2直至达到预设收敛条件,得到训练好的分层迭代对抗策略网络。
2.根据权利要求1所述的一种分层迭代对抗策略网络训练方法,其特征在于,规避策略网络和发射策略网络均分别包括Actor网络和Critic网络,Actor网络和Critic网络的具体训练过程包括:①初始化Actor网络和Critic网络的网络参数,并初始化预设数据阈值和预设最大训练步数;
②Actor网络和Critic网络均从环境中获取状态信息;
③Actor网络根据状态信息输出动作-机动类型,得到后执行对应机动,并得到对应的奖励信息,随后获取当前环境的下一状态信息;其中,奖励信息在规避策略网络中根据获取,在发射策略网络中根据获取;
④将当前获取的数据组(,,,)存储至经验回放区;
⑤在经验回放区中存储的数据未达到预设数据阈值时,持续获取数据组(,,,),直至达到预设数据阈值;
当经验回放区中存储的数据达到预设数据阈值后,从经验回放区中随机采样数据对Actor网络和Critic网络的网络参数进行更新;
⑥重复步骤②-⑤直至达到最大训练步数,得到训练后的规避策略网络和发射策略网络。
3.根据权利要求1所述的一种分层迭代对抗策略网络训练方法,其特征在于,在规避策略网络的训练过程中,初代规避策略的训练根据预设的规则发射策略,该预设的规则发射策略为规避策略的训练提供导弹来源;第2代及往后的规避策略则根据前一代训练得到的发射策略作为教练,在两机博弈对抗场景的规避导弹阶段进行训练;
在发射策略网络的训练过程中,初代发射策略的训练场景为预设追逐敌机场景,在该预设追逐敌机场景下敌机随机执行机动,发射策略网络仅追逐并锁定敌机,维持锁定状态但不发射导弹;第2代及往后的发射策略则在两机博弈对抗场景的追逐敌机阶段进行训练。
4.根据权利要求3所述的一种分层迭代对抗策略网络训练方法,其特征在于,规避策略训练奖励函数具体为:;
其中,为出界惩罚函数,为规避结果奖励函数;
发射策略训练奖励函数包括初代发射训练奖励函数和后代发射训练奖励函数:;
;
其中,为距离奖励函数,为攻击角度奖励函数,为命中率奖励函数,为持续追逐奖励函数,为成功命中奖励函数。
5.根据权利要求4所述的一种分层迭代对抗策略网络训练方法,其特征在于,出界惩罚函数和规避结果奖励函数具体为:;
;
式中,为智能体飞行高度;为智能体的预设飞行高度区间;
距离奖励函数为:
;
式中,为敌我战机距离;为最小安全发射距离;为导弹雷达能够锁定敌机的最大距离;
攻击角度奖励函数:
;
式中,为智能体针对目标敌机的锁定角;为导弹雷达能够锁定敌机的最大锁定角度;
命中率奖励函数为:
;
式中,为发射指导模型的实时输出值;
持续追逐奖励函数为:
;
成功命中奖励函数为:
。
6.根据权利要求2所述的一种分层迭代对抗策略网络训练方法,其特征在于,Actor网络的损失函数为:;
其中,为期望,表示新旧策略的概率比值,和分别表示新旧策略在状态完成的概率,用于重要性采样,为优势函数,衡量动作在状态下的相对价值,clip(·)表示clip函数,用于将限制在范围内,防止策略更新幅度过大,其中为限制参数;
Critic网络的损失函数为:
;
其中,表示当前价值网络对状态信息的预测状态价值,表示通过折扣回报和广义优势估计计算的目标状态价值。
7.根据权利要求2所述的一种分层迭代对抗策略网络训练方法,其特征在于,Actor网络和Critic网络均由1个输入层、2个隐藏层、1个输出层组成,每个隐藏层包含256个神经元,采用ReLU激活函数;
其中规避策略网络的输入特征包括:敌方导弹和我机距离标量、敌方导弹和我机水平位置差、敌方导弹高度、我机高度、敌方导弹欧拉角、我机欧拉角、敌方导弹速度向量和我机速度向量;
发射策略网络的输入特征包括:敌机和我机距离标量、敌机和我机水平位置差、敌机高度、我机高度、敌机欧拉角、我机欧拉角、敌机速度向量、我机速度向量、敌机线速度标量、我机线速度标量和我机针对敌机的锁定角;
规避策略与发射策略的Actor网络输出均为[0,6]的整数,代表7种可能的动作:稳定飞行、爬升、俯冲、左横滚、右横滚、左偏航、右偏航,Critic网络的输出是1个维度的状态价值估计值。
8.根据权利要求2所述的一种分层迭代对抗策略网络训练方法,其特征在于,发射指导模型使用监督学习训练方法进行训练,具体内容包括:从导弹交战仿真数据集中获取原始数据集,将原始数据集分割为训练集、验证集和测试集,并对数据集进行归一化;其中原始数据集中每一行表示一个样本数据,每个样本数据包括表征交战状态的特征向量及其对应的二元标签,用于指示该状态下发射的导弹是否命中目标;
将训练集数据划分为多个小批次,每次迭代使用一个批次的数据,每轮迭代的过程包括:对训练集样本进行前向传播;
计算损失函数;
进行反向传播并更新网络参数;
在每个训练周期结束后,使用验证集评估当前模型性能,并持续监控验证集上的损失值,当验证损失连续下降的幅度小于指定阈值超过预设下降次数,训练停止;
训练终止时,将验证损失最低的模型参数作为最终发射指导模型,通过测试集完成对最终发射指导模型的评估。
9.根据权利要求7所述的一种分层迭代对抗策略网络训练方法,其特征在于,发射指导模型采用前馈式深度神经网络作为二分类判别模型,包括:输入层:用于获取原始数据集,发射指导模型的输入特征均包括:敌机和我机距离标量、敌机和我机水平位置差、敌机高度、我机高度、敌机欧拉角、我机欧拉角、敌机速度向量、我机速度向量、敌机线速度标量、我机线速度标量和我机针对敌机的锁定角;
隐藏层:包含两个全连接隐藏层,每个隐藏层后均接有LeakyReLU激活函数与Dropout正则化操作;
输出层:1个神经元,激活函数为 Sigmoid,将输出值压缩至(0,1)区间,作为导弹命中目标的预测概率。
10.一种分层迭代对抗策略网络训练方法的应用,基于权利要求1-9任意一项所述的一种分层迭代对抗策略网络训练方法,用于无人机操控,其特征在于,无人机的操控包括3个阶段:阶段1为追逐敌机阶段,在我机刚进入交战状态时默认处于该阶段,由训练好的发射策略网络所输出的发射策略控制,并在成功锁定敌机时立即发射导弹或在训练好的发射指导模型预测的实时命中率大于指定阈值时再发射导弹;
阶段2为远离敌机阶段,使用基于规则的自动驾驶模式,实时调整航向角为敌机的反方向,并在到达设定高度后水平飞行,尽可能地远离敌机;
阶段3为规避导弹阶段,由训练好的规避策略网络所输出的规避策略控制。