1.一种基于分层强化学习策略的无人机自主导航系统,其特征在于,该系统至少包括:状态感知模块,用于采集飞行环境图像并提取障碍物相对位置和方向角信息,同时获取目标位置和无人机飞行状态参数,将多源感知数据融合构建当前状态向量,并通过状态缓存生成状态时间序列,供分层策略网络模块进行导航策略计算与动作控制;
分层策略网络模块,用于基于所述状态向量或状态时间序列生成飞行控制指令,所述分层策略网络模块包括:高层策略子模块,基于当前状态向量生成导航方向意图,所述导航方向为预定义的离散方向集合中的一类,采用深度Q学习网络DQN进行策略优化;
低层策略子模块,用于接收所述导航方向意图及状态时间序列,并通过结合长短期记忆网络LSTM结构与近端策略优化算法PPO的神经网络生成连续动作指令,所述动作指令包括无人机的偏航角速度、俯仰角速度与推力值;
控制执行模块,用于根据所述动作指令控制无人机的姿态调整与推进,并实时感知当前飞行状态信息,包括姿态角、飞行速度与飞行高度数据,用于执行指令的闭环修正及经验样本构建;
双动态记忆机制DDM,用于对飞行经验样本进行动态存储与调度,以提升策略训练的样本利用效率与收敛稳定性,由数据分类模块与数据回放模块构成:数据分类模块,用于根据飞行结果将经验数据划分为结果经验、危险经验与安全经验三类;
数据回放模块,基于样本中layer字段构建双mini-batch分流结构,分别用于优化所述高层DQN网络与低层LSTM+PPO策略网络的参数。
2.根据权利要求1所述的系统,其特征在于,所述高层策略子模块用于以低频率接收状态向量,并采用基于深度Q网络DQN的强化学习方法评估导航方向集合中各候选方向的Q值,从中选取最优导航意图,用于引导低层策略生成细粒度控制动作,实现宏观层面的路径规划。
3.根据权利要求1所述的系统,其特征在于,所述低层策略子模块用于以高频率接收由高层模块输出的导航意图及状态时间序列,并基于结合长短期记忆网络LSTM与近端策略优化算法PPO的神经网络模型输出三维连续动作控制指令,包括偏航角速度、俯仰角速度与推力控制值,实现对无人机微观飞行行为的动态调节与障碍规避。
4.根据权利要求1所述的系统,其特征在于,所述双动态记忆机制DDM由数据分类模块与数据回放模块协同构成,具备两层动态处理能力:第一层动态为经验样本的动态分类存储;
第二层动态为按经验类型构建的双mini-batch结构,实现差异化采样与分层策略优化;
以强化关键决策状态的保留与利用,提升训练过程的稳定性与策略泛化能力。
5.根据权利要求4所述的系统,其特征在于,所述数据分类模块基于飞行结果实时对经验样本进行自动分类,形成第一层动态处理机制,包括:将到达目标或发生碰撞的轨迹标记为结果经验RE;
将与障碍物距离小于预设阈值的轨迹标记为危险经验DE;
其余正常状态标记为安全经验SE;
并分别设定不同的保留概率,具体设置为PRE= 0.95,PDE = 0.10,PSE = 0.01,其中PRE、PDE和PSE 分别为结果经验、危险经验和安全经验的保留概率。
6.根据权利要求4所述的系统,其特征在于,所述数据回放模块构成第二层动态处理机制,用于从三类经验池中按设定比例优选采样,构建用于策略优化的双mini-batch结构:高层mini-batch用于DQN网络的值函数更新;
低层mini-batch用于LSTM+PPO策略网络的梯度优化;
采样比例为RE:DE:SE = 60:30:10,所述比例可根据训练阶段动态调整,以实现从初期稳定控制向后期策略强化的渐进训练目标。