1.一种无人机编队路径规划方法,其特征在于,所述方法包括:
获取无人机编队工作区域的地形三维数据;所述无人机编队包括:虚拟长机与僚机;所述地形三维数据包括:无人机编队中每个无人机的出发点、无人机编队的期望队形;
根据所述地形三维数据,建立虚拟长机的状态集,对虚拟长机进行动作离散化建立动作集,并根据状态集与动作集建立收益函数表格;
确定虚拟长机在与环境空间交互时从动作集中选择动作的策略;
根据Q-learning算法进行收益函数表格的更新,得到虚拟长机的路径点;
根据虚拟长机路径点,结合B样条曲线拟合法,生成虚拟长机路径;
根据虚拟长机路径及预期编队队形,结合无人机的六自由度全状态数学模型和多智能体一致性理论对跟随着无人机进行编队飞行协同控制;其中,所述编队飞行协同控制包括:基于多智能体一致性理论为僚机设计包含队形跟踪误差项和人工势场斥力项的位置层虚拟控制律。
2.根据权利要求1所述的一种无人机编队路径规划方法,其特征在于,无人机编队需要交互的三维环境使用栅格法离散化为单元化网格;对于无人机的动作离散化,以无人机为中心点,2个单位长度为棱长构建正六面体,将动作空间离散化为26个可供无人机选择的方向,包括正六面体6个面的法线方向,8个顶点方向,12条棱线中点方向。
3.根据权利要求1所述的一种无人机编队路径规划方法,其特征在于,根据智能体的状态集与动作集建立的收益函数表格,依照其当前状态所选择的动作后转变成下一个状态所获得的即时奖励来更新,更新函数如下描述:
其中,表示学习率,用以权衡下一时刻状态的价值对当前状态价值的影响;是学习折扣因子,,其越接近1,表示此迭代公式越着重考虑后续状态所能取得的价值;表示下一时刻在动作集中选择使取得最大值的动作。
4.根据权利要求1所述的一种无人机编队路径规划方法,其特征在于,采用的动作选择策略能够平衡Q-learning算法学习过程中探索与利用的关系,从而使虚拟长机在寻找路径时能够更全面地探索环境;此策略具体可描述为:其中,表示在状态下的动作选择策略;首先初始化一个小概率,对于给定的状态,以的概率选择随机动作,以的概率选择当前状态下能取得最大值的动作。
5.根据权利要求2所述的一种无人机编队路径规划方法,其特征在于,即时奖励,可用如下式子描述:其中,与的取值如下所示:
其中,表示无人机每一步运动的步长;表示环境中障碍物区域,表示整个环境区域,表示目标点的坐标,无人机运动到有障碍物的环境网格上获得的状态奖励值为,运动到目标点获得的状态奖励值为100,在其他网格点处状态奖励值为0。
6.根据权利要求1所述的一种无人机编队路径规划方法,其特征在于,根据收益函数表格导出虚拟长机的路径点具体方法可描述为:从出发点所对应的虚拟长机状态开始,选择在当前状态对应的中的最大值所对应的动作,执行此动作进行状态更新,直至到达目标点,并记录虚拟长机的每一状态,将所有出现过的状态导出,即为虚拟长机的路径点。
7.根据权利要求1所述的一种无人机编队路径规划方法,其特征在于,用B样条曲线对得到的路径点进行曲线拟合,其中B样条曲线数学表达为:其中,为拟合后的虚拟长机路径,为基于Q-learning算法得到的离散路径点,为离散路径点个数,表示B样条曲线次数;为B样条基函数:。
8.根据权利要求1所述的一种无人机编队路径规划方法,其特征在于,编队内无人机运动学方程可用如下式子描述:其中,定义分别表示第架僚机的位置信息与速度信息,根据跟随着无人机的运动学方程和多智能体一致性理论可为跟随者无人机运动的位置层设计如下的虚拟控制律:进一步地,将位置层虚拟控制率代入各僚机运动学方程可得:
其中,和为设计常数,第架跟随者无人机的期望轨迹定义为,为期望队形参数;位置和速度跟踪误差分别为和,为第架跟随者无人机在飞行过程中所受到的来自障碍物的斥力,基于人工势场理论可将和的具体形式设计为:其中,为设计的斥力系数,表示第架僚机与第个障碍物之间的距离,和分别表示在和轴方向上的分量,为无人机对障碍物的最大感知距离。
9.根据权利要求1所述的一种无人机编队路径规划方法,其特征在于,编队内僚机动力学方程可以描述为:其中,,和分别表示第架僚机的滚转角、俯仰角与偏航角,,无人机编队轨迹—姿态耦合六自由度全状态分布式协同控制协议为:其中,表示第架无人机的总升力,为设计参数,表示无人机的质量,表示重力加速度;,为设计参数,,为期望值,根据权利要求7中得到的、重力加速度及期望的航向角,可得如下期望俯仰角与滚转角:设计如下干扰观测器估计外界误差:
和为待设计参数,为的估计值,为的估计值;,
,其中,和分别表示第架跟随者无人机的滚转角、俯仰角与偏航角,分别表示三个坐标轴上的转动惯量,将以上各式代入编队内僚机动力学方程即可解算出各僚的姿态角及姿态角速率,从而进行对各僚机的姿态控制。
10.一种计算机装置,包括:存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1-9中任一项所述一种无人机编队路径规划方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-9中任一项所述一种无人机编队路径规划方法的步骤。