1.一种无人机编队协调控制方法,其特征在于,包括以下步骤:
(1)根据运动学和动力学原理建立单一无人机的飞行模型;具体如下:利用三自由度模型描述空间中的无人机运动学模型:其中,下标
其中,
(2)构建虚拟领航法无人机集群编队相对运动模型;具体如下:
首先设第i架无人机的位置为:
定义推力向量和空气动力学矢量构成无人机的控制变量为
无人机的状态方程如下:
(3)根据无人机的动力学模型和编队运动模型设计滑模控制器对无人机进行控制;具体如下:首先,定义第i架无人机的编队控制误差为:
其中,
然后,设计滑模面为:
最后,设计滑模控制率
(4)设计马尔科夫决策过程,设计滑模控制器的状态空间,动作空间和奖励函数;具体如下:将其中,
(5)构建多智能体的表演家-评论家网络结构;具体如下:包括集中式评论家网络和分布式的演员网络;其中,集中式评论家网络由嵌入层,变换器编码层和多层感知器MLP组成;分布式的演员网络由态势感知层、决策层和动作编码层组成;在评论家网络的编码层中加入transformer结构自注意力机制接收输入数据并解码输出成目标序列;在演员网络的决策层加入LSTM用于处理序列数据,并且其输出连接到后续的全连接层以生成动作;
(6)运用多智能体强化学习算法对所述多智能体的表演家-评论家网络结构进行集中式训练和分布式执行策略;具体如下:首选选用多智能体强化学习算法MADDPG,然后,使用当前的演员网络产生的动作和从目标网络得到的下一状态的动作估算目标Q值,其次,计算损失函数,通过梯度下降更新评价者网络,使用评价者网络的梯度信息更新演员网络;
(7)当完成训练的目标后,保存训练好的深度强化学习智能体,并使用智能体对无人机对应飞控进行控制来完成编队;在训练达到预定效果后,导出深度强化学习智能体,将智能体与无人机飞行中枢连接,用智能体来对飞行中枢进行控制;在每个时间步,智能体从无人机系统中获取状态信息,智能体根据状态生成动作,并将动作返回给无人机系统执行;具体如下:在MATLAB中对无人机编队的模型进行建模,使用强化学习工具箱搭建强化学习的算法和ACTOR-CRITIC神经网络结构;在MATLAB软件中进行训练过程,训练完成后智能体模型导出为一个包含模型权重和结构的MAT种子文件,使用 MATLAB 的 GPU Coder 工具包从MAT函数生成 CUDA 代码;将包含代码的文件夹转移到Jeston Nano TX2英伟达嵌入式开发板上,并配置好TX2开发板的GPU驱动环境和ROS环境;调整路径编译代码生成ROS节点;接下来将PX4设置为offboard模式,在无人机上部署Jeston Nano TX2,用 UART 转 USB 适配器连接飞控与TX2开发板,这样实现PX4飞控与TX2开发板的通信;TX2开发板上的ROS机器人操作系统和PX4飞控使用 uXRCE-DDS 通信中间件进行话题通信,uXRCE-DDS的中间件由运行在PX4上的客户端Client和运行在TX2开发板上的代理端Agent组成, 通过串口、UDP、TCP或其他链路实现双向数据互联;代理端Agent充当客户端Client的代理在DDS全局数据空间中发布和订阅话题,TX2上训练好的神经网络模型通过ROS话题订阅PX4飞控发布的UORB无人机状态信息的话题,然后网络调整滑模控制器的参数,再给出下一时刻的动作信息;无人机之间以及无人机和地面站之间使用WIFI来进行数据交换;滑模控制器给出无人机的高维控制,接收到控制信息的PX4飞控控制无人机的电机来改变无人机速度和方向。