1.一种强化学习优化无人机轨迹跟踪模型预测控制方法,其特征在于,包括以下步骤:步骤S1、建立四旋翼无人机动力学模型,包括位置动力学模型和姿态动力学模型;
步骤S2、基于无人机动力学模型,构建模型预测控制器,并建立模型预测控制优化问题,得到无人机轨迹跟踪代价函数;
步骤S3、构建近端策略优化算法网络,包括行动家网络和批评家网络,通过近端策略优化算法调节模型预测控制器代价函数的权值矩阵,并求解模型预测控制优化问题,以获取最优控制输入;
根据无人机模型预测控制性能指标建立所述模型预测控制优化问题,无人机模型预测控制性能指标为:;
其中,N表示预测域的长度;表示无人机在k时刻的位置状态信息;表示无人机在k时刻的控制输入信息;和分别表示代价函数中的状态误差增益系数和控制输入增益系数,和满足:;
其中,和分别表示预先设置的代价函数中的状态误差增益系数和控制输入增益系数;,S表示总代价函数增益系数矩阵,SQ和Sp分别表示状态误差权值优化矩阵和控制输入权值优化矩阵,由近端策略优化算法给出;
所述近端策略优化算法的动作空间为:
;
其中,,表示动作空间中元素的数量,表示总代价函数增益系数矩阵的秩;动作空间的上下限为,并符合高斯分布;
根据权值矩阵的要求对动作空间Action进行裁剪和数值缩放,得到:;
其中,,,表示动作空间中影响状态误差权值优化矩阵的元素数量,表示动作空间中影响控制输入权值优化矩阵的元素数量,表示状态误差权值优化矩阵的秩,表示控制输入权值优化矩阵的秩;进而得到权值优化矩阵:;
。
2.根据权利要求1所述的强化学习优化无人机轨迹跟踪模型预测控制方法,其特征在于,所述步骤S1中,构建的位置动力学模型如下:;
其中,分别表示在地面坐标系下无人机在X,Y,Z三个方向上的位移加速度;m表示四旋翼无人机的质量;g为重力加速度;分别表示四旋翼无人机总空气阻力系数根据X,Y,Z方向分解后的系数;分别表示四旋翼无人机的滚转角、俯仰角、偏航角;表示四旋翼无人机螺旋桨产生的总升力;分别表示无人机在地面坐标系下X,Y,Z轴上位置对时间的导数;
构建的姿态动力学模型如下:
;
其中,分别表示在四旋翼无人机机体坐标系下X,Y,Z三个方向上的角加速度;分别为四旋翼无人机机体坐标系下的X,Y,Z轴转动惯量;分别表示在四旋翼无人机机体坐标系下X,Y,Z三个方向上的虚拟控制量;分别表示四旋翼无人机俯仰角、滚转角、偏航角的导数;表示整个电机转子和螺旋桨绕机体转轴的总转动惯量;分别表示总阻力转矩系数在机体坐标系下X,Y,Z轴的分量;表示螺旋桨角速向量。
3.根据权利要求1所述的强化学习优化无人机轨迹跟踪模型预测控制方法,其特征在于,在构建所述模型预测控制器时,将四旋翼无人机动力学模型与四旋翼无人机运动学模型相结合,得到无人机的完整运动模型;四旋翼无人机运动学模型为:;
其中,分别表示无人机在地面坐标系下X,Y,Z轴上位置对时间的导数;分别表示四旋翼无人机在地面坐标系下X,Y,Z三个方向上的速度;分别表示四旋翼无人机俯仰角、滚转角、偏航角对时间的导数;分别表示四旋翼无人机俯仰角、滚转角、偏航角的角速度。
4.根据权利要求1所述的强化学习优化无人机轨迹跟踪模型预测控制方法,其特征在于,在建立所述模型预测控制优化问题时,使用无人机模型预测离散化运动学模型作为状态方程,无人机模型预测离散化运动学模型为:;
式中:
;
;
;
;
A满足:
;
B满足:
;
其中,k表示整个系统的第k个时刻;k+1表示k时刻经过1个时间间隔后的时刻;分别表示无人机在地面坐标系下X,Y,Z轴上位置对时间的导数;分别表示四旋翼无人机在地面坐标系下的位置;分别表示四旋翼无人机俯仰角、滚转角、偏航角对时间的导数;分别表示四旋翼无人机的滚转角、俯仰角、偏航角;表示四旋翼无人机四个螺旋桨的控制分量;分别为四旋翼无人机机体坐标系下的X,Y,Z轴转动惯量;分别表示X中的前六个元素,即滚转角、滚转角速度、俯仰角、俯仰角速度、偏航角、偏航角速度;m表示四旋翼无人机的质量;表示四旋翼无人机螺旋桨产生的总升力。
5.根据权利要求1所述的强化学习优化无人机轨迹跟踪模型预测控制方法,其特征在于,所述近端策略优化算法的奖励函数为:;
其中,G表示奖励函数的总增益系数,λ表示误差惩罚系数,l表示控制域长度,表示期望位置,表示当前实际位置,i表示控制域内的第i个时刻。
6.根据权利要求5所述的强化学习优化无人机轨迹跟踪模型预测控制方法,其特征在于,所述批评家网络通过优化损失函数来调整参数,最大化奖励函数;通过迭代训练和优化,批评家网络使奖励函数引导模型优化性能,动态调整模型预测控制器。