1.基于强化学习的四旋翼无人机预置性能跟踪控制方法,其特征在于,包括以下步骤:步骤1:构建四旋翼无人机的姿态动力模型,采用预置性能函数对姿态动力模型建立姿态角状态约束后,结合姿态角误差变量,构建满足四旋翼无人机瞬态响应性能要求的姿态跟踪误差模型;
步骤2:将步骤1构建的姿态跟踪误差模型离散化,基于离散化后的姿态跟踪误差模型构造四旋翼无人机的长期代价函数,形成积分强化学习的实时奖励函数;
步骤3:构建四旋翼无人机系统控制行为好坏的评价神经网络,基于评价神经网络对长期代价函数的估计值,构建积分强化学习的误差模型,结合步骤2形成的实时奖励函数,建立评价神经网络‑动作神经网络积分强化学习控制模型;
步骤4:对评价神经网络‑动作神经网络积分强化学习控制模型中的评价神经网络、动作神经网络分别设计权重更新律,使用采用所述权重更新律的积分强化学习控制模型对四旋翼无人机姿态进行跟踪控制。
2.根据权利要求1所述的基于强化学习的四旋翼无人机预置性能跟踪控制方法,其特征在于,所述步骤1包括以下子步骤:步骤11:构建四旋翼无人机的姿态动力模型:其中, 为四旋翼无人机姿态角的变化率;
为四旋翼无人机姿态角速率的变化率;
RΩ为四旋翼无人机的姿态角系统的旋转矩阵;
ω、I为四旋翼无人机的姿态角速率、转动惯量;
×
ω 为四旋翼无人机的姿态角速率矩阵;
τ为四旋翼无人机的控制力矩;
d为四旋翼无人机受到的外部有界干扰;
步骤12:采用预置性能函数对姿态动力模型建立姿态角状态约束:其中Ωi(t)为i下的四旋翼无人机姿态角;
i∈{φθψ},φ、θ、ψ分别为滚转角、俯仰角和偏航角,表示下标i指代的是滚转角、俯仰角和偏航角中的一个;
为预置性能指标函数,满足 为常数,满足t为时间变量;
δi为预置性能指标函数的幅值调节参数,满足0<δi≤1,i=1,2,3;
步骤13:结合姿态角误差变量,构建满足四旋翼无人机瞬态响应性能要求的姿态跟踪误差模型:T
其中,和 分别为预置性能跟踪误差向量ε(t)=[εi(t)] ,i∈{φθψ}关于时间t的一阶与二阶导数;
εi(t)为姿态角误差变量兼顾四旋翼无人机的状态约束与控制模型,具体为:T T
Ω=Ω(t)=[Ωi(t)] ,i∈{φθψ}为四旋翼无人机姿态角向量,Q=[ri] ,i∈{φθψ},中间变换变量 其中,辅助姿态角约束变量 为Q关于时间的一阶导数, 为约束姿态角i∈{φθψ}的预置性能指标函数向量, 为 关于时间的一阶导数, 为 关于时间的二阶导数,RΩ为四旋翼无人机的姿态角系统的旋转矩阵, 为四旋翼无人机的姿态角系统的旋转矩阵关于时间的一阶导数,为引入的中间变量。
3.根据权利要求2所述的基于强化学习的四旋翼无人机预置性能跟踪控制方法,其特T ×征在于,ω=[p q r],R与ω 分别为:其中p、q、r分别为滚转角速率、俯仰角速率和偏航角速率;
φ、θ、ψ分别为滚转角、俯仰角和偏航角。
4.根据权利要求2所述的基于强化学习的四旋翼无人机预置性能跟踪控制方法,其特征在于,所述 为:其中, 表示双曲余割函数,
和a为根据四旋翼无人机的瞬态性能选择的性能参数, 决定四旋翼无人机姿态角运行的初始边界与终点边界,a>0决定四旋翼无人机预置性能函数约束下姿态角的收敛速度。
5.根据权利要求1所述的基于强化学习的四旋翼无人机预置性能跟踪控制方法,其特征在于,所述步骤2包括以下子步骤:步骤21:将步骤1构建的姿态跟踪误差模型离散化,得到离散化后的姿态跟踪误差模型:x1(l+1)=x2(l)
x2(l+1)=f(x(l))+g(x(l))ν(l)+d(l)T
其中,x(l)=[x1(l) x2(l)] 为基于前向差分法离散化的第l步预置性能跟踪误差向量Tε(t)=[εi(t)] ,i∈{φ θ ψ}及预置性能跟踪误差向量关于时间的一阶导数x1(l+1)、x2(l+1)分别为基于前向差分法离散化的第l+1步预置性能跟踪误差向量ε(t)T=[εi(t)] ,i∈{φ θ ψ}及预置性能跟踪误差向量关于时间的一阶导数ν(l)为离散化的控制输入力矩;
f(x(l)),g(x(l))分别为离散化模型的模型矩阵和控制分配矩阵;
d(l)为离散化后的四旋翼无人机外部有界扰动。
步骤22:基于步骤21得到的离散化后的姿态跟踪误差模型中的误差状态量与控制量构造四旋翼无人机的长期代价函数:其中,M(x(l+kΓ))为正定函数,反应当前四旋翼无人机姿态角是否发生了越界;
kΓ为在当前第l步基础上,时间向后进行控制性能预测的步数;
T
x(l+kΓ)=[x1(l+kΓ) x2(l+kΓ)]为离散化后第l+kΓ步的预置性能跟踪误差向量及其一阶导数;
为关于γ的kΓ次幂函数值,γ为折扣因子,满足0≤γ≤1;
R为正定矩阵的权重矩阵,平衡四旋翼无人机模型的跟踪误差性能与能量消耗;
ν(l+kΓ)为离散化后第l+kΓ步的控制输入力矩;
t0为基于前向差分法离散化误差模型的初始时刻;
步骤23:根据步骤22的长期代价函数Γ(l),形成积分强化学习第l步的实时奖励函数r(l):T T T
r(l)=M(x(l))+ν(l)Rν(l)=(x1(l)‑x1d(l)) Q(x1(l)‑x1d(l))+ν(l)Rν(l)T T=(y(l)‑yd(l)) Q(y(l)‑yd(l))+ν(l)Rν(l)其中,y(l)=x(l),表示四旋翼无人机姿态模型的输出量;
Q为正定的权重矩阵;
x1d(l),yd(l)为期望的四旋翼无人机姿态角信号。
6.根据权利要求1所述的基于强化学习的四旋翼无人机预置性能跟踪控制方法,其特征在于,所述步骤3包括如下子步骤:步骤31:构建四旋翼无人机模型控制行为好坏的评价神经网络:T
其中,Wc为理想的评价神经网络的权重矩阵;
Γd(l)为期望的长期性能指标函数,Γd(l)为全是零的向量;
Θc为评价神经网络的激活函数;
ιc为评价神经网络对期望的长期性能指标函数Γd(l)的估计误差;
满足||Wc||≤Wcm,||ιc(s(l))||≤ιcm和||Θc(l)||≤Θcm,Wcm>0,ιcm>0,Θcm>0均为未知的常数;
步骤32:基于评价神经网络对长期代价函数的估计值,构建积分强化学习的误差模型:其中, 为评价神经网络对长期代价函数Γ(l)的估计值,ec(l)为积分强化学习的误差;
步骤33:基于积分强化学习的误差模型与实时奖励函数,建立评价神经网络‑动作神经网络积分强化学习控制模型:基于积分强化学习的误差模型,在第l步,建立如下的四旋翼无人机姿态角跟踪误差e1(l):e1(l)=x1(l)‑xd(l)=x1(l)‑yd(l+i‑1),i=1,2其中,xd(l)=yd(l)和x(l)=y(l);
xd(l),yd(l)为期望的四旋翼无人机姿态角跟踪信号;
进而,在姿态角跟踪误差的基础上,引入第l步的姿态角速率跟踪误差:e2(l+1)=f(x(l))+g(x(l))ν(l)+d(l)‑yd(l+2)依据状态反馈控制律的设计方法,设计理想控制器如下:其中, 为设计的控制增益;
引入如下的动作神经网络设计:
其中,Wa为理想的动作神经网络的权重,Θa为动作神经网络的激活函数;
动作神经网络的输入s(l)定义为
va代表动作神经网络中隐层的权重,至此,完成评价神经网络‑动作神经网络积分强化学习控制模型建立。
7.根据权利要求1所述的基于强化学习的四旋翼无人机预置性能跟踪控制方法,其特征在于,所述步骤4中,评价神经网络的权重更新律设计过程为:对于评价神经网络 引入如下的评价神经网络的近似误差:其中,神经网络的权重近似误差 为评价神经网络理想权重Wc的估计值;
结合Bellman迭代方程和经验差分法,积分强化学习的误差进一步演化为:为最小化长期代价函数Γ(l),将其映射到如下的误差代价函数Ec(l)中:进一步,结合离散模型的自适应梯度下降方法,设计如下的评价神经网络权重更新梯度:其中, 结合链式法则, 具体为:
其中,αc>0为评价神经网络权重更新律的学习增益;
从而可得如下的评价神经网络权重更新律:
8.根据权利要求1所述的基于强化学习的四旋翼无人机预置性能跟踪控制方法,其特征在于,所述步骤4中,动作神经网络的权重更新律设计过程为:针对含有理想权重的动作神经网络,设计如下的神经网络估计策略解决其无法直接应用的问题:其中,ν(l)为动作神经网络的输出;
||Wa||≤Wam,||ιa(s(k))||≤ιam和||Θa(k)||≤Θam,Wam>0,ιam>0,Θam>0为未知的常值;
进一步,结合四旋翼无人机姿态角速率的跟踪误差,可得:其中,e2(l)=x2(l)‑x2d(l),x2d(l)为期望的姿态角速率;
同时,动作神经网络权重的估计误差 定义为结合四旋翼无人机受到的外部有界干扰和动作神经网络估计误差,将无人机受到的外部有界干扰和动作神经网络估计误差引起的四旋翼无人机姿态角跟踪误差定义为d∑(l)=‑g(x(l))ιa(s(l))+d(l);
进一步,引入动作神经网络的估计误差 结合最小化评价神经网络输出的目的,设计如下的动作神经网络误差:其中, 为理想评价神经网络的输出的估计值;
根据最小化动作神经网络误差ea(l)的目标,引入二次型误差 结合链式法则,动作神经网络权重的更新梯度设计为:进一步,可得动作神经网络权重更新律: