1.一种小车‑二级倒立摆系统优化控制方法,应用于包括小车,第一根倒立摆和第二根倒立摆的小车‑二级倒立摆系统,其特征在于,包括以下步骤:S10,确定小车‑二级倒立摆系统的6个状态,在施加一定的作用力后,获得6个状态随时间的变化情况;设置高斯核函数,通过以当前状态控制对为输入,状态变化量为输出,训练出高斯核函数超参数的取值;通过联合概率分布函数,得到第i时刻状态控制对的分布与第i+1时刻状态分布的关系,即高斯过程模型;
S20,设置小车‑二级倒立摆系统的状态、时间步长和控制变量的离散取值;定义成本函数的期望形式,设定奖励惩罚机制,给定每个时间步的Q值的更新规则;学习过程前期不断地缩小控制量的取值范围,学习过程后期不断地平移控制量的取值范围;当收敛到产生成本函数的较小值,确定最优的控制区间与较优的离散控制序列;
S30,获得高斯过程模型和最优控制区间后,对公式高斯过程模型和初始条件变分,得到Δμi和Δηi的迭代形式,结合高斯过程模型的迭代计算,得到总的目标函数值与梯度值;
S40,调用基于梯度的优化求解器,并将学习得到的较优的离散控制序列作为优化控制的初始猜测,通过梯度值和总的目标函数值的计算,迭代求解得到最优的控制力序列;
在小车‑二级倒立摆系统的控制过程中,最佳地设计控制力,使得二级倒立摆系统在T时刻满足第一根倒立摆和第二根倒立摆的角度为2π,首先采用强化学习来尽可能地靠近全局最优的控制区间和获得较优的离散控制序列;
在强化学习中,小车‑二级倒立摆系统优化控制系统满足M=<X,U,P,R,γ>马尔可夫决策过程,X,U,P,R,γ各自的定义如下:X是小车‑二级倒立摆系统的6个状态向量x,即
X=<x(j)>=<μj,ηj>,j=0,1,...,N, (5)式中,<>表示集合,j是时间步长,取N=10,
U是包含所有可能操作的动作空间,即施加的力的离散取值,将合理的控制离散取值设为am,那么U={am},m=1,2,...,M, (6)式中,M为控制量所取的个数,每次取M=100,P是状态转移概率函数,P[x(j+1)=x’|x(j)=x,u(j)=a]=P(x,a,x’),R是在每个时间步j=0,1,...,N的状态和动作的奖励,学习控制的目的是使得二级倒立摆系统在T时刻满足第一根倒立摆和第二根倒立摆的角度为2π,奖励函数可用控制成本函数来定义,第j个时刻的控制成本函数定义为:tg
式中, 和R'分别为状态和控制的权值系数,根据实际情况提前给定;x (j)是目标位置;
由于状态量xj含有均值和方差,两边求期望,可以得到如下第j个时刻的控制成本函数其中,L代表目标函数,当远超过或远不到2π时,应该给小车‑二级倒立摆系统优化控制系统一个惩罚;当接近2π时,应该给小车‑二级倒立摆系统优化控制系统一个奖励,接近2π与远离2π的指标Cj=x(j)‑Zj,其中Zj为各个时刻接近2π趋势的设定值式中,取λ为π/10;
γ是折扣系数,假设随着时间的推移,相应的奖励会打折,每个时间步的奖励是基于前一步的奖励Rj和折扣系数γ0≤γ≤1,取γ为0.85;累积奖励表示为采用Q学习算法,在每个离散时间步骤,小车‑二级倒立摆系统优化控制系统观察当前状态并对最大化奖励的状态采取行动;使用规则更新每个时间步的Q值j+1 j j j
Q (x(j),aj)=Q(x(j),aj)+∈×[Rj+1+γ(maxQ(x(j+1),aj+1)‑Q(x(j).aj))],(11)j
其中,Q (x(j),aj)是时刻j的状态x(j)和动作aj的Q值,∈是描述∈‑greed算法中利用可能性的学习率,在大量训练下探索所有组合训练,∈是描述∈‑greed算法中利用可能性的学习率,在大量训练下探索所有组合训练,Q学习算法应该为所有状态‑动作组合生成Q值,在每个状态下,选择具有最大Q值的动作作为最佳动作;
S20具体包括:
Q学习算法应该为所有状态‑动作组合生成Q值,在每个状态下,选择具有最大Q值的动作作为最佳动作,进一步提出控制区间自适应的强化学习方法,用来在学习过程中不断地缩小控制量的取值范围,argminINE[L(x,a)],
IN=[min{am},max{am}], (12)其中,E[L(x,a)]是每个时刻代价之和,IN表示自适应地优化选择控制量的区间,设置更大范围的控制区间来开始训练过程,根据成本函数的结果,选择产生最小成本的动作空间中的控制区间作为下一次学习的新的控制区间,在此过程中,控制区间在缩小的过程中,同时保持控制的离散数量M不变,控制越来越精细,即每个控制区间的动作数量是恒定的,每个区间逐渐减小并且间隔逐渐减小,也就是第l次学习的控制区间和第l+1次学习的控制区间满足[min{am},max{am}](l)就等于在控制区间训练l次后的(12)式中的IN,当一组动作收敛到某个控制区间时,小车‑二级倒立摆系统优化控制方法开始通过移动控制区间继续试验相邻值,也就是第n次学习的控制区间和第n+1次学习的控制区间满足是平移参数,优化以成本函数来自适应选择控制空间的过程是迭代的,并且一旦控制区间收敛到产生成本函数的较小值的时间间隔,则控制区间成为最优的控制区间,并确定较优的离散控制序列。
2.如权利要求1所述的小车‑二级倒立摆系统优化控制方法,其特征在于,S10中,确定小车‑二级倒立摆系统的6个状态分别为:小车的位移x1、小车的速度x2、第一根倒立摆的角速度x3和角度x5、第二根倒立摆的角速度x4和角度x6,令 为矩阵转置,并设作用力为u(t),初始时刻小车与两根倒立摆都处于静止状态,即x1(0)=0,x2(0)=0,x3(0)=0,x4(0)=0,x5(0)=π,x6(0)=π,整个控制时间尺度为T=1.2秒,每次控制作用为0.02秒,整个控制时间需要60个控制序列,即离散时刻i=0,1,...,60,对应时刻的状态和控制就是x(i)和u(i)。
3.如权利要求2所述的小车‑二级倒立摆系统优化控制方法,其特征在于,高斯建模过程如下:高斯过程所要学习的映射关系,是当前的状态控制对xp={x(0),u(0),...,x(59),u(59)}到状态变化量Δx={Δx(0),...,Δx(59)}之间的关系,其中符号Δ是状态的变化量,Δx(i)=x(i+1)‑x(i),* * *
根据高斯过程建模,对于给定的1个状态控制对xp={x ,u},它与60个状态控制对xp={x(0),u(0),...,x(59),u(59)}之间的关系如下所示:式中,GP表示高斯概率分布,I为单位矩阵,σw为一与噪声有关的超参数,K,k为高斯核函数,当向量与向量操作时,记为K;当数与数或数与向量操作时,记为k;f是未知的小车‑二级倒立摆系统的动态模型,核函数一般定义平方指数协方差函数式中,ym,yn是固定的数值或是矩阵;σf与方差有关的超参数;W为权值矩阵,只在对角线上有数值,且这些数值都为超参数,通过具体的控制状态对的输入和状态变化量的输出,优化得到超参数的具体数值;
通过联合概率分布(1)获得f(x(i),u(i))的均值 和方差
由此,根据第i时刻状态控制对的分布,通过准确计算,得到第i+1时刻状态分布的预测值:式中, 是状态和相应的状态转换之间的协方差,由匹配方法获得,从而
得到高斯过程模型,即第i时刻状态控制对的分布,计算第i+1时刻状态的分布。
4.如权利要求3所述的小车‑二级倒立摆系统优化控制方法,其特征在于,为了得到最优的控制序列,提出小车‑二级倒立摆系统高斯过程模型的优化控制,首先,对公式(4)变分得到其中,Δ表示微变量,由于初始条件是固定值,因此初始条件的变分都为0,即Δμ0=0,Δη0=0,由于Δui是任意数值,为了形式简单,将其设置成Δui=1,得到Δμi和Δηi的迭代形式总的目标函数的期望值
对第i步的期望E[L(x(i),ui)]做变分得到
整个时间区间内的总的目标函数的变分,即目标函数的梯度变为
其中,Δμi和Δηi由公式(16)给出,μi和ηi由公式(4)给出。