1.一种基于机器学习的Baxter机械臂轨迹跟踪控制方法,其特征在于,所述方法包括以下步骤:
1)建立一个非线性机械臂动力学方程:其中 分别表示机械臂角度,角速度,角加速度,向量Mj(q)表示机械臂惯性矩阵,表示机械臂科氏力矩向量,Gj(q)表示机械臂重力矩向量,τ表示机械臂控制力矩向量,τd表示外部环境的未知扰动力矩向量;
设计三关节机械臂动力学模型控制器,考虑机器人动力学模型已知,定义x1=[q1,q2,q3], 分别表示三个机械臂关节的角度和角速度,将式(1)转化成如下状态空间形式:
2)初始化系统的状态,并给定初始策略u0u0=[u1,u2,u3] (3)其中u1,u2,u3分别是三个机械臂关节的控制量;
3)利用强化学习策略迭代的方法更新权值,求取最优策略,过程如下:考虑在一定采样周期内从系统获得的数据进行模拟,利用每次迭代,进行更新所需要的权值ωL,从而求解最优的价值函数,策略迭代包括策略评估和策略改进两个步骤;
3.1)策略评估:
策略评估是在当前策略下计算出下一时刻的状态值,每一次策略评估都是一个迭代计算过程,即每次进行策略评估时,需要基于前一个策略的价值函数开始计算;
定义价值函数V:
其中x,u分别表示系统状态变量和控制策略,s是积分微元,t为当前时刻时间,r(x,u)表示一个积分强化项:T
r(x,u)=Q(x)+uRu (5)其中Q(x)是一个包含状态信息的正定矩阵, Q(x)>0;在x=0时,Q(x)=0;
与控制策略相关联的价值函数定义:(i)
其中i表示迭代的次数,u 是第i次迭代的控制策略;T为一个时间间隔;3.2)策略改进:策略改进就是根据策略评估计算的状态值对策略进行改进,计算出新的策略;根据已u(i)经求解了与控制策略u相关联的价值函数V ,执行策略更新步骤,因此,策略更新方法是:其中R是单位矩阵,g(x)是包含输入信息的函数, 是对价值函数V的梯度求导;
最后得到:
其中L是神经网络结构的神经元参数,Φ是神经网络系统中定义的参数, 是其权值矩阵,步骤(4)给出其定义;
4)引入神经网络算法并利用最小二乘的收敛性计算权值,过程如下:u
在最小二乘意义下,确定逼近价值函数VL的神经网络的参数;
定义:
T
Φ=<[φL(x(t+T))‑φL(x(t))],[φL(x(t+T))‑φL(x(t))]> (9)其中x(t)是t时刻下的状态,φL(x(t))是t时刻神经网络结构中的激活函数;
神经网络结构逼近下的价值函数:
其中
5)停止策略更新
策略迭代一致的收敛性,最终收敛于初始轨迹上的收敛解,当两个连续步骤中的价值函数误差小于给定的阈值ε,需要再次调整神经网络的参数。