欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021104990833
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 手动工具;轻便机动工具;手动器械的手柄;车间设备;机械手
更新日期:2026-11-17
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于机器学习的Baxter机械臂轨迹跟踪控制方法,其特征在于,所述方法包括以下步骤:

1)建立一个非线性机械臂动力学方程:其中 分别表示机械臂角度,角速度,角加速度,向量Mj(q)表示机械臂惯性矩阵,表示机械臂科氏力矩向量,Gj(q)表示机械臂重力矩向量,τ表示机械臂控制力矩向量,τd表示外部环境的未知扰动力矩向量;

设计三关节机械臂动力学模型控制器,考虑机器人动力学模型已知,定义x1=[q1,q2,q3], 分别表示三个机械臂关节的角度和角速度,将式(1)转化成如下状态空间形式:

2)初始化系统的状态,并给定初始策略u0u0=[u1,u2,u3]   (3)其中u1,u2,u3分别是三个机械臂关节的控制量;

3)利用强化学习策略迭代的方法更新权值,求取最优策略,过程如下:考虑在一定采样周期内从系统获得的数据进行模拟,利用每次迭代,进行更新所需要的权值ωL,从而求解最优的价值函数,策略迭代包括策略评估和策略改进两个步骤;

3.1)策略评估:

策略评估是在当前策略下计算出下一时刻的状态值,每一次策略评估都是一个迭代计算过程,即每次进行策略评估时,需要基于前一个策略的价值函数开始计算;

定义价值函数V:

其中x,u分别表示系统状态变量和控制策略,s是积分微元,t为当前时刻时间,r(x,u)表示一个积分强化项:T

r(x,u)=Q(x)+uRu   (5)其中Q(x)是一个包含状态信息的正定矩阵, Q(x)>0;在x=0时,Q(x)=0;

与控制策略相关联的价值函数定义:(i)

其中i表示迭代的次数,u 是第i次迭代的控制策略;T为一个时间间隔;3.2)策略改进:策略改进就是根据策略评估计算的状态值对策略进行改进,计算出新的策略;根据已u(i)经求解了与控制策略u相关联的价值函数V ,执行策略更新步骤,因此,策略更新方法是:其中R是单位矩阵,g(x)是包含输入信息的函数, 是对价值函数V的梯度求导;

最后得到:

其中L是神经网络结构的神经元参数,Φ是神经网络系统中定义的参数, 是其权值矩阵,步骤(4)给出其定义;

4)引入神经网络算法并利用最小二乘的收敛性计算权值,过程如下:u

在最小二乘意义下,确定逼近价值函数VL的神经网络的参数;

定义:

T

Φ=<[φL(x(t+T))‑φL(x(t))],[φL(x(t+T))‑φL(x(t))]>   (9)其中x(t)是t时刻下的状态,φL(x(t))是t时刻神经网络结构中的激活函数;

神经网络结构逼近下的价值函数:

其中

5)停止策略更新

策略迭代一致的收敛性,最终收敛于初始轨迹上的收敛解,当两个连续步骤中的价值函数误差小于给定的阈值ε,需要再次调整神经网络的参数。