欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021107577490
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 控制;调节
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于协状态辅助的自适应动态规划最优控制方法,其特征在于:包括如下步骤:步骤1,构建自主式水下机器人深度控制中的状态变量、控制变量、转移环境、效用函数和代价函数,状态变量的选取用于描述自主式水下机器人在深度控制问题中的状态信息,控制变量为自主式水下机器人执行机构产生的力和力矩,转移环境的作用是使得自主式水下机器人在当前时刻状态与控制变量的作用下,转移得到下一时刻的状态量,效用函数是为了评价自主式水下机器人在当前时刻状态下采取的控制动作的优劣,代价函数是效用函数沿着状态轨迹的累计,在自主式水下机器人深度控制问题中,目标是使得自主式水下机器人在达到目标深度时所需的代价函数最小;

步骤2,构建基于协状态辅助的自适应动态规划的执行网络、协状态网络和评价网络,用于策略提升和策略评估;

步骤3,基于协状态辅助的自适应动态规划的策略评估过程;

步骤4,基于协状态辅助的自适应动态规划的策略提升过程;

步骤5,重复步骤3~4直至循环迭代次数i大于规定次数或相邻两次外循环之后的代价函数差值|Ji+1(xt,ut,Λt)‑Ji(xt,ut,Λt)|小于设定值,迭代循环过程终止;所述步骤2中的执行网络的输入为t时刻下的状态变量x(t),输出为与状态变量x(t)对应的控制变量u(t);

协状态网络的输入为状态变量x(t)和执行网络的输出u(t),输出为与状态变量x(t)对应的协状态 评价网络的输入为状态变量x(t)、执行网络的输出u(t)和协状态Λ(t),输出为t时刻下状态行为对对应的代价函数J(xt,ut,Λt)的近似值;所述步骤3中需要对代价函数J(xt,ut,Λt)和协状态Λ(xt,ut)进行估计,具体的估计步骤如下:步骤31,固定一个给定的控制律u(xt),使用协状态网络的输出Λ(x,u)和转移模型f(·),依据式子 进行协状态函数更新;

步骤32,使用评价网络的输出J(x,u,Λ)和转移模型f(·),依据式子进行代价函数更新,

其中,第i次循环迭代时,实际会进行多次协状态函数Λ(xt,ut)与代价函数J(xt,ut,Λt)相互迭代过程,即每次外循环i会包括多次内循环j;

步骤33,最终将协状态与代价函数共同收敛;所述步骤4中策略提升过程具体为使用评价网络的输出J(x,u,Λ)和转移模型f(·),依据式子进行策略提升,策略提升目标为使得J(xt,ut,Λt)值更小。

2.根据权利要求1所述的基于协状态辅助的自适应动态规划最优控制方法,其特征在于:所述步骤3中的协状态估计为其中i为外循环迭代次数;xt表示t时刻状态量;ut表示t时刻控制量;γ为折扣因子;U(xt,ui(xt))为t时刻关于xt与ut的效用函数;Λi,j(xt,ut)为第i次外循环第j次迭代时协状态函数的近似值。

3.根据权利要求2所述的基于协状态辅助的自适应动态规划最优控制方法,其特征在于:所述步骤3中的代价函数估计为其中,Ji,j(xt,ut,Λt)为第i次外循环第j次迭代时代价函数的近似值,在评估代价函数时,增加协状态量作为评估代价函数J(x,u,Λ)的辅助变量,会较于传统只有xt和ut作为输入的策略评估更为准确。

4.根据权利要求2所述的基于协状态辅助的自适应动态规划最优控制方法,其特征在于:所述步骤3中的代价函数估计为其中, 为第i次外循环第j次迭代时评价网络的权值,σ(·)为激活函数, 为隐藏层输入, δi,j(t)=Ji,j(xt)‑(U(xk,ui(t))+Ji,j(xt+i)),αc为评价网络学习率,E(t)为资格迹,其可以表示为

5.根据权利要求1或2所述的基于协状态辅助的自适应动态规划最优控制方法,其特征在于:所述步骤4中的策略提升为 其中,J(xt,ut,Λt)与u(xt)、Λ(xt,ut)有关。

6.一种应用权利要求1至5所述方法的基于协状态辅助的自适应动态规划最优控制系统,其特征在于:包括如下模块:信息传感模块,用于从外界环境准确的获取状态信息;

优化计算模块,用于优化求解并运行所述控制方法;

控制执行模块,接受期望信息并执行相应动作。