欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023101109000
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 控制;调节
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种倒立摆系统的控制方法,其特征在于,主要包括以下步骤:步骤1、设置角度环和位置环,其中,角度环是正反馈,位置环为负反馈,闭环反馈输出当前时刻的PWM值给执行机构的电机,电机根据不同的PWM值进行转动;

步骤2、建立角度环,测量摆杆当前的角度值,并根据摆杆当前的角度值,控制旋转臂做相对运动,以使得摆杆保持竖立;

步骤3、建立位置环,对旋转臂设定期望位置,通过编码器得到旋转臂的当前位置,并弥补旋转臂的当前位置与期望位置的偏差;

步骤4、平衡角度环反馈的PWM值,使得摆杆保持动态竖立;

步骤5、平衡位置环反馈的PWM值,使得摆杆保持动态竖立;

所述步骤4具体包括以下步骤:

步骤41、将所述角度环的D值设为0,单独调节所述角度环的P值;

步骤42、设置状态空间S,对S的观测值s作特征处理得到,其中,是一个3维的特征向量,包括圆盘相对位置,竖杆的夹角,角度变化率,其中,圆盘相对位置由编码器测量得到,竖杆的夹角由角度传感器测量得到,角度变化率由公式得到,其中,响应时间设置为5ms;

步骤43、设置动作空间A,动作空间A是离散空间,0代表P值为-1,1代表P值为+1;

步骤44、设置奖励函数R;

步骤45、设置84000个初始状态,84000个初始状态均遵从一个分布,将作为起点进行7步轨迹采样,得到84000条轨迹:,

其中,是根据是策略得到的,即,是采取后所转移到的新的状态,是采取后的所获得的奖励;

步骤46、构建包含5000条样本集的数据集;对中的每一个和的每一个可执行动作,都作12步轨迹采样,并重复7次,其中的一条轨迹形式为:,,

其中,是根据是策略得到的,即,是采取后所转移到的状态,是采取后所获得的奖励,每条轨迹返回;

步骤47、对中的每一条的轨迹,都作:,

其中,通过调用贝叶斯优化的方法来搜索;

步骤48、在数据集用构造数据集,对状态的每一个可执行的动作,得到状态-动作对的值函数,即,,构建数据集,

其中,作为分类的标签,作为特征输入,构建5000条;

步骤49、通过数据集,使用多分类回归方法,更新得到策略k;

所述步骤5具体包括以下步骤:

步骤51、将所述位置环的D值设为0,单独调节所述位置环的P值;

步骤52、设置状态空间S,对S的观测值s作特征处理得到,其中,是一个3维的特征向量,包括圆盘相对位置,竖杆的夹角,角度变化率,其中,圆盘相对位置由编码器测量得到,竖杆的夹角由角度传感器测量得到,角度变化率由公式得到,其中,响应时间设置为5ms;

步骤53、设置动作空间A,动作空间A是离散空间,0代表P值为-1,1代表P值为+1;

步骤54、设置奖励函数R;

步骤55、设置84000个初始状态,84000个初始状态均遵从一个分布,将作为起点进行7步轨迹采样,得到84000条轨迹:,

其中,是根据是策略得到的,即,是采取后所转移到的新的状态,是采取后的所获得的奖励;

步骤56、构建包含5000条样本集的数据集;对中的每一个和的每一个可执行动作,都作12步轨迹采样,并重复7次,其中的一条轨迹形式为:,,

其中,是根据是策略得到的,即,是采取后所转移到的状态,是采取后所获得的奖励,每条轨迹返回;

步骤57、对中的每一条的轨迹,都作:,

其中,通过调用贝叶斯优化的方法来搜索;

步骤58、在数据集用构造数据集,对状态的每一个可执行的动作,得到状态-动作对的值函数,即,,构建数据集,

其中,作为分类的标签,作为特征输入,构建5000条;

步骤59、通过数据集,使用多分类回归方法,更新得到策略k;

步骤510、将所述位置环的P值设为0,单独调节所述位置环的D值;

步骤511、设置状态空间S,对S的观测值s作特征处理得到,其中,是一个3维的特征向量,包括圆盘相对位置,竖杆的夹角,角度变化率,其中,圆盘相对位置由编码器测量得到,竖杆的夹角由角度传感器测量得到,角度变化率由公式得到,其中,响应时间设置为5ms;

步骤512、设置动作空间A,动作空间A是离散空间,0代表D值为-1,1代表p值为+1;

步骤513、设置奖励函数R;

步骤514、重新设置84000个初始状态,84000个初始状态均遵从一个分布,将作为起点进行7步轨迹采样,得到84000条轨迹:,

其中,是根据是策略得到的,即,是采取后所转移到的新的状态,是采取后的所获得的奖励;

步骤515、重新构建包含5000条样本集的数据集;对中的每一个和的每一个可执行动作,都作12步轨迹采样,并重复7次,其中的一条轨迹形式为:,,

其中,是根据是策略得到的,即,是采取后所转移到的状态,是采取后所获得的奖励;每条轨迹返回;

步骤516、重新对中的每一条的轨迹,都作:,

其中,通过调用贝叶斯优化的方法来搜索;

步骤517、重新在数据集用构造数据集,对状态的每一个可执行的动作,得到状态-动作对的值函数,即,,构建数据集,

其中,作为分类的标签,作为特征输入,构建5000条,步骤518、通过数据集,使用多分类回归方法,更新得到策略k。

2.根据权利要求1所述的倒立摆系统的控制方法,其特征在于:步骤1中,所述角度环每5ms更新一次,所述位置环每25ms更新一次,所述电机每ms更新反馈一次PWM值。

3.根据权利要求1所述的倒立摆系统的控制方法,其特征在于:步骤44中,奖励函数R为,

其中,x表示每隔5ms通过测量得到的角度改变量。

4.根据权利要求3所述的倒立摆系统的控制方法,其特征在于:步骤46中,每条轨迹返回的为,

其中,是由评估权重计算得到的,即。

5.根据权利要求4所述的倒立摆系统的控制方法,其特征在于,步骤49中,策略k为,

其中,是STEW正则化函数。

6.根据权利要求1所述的倒立摆系统的控制方法,其特征在于,所述步骤4还包括:步骤410、将所述角度环的P值设为0,单独调节所述角度环的D值;

步骤411、设置状态空间S,对S的观测值s作特征处理得到,其中,是一个3维的特征向量,包括圆盘相对位置,竖杆的夹角,角度变化率,其中,圆盘相对位置由编码器测量得到,竖杆的夹角由角度传感器测量得到,角度变化率由公式得到,其中,响应时间设置为5ms;

步骤412、设置动作空间A,动作空间A是离散空间,0代表D值为-1,1代表p值为+1;

步骤413、设置奖励函数R;

步骤414、重新设置84000个初始状态,84000个初始状态均遵从一个分布,将作为起点进行7步轨迹采样,得到84000条轨迹:,

其中,是根据是策略得到的,即,是采取后所转移到的新的状态,是采取后的所获得的奖励;

步骤415、重新构建包含5000条样本集的数据集;对中的每一个和的每一个可执行动作,都作12步轨迹采样,并重复7次,其中的一条轨迹形式为:,,

其中,是根据是策略得到的,即,是采取后所转移到的状态,是采取后所获得的奖励;每条轨迹返回;

步骤416、重新对中的每一条的轨迹,都作:,

其中,通过调用贝叶斯优化的方法来搜索;

步骤417、重新在数据集用构造数据集,对状态的每一个可执行的动作,得到状态-动作对的值函数,即,,构建数据集,

其中,作为分类的标签,作为特征输入,构建5000条,步骤418、通过数据集,使用多分类回归方法,更新得到策略k。

7.一种倒立摆系统,其特征在于,应用如权利要求1-6中任一项所述的倒立摆系统的控制方法进行控制。

8.根据权利要求7所述的倒立摆系统,其特征在于:包括支架,所述支架中固定设有电动机,所述电动机的输出端设有旋转臂和摆杆,所述旋转臂和所述摆杆转动连接。