1.一种倒立摆系统的控制方法,其特征在于,主要包括以下步骤:步骤1、设置角度环和位置环,其中,角度环是正反馈,位置环为负反馈,闭环反馈输出当前时刻的PWM值给执行机构的电机,电机根据不同的PWM值进行转动;
步骤2、建立角度环,测量摆杆当前的角度值,并根据摆杆当前的角度值,控制旋转臂做相对运动,以使得摆杆保持竖立;
步骤3、建立位置环,对旋转臂设定期望位置,通过编码器得到旋转臂的当前位置,并弥补旋转臂的当前位置与期望位置的偏差;
步骤4、平衡角度环反馈的PWM值,使得摆杆保持动态竖立;
步骤5、平衡位置环反馈的PWM值,使得摆杆保持动态竖立;
所述步骤4具体包括以下步骤:
步骤41、将所述角度环的D值设为0,单独调节所述角度环的P值;
步骤42、设置状态空间S,对S的观测值s作特征处理得到,其中,是一个3维的特征向量,包括圆盘相对位置,竖杆的夹角,角度变化率,其中,圆盘相对位置由编码器测量得到,竖杆的夹角由角度传感器测量得到,角度变化率由公式得到,其中,响应时间设置为5ms;
步骤43、设置动作空间A,动作空间A是离散空间,0代表P值为-1,1代表P值为+1;
步骤44、设置奖励函数R;
步骤45、设置84000个初始状态,84000个初始状态均遵从一个分布,将作为起点进行7步轨迹采样,得到84000条轨迹:,
其中,是根据是策略得到的,即,是采取后所转移到的新的状态,是采取后的所获得的奖励;
步骤46、构建包含5000条样本集的数据集;对中的每一个和的每一个可执行动作,都作12步轨迹采样,并重复7次,其中的一条轨迹形式为:,,
其中,是根据是策略得到的,即,是采取后所转移到的状态,是采取后所获得的奖励,每条轨迹返回;
步骤47、对中的每一条的轨迹,都作:,
其中,通过调用贝叶斯优化的方法来搜索;
步骤48、在数据集用构造数据集,对状态的每一个可执行的动作,得到状态-动作对的值函数,即,,构建数据集,
其中,作为分类的标签,作为特征输入,构建5000条;
步骤49、通过数据集,使用多分类回归方法,更新得到策略k;
所述步骤5具体包括以下步骤:
步骤51、将所述位置环的D值设为0,单独调节所述位置环的P值;
步骤52、设置状态空间S,对S的观测值s作特征处理得到,其中,是一个3维的特征向量,包括圆盘相对位置,竖杆的夹角,角度变化率,其中,圆盘相对位置由编码器测量得到,竖杆的夹角由角度传感器测量得到,角度变化率由公式得到,其中,响应时间设置为5ms;
步骤53、设置动作空间A,动作空间A是离散空间,0代表P值为-1,1代表P值为+1;
步骤54、设置奖励函数R;
步骤55、设置84000个初始状态,84000个初始状态均遵从一个分布,将作为起点进行7步轨迹采样,得到84000条轨迹:,
其中,是根据是策略得到的,即,是采取后所转移到的新的状态,是采取后的所获得的奖励;
步骤56、构建包含5000条样本集的数据集;对中的每一个和的每一个可执行动作,都作12步轨迹采样,并重复7次,其中的一条轨迹形式为:,,
其中,是根据是策略得到的,即,是采取后所转移到的状态,是采取后所获得的奖励,每条轨迹返回;
步骤57、对中的每一条的轨迹,都作:,
其中,通过调用贝叶斯优化的方法来搜索;
步骤58、在数据集用构造数据集,对状态的每一个可执行的动作,得到状态-动作对的值函数,即,,构建数据集,
其中,作为分类的标签,作为特征输入,构建5000条;
步骤59、通过数据集,使用多分类回归方法,更新得到策略k;
步骤510、将所述位置环的P值设为0,单独调节所述位置环的D值;
步骤511、设置状态空间S,对S的观测值s作特征处理得到,其中,是一个3维的特征向量,包括圆盘相对位置,竖杆的夹角,角度变化率,其中,圆盘相对位置由编码器测量得到,竖杆的夹角由角度传感器测量得到,角度变化率由公式得到,其中,响应时间设置为5ms;
步骤512、设置动作空间A,动作空间A是离散空间,0代表D值为-1,1代表p值为+1;
步骤513、设置奖励函数R;
步骤514、重新设置84000个初始状态,84000个初始状态均遵从一个分布,将作为起点进行7步轨迹采样,得到84000条轨迹:,
其中,是根据是策略得到的,即,是采取后所转移到的新的状态,是采取后的所获得的奖励;
步骤515、重新构建包含5000条样本集的数据集;对中的每一个和的每一个可执行动作,都作12步轨迹采样,并重复7次,其中的一条轨迹形式为:,,
其中,是根据是策略得到的,即,是采取后所转移到的状态,是采取后所获得的奖励;每条轨迹返回;
步骤516、重新对中的每一条的轨迹,都作:,
其中,通过调用贝叶斯优化的方法来搜索;
步骤517、重新在数据集用构造数据集,对状态的每一个可执行的动作,得到状态-动作对的值函数,即,,构建数据集,
其中,作为分类的标签,作为特征输入,构建5000条,步骤518、通过数据集,使用多分类回归方法,更新得到策略k。
2.根据权利要求1所述的倒立摆系统的控制方法,其特征在于:步骤1中,所述角度环每5ms更新一次,所述位置环每25ms更新一次,所述电机每ms更新反馈一次PWM值。
3.根据权利要求1所述的倒立摆系统的控制方法,其特征在于:步骤44中,奖励函数R为,
其中,x表示每隔5ms通过测量得到的角度改变量。
4.根据权利要求3所述的倒立摆系统的控制方法,其特征在于:步骤46中,每条轨迹返回的为,
其中,是由评估权重计算得到的,即。
5.根据权利要求4所述的倒立摆系统的控制方法,其特征在于,步骤49中,策略k为,
其中,是STEW正则化函数。
6.根据权利要求1所述的倒立摆系统的控制方法,其特征在于,所述步骤4还包括:步骤410、将所述角度环的P值设为0,单独调节所述角度环的D值;
步骤411、设置状态空间S,对S的观测值s作特征处理得到,其中,是一个3维的特征向量,包括圆盘相对位置,竖杆的夹角,角度变化率,其中,圆盘相对位置由编码器测量得到,竖杆的夹角由角度传感器测量得到,角度变化率由公式得到,其中,响应时间设置为5ms;
步骤412、设置动作空间A,动作空间A是离散空间,0代表D值为-1,1代表p值为+1;
步骤413、设置奖励函数R;
步骤414、重新设置84000个初始状态,84000个初始状态均遵从一个分布,将作为起点进行7步轨迹采样,得到84000条轨迹:,
其中,是根据是策略得到的,即,是采取后所转移到的新的状态,是采取后的所获得的奖励;
步骤415、重新构建包含5000条样本集的数据集;对中的每一个和的每一个可执行动作,都作12步轨迹采样,并重复7次,其中的一条轨迹形式为:,,
其中,是根据是策略得到的,即,是采取后所转移到的状态,是采取后所获得的奖励;每条轨迹返回;
步骤416、重新对中的每一条的轨迹,都作:,
其中,通过调用贝叶斯优化的方法来搜索;
步骤417、重新在数据集用构造数据集,对状态的每一个可执行的动作,得到状态-动作对的值函数,即,,构建数据集,
其中,作为分类的标签,作为特征输入,构建5000条,步骤418、通过数据集,使用多分类回归方法,更新得到策略k。
7.一种倒立摆系统,其特征在于,应用如权利要求1-6中任一项所述的倒立摆系统的控制方法进行控制。
8.根据权利要求7所述的倒立摆系统,其特征在于:包括支架,所述支架中固定设有电动机,所述电动机的输出端设有旋转臂和摆杆,所述旋转臂和所述摆杆转动连接。