1.一种盲六足机器人运动策略的训练方法,其特征在于,包括以下步骤:S1、建立盲六足机器人和野外山地的模拟环境;
S2、获取模拟环境的环境数据,所述环境数据为盲六足机器人的本体感知信号;
S3、将环境数据作为输入,构造策略网络模型;
S4、构建近端策略优化算法,通过优化算法来训练策略网络;
所述近端策略优化算法的构建过程为:
S41、定义马尔可夫决策过程:
在强化学习中,将智能体与环境的交互过程建模为一个马尔可夫决策过程;在智能体的策略π下,智能体从状态st转移到状态st+1的概率,完全由状态st和动作at决定,则该条件概率为pπ(rt,st+1|at,st);其中,奖励rt是t时刻智能体执行一次动作at后获得的环境反馈;
S42、定义回报函数:
使用折扣系数γ,定义在每个时间步长t的回报Rt,表示从当前时间步开始的未来奖励的累积;则t时刻的回报Rt为:式中,折扣系数γ决定了未来的奖励对当前状态的影响,对未来的奖励起到衰减的作用;
其中,强化学习的学习过程为最大化回报期望J的过程,回报期望J的表达式为:式中,表示在策略π下对动作a进行期望操作,R(a)表示动作a所获得的即时奖励;
S43、定义策略函数和价值函数,并使用贝尔曼方程进行估计:引入策略函数π(θ),用于拟合策略概率分布,以及价值函数Vπ和动作价值函数Qπ,用于评估策略在给定状态和动作下的价值;
其中,价值函数Vπ的表示式为:
动作价值函数Qπ的表示式为:
使用贝尔曼方程来迭代估计价值函数Vπ和动作价值函数Qπ;将下一时刻的价值函数记为将下一时刻的动作价值函数记为则:使用策略网络π(θ)来拟合具体的策略概率分布,使用策略梯度公式来对策略参数进行优化,优化的目标是使智能体的策略概率分布能够最大化奖励,策略梯度公式的表达式为:S44、定义优势函数:
使用优势函数A(a,s)来衡量特定动作对于给定状态的价值,优势函数A(a,s)的表达式为:Aπ(st,at)=Qπ(st,at)-Vπ(st) (8);
S45、引入近端优化法则:
通过设定一个置信区间,限制新策略和旧策略之间的KL散度,以缓解策略梯度波动,并增加根据当前策略估计的具有更高优势值的动作被选择的概率;
设更新策略后的新策略为π′(at|st;θ′),则使用重要性采样得到的损失函数的表达式为:使用KL散度来衡量新旧策略的概率分布相似度,则优化过程的限制条件为:S46、构建损失函数:
使用拉格朗日乘数法,将公式9和公式10整合成一项,构建改进后的损失函数L′,改进后的损失函数L′的表达式为:其中,β是一个拉格朗日乘数;当βπ(at|st;θ)和π′(at|st;θ′)接近时,用rt代表同一个动作在新策略下的概率和老策略下的概率的比值,再用一个参数∈将概率的比值rt控制在(1-∈,1+∈)的范围内,则损失函数的最终表达式为:S47、使用梯度下降法更新策略:
通过对损失函数进行梯度下降优化,更新策略πθ;
S5、构建奖励函数对盲六足机器人进行评估,为优化算法提供反馈信号,以指导策略网络的训练和参数优化。
2.根据权利要求1所述的盲六足机器人运动策略的训练方法,其特征在于,步骤S1具体为:在Mujoco中建立盲六足机器人的物理模型,定义盲六足机器人的身体结构、关节参数和动作控制方式来描述盲六足机器人的足尖轨迹;
在Mujoco中建立野外山地的物理模型,定义地形的粗糙程度以及障碍物的物理位置,使建立的野外山地的物理模型与真实地形相近。
3.根据权利要求1所述的盲六足机器人运动策略的训练方法,其特征在于,步骤S1还包括对盲六足机器人的参数进行设置,所述参数包括机器人躯干平面的中心坐标、六个髋关节的根坐标、髋关节的长度、膝关节的长度、踝关节的长度。
4.根据权利要求3所述的盲六足机器人运动策略的训练方法,其特征在于,以机器人前进方向为x轴正方向,盲六足机器人的参数具体为:盲六足机器人躯干平面的中心坐标为O(0,0,0);
六个髋关节的根坐标分别为:LF(93.6,50.805,0)、LM(0,73.575,0)、LR(-93.6,50.805,0)、RF(93.6,-50.805,0)、RM(0,-73.575,0)、RR(-93.6,-50.805,0);
髋关节的长度L1=45.01;
膝关节的长度L2=77.06;
踝关节的长度L3=150.3。
5.根据权利要求1所述的盲六足机器人运动策略的训练方法,其特征在于,步骤S2中,盲六足机器人在环境中的状态信息用一个数组输出,共有46维数据作为盲六足机器人的本体感知信号;
采用ni表示本体信号的每个元素,则状态信息st表示为st=[n1,n2,……,n46]。
6.根据权利要求5所述的盲六足机器人运动策略的训练方法,其特征在于,在46维数据中,有4个维度用于表示盲六足机器人的姿态信息,有18个维度用于表示盲六足机器人的自由关节的关节角度,有3个维度用于表示盲六足机器人移动时的线速度,有3个维度用于表示盲六足机器人移动时的角速度,有18个维度用于表示盲六足机器人的自由关节的关节速度。
7.根据权利要求1所述的盲六足机器人运动策略的训练方法,其特征在于,步骤S3构建的策略网络为一个四层的全连接神经网络,策略网络的第一层为输入层,输入为状态st=[n1,n2,……,n46]的数组;
策略网络的第二层和第三层为隐藏层,每层有96个神经元;
策略网络的第四层为输出层,输出为关节角aT=[m1,……,m18]的数组,其中mi表示每个关节的动作。
8.根据权利要求1所述的盲六足机器人运动策略的训练方法,其特征在于,步骤S5具体为:盲六足机器人的总奖励rt由奖励rv和处罚rθ、re组成,总奖励rt的表达式为:rt=λ1rv-λ2rθ-λ3re (13);
其中,λ1、λ2、λ3是权重参数;速度奖励rv用于鼓励盲六足机器人向前移动,真实速度越接近设定速度获得的奖励越多;惩罚rθ用于修正航向,保证航向和运动方向一致;惩罚项re在奖励函数中起惩罚作用,用于鼓励盲六足机器人避免遇到山地环境中的障碍物并保持稳定的行走姿态;
设盲六足机器人单步行走的距离为xd,则速度奖励rv的表达式为:设当前状态的四元数的标量分量为qw,则惩罚rθ的表达式为:盲六足机器人遇到障碍物时的惩罚项re的表达式为:re=(Pitch*4)2+(Roll*3)2 (16);
通过最小化损失函数更新策略,得到策略网络π(θ)。