1.一种基于深度强化学习的越野车三维路径规划方法,其特征在于,所述方法包括以下步骤:S1、构建一个基于价值的越野车三维路径规划的深度卷积神经网络模型,以最优动作价值函数为学习目标;
S2、构建随越野车移动的动态全局地图作为观测输入;
S3、综合考虑所述动态全局地图中越野车的路程与能耗设计奖励函数,计算越野车在当前状态下执行动作后获得的奖励值;
S4、根据目标距离设计深度强化学习的探索策略,用于控制越野车在当前状态下执行动作的类型;
S5、结合所述探索策略和所述奖励函数对所述深度卷积神经网络模型进行端到端的训练,以使越野车从起点到终点的行驶过程中获得的奖励最大,实现越野车的三维路径规划;
所述最优动作价值函数具体为:
式中,Q
所述步骤S1中的深度卷积神经网络的损失函数为:式中,L(θ)表示损失值,E表示期望值,p是状态转移函数,所述步骤S1中的深度卷积神经网络模型包括依次连接的输入层、第一卷积主干层、最大池化层、第二卷积主干层、第一全连接层和第二全连接层,所述第一全连接层由所述第二卷积主干层引出两个分支,一个分支经所述第一全连接层输出预设数量个节点,用来评估方位动作,另一个分支经所述第一全连接层输出预设数量个节点,用来预测当前所处状态,最后将两个分支线性连接,经所述第二全连接层输出预设数量方位动作的Q值。
2.根据权利要求1所述的基于深度强化学习的越野车三维路径规划方法,其特征在于,所述步骤S2中构建随越野车移动的动态全局地图作为观测输入,具体包括如下步骤:S21、设置观测输入为三层的RGB图像:设置动态全局地图尺寸为100*100,将越野车的当前位置、终点位置以及三维地图分别设置在RGB图像的不同层,采用8*8*1尺寸的图像代表越野车的当前位置,采用5*5*1尺寸的图像代表终点位置;
S22、确定步骤S21中位于第三层的地图图像:以所述越野车的当前位置与所述越野车的终点位置的连线作为对角线形成一个矩形,用该矩形在原始地图上相应位置截取地图图像,将截取后的地图图像各边界分别向外扩展,将扩展后的地图周围用0补边形成100*100*1的三维地图,以此作为第三层的地图图像;
S23、确定步骤S2中所述的观测输入:将步骤S21中包含越野车的当前位置和终点位置的100*100*1的两层图像与步骤S22所述三维地图组合形成100*100*3的输入图像;
S24、重复步骤S22和步骤S23,随着越野车当前位置的移动获取动态全局地图作为输入图像,直至深度卷积神经网络模型训练结束。
3.根据权利要求1所述的基于深度强化学习的越野车三维路径规划方法,其特征在于,所述步骤S3的奖励函数具体为:R=R
式中,R表示从越野车在当前状态下执行动作获得的奖励,R
4.根据权利要求3所述的基于深度强化学习的越野车三维路径规划方法,其特征在于,所述步骤S3中的距离奖励,具体计算方法为:S31、从所述动态全局地图中获取越野车的当前位置、相邻位置和终点位置的坐标;
S32、根据所述越野车的当前位置和相邻位置坐标,计算欧几里得距离,具体公式为:式中,H
S33、根据所述欧几里得距离和预设的步伐奖励的强度因子,计算步伐奖励值,具体公式为:R
式中,R
S34、根据所述越野车的相邻位置与终点位置坐标,计算二维直线距离,具体公式为:式中,H
S35、根据所述二维直线距离和预设的全局距离奖励的强度因子,计算全局距离奖励,具体公式为:R
式中,f
S36、根据S33计算得到的所述步伐奖励和S35计算得到的所述全局距离奖励,计算步骤S3中的距离奖励,具体公式为:R
式中,R
5.根据权利要求4所述的基于深度强化学习的越野车三维路径规划方法,其特征在于,所述步骤S3中的能耗奖励,具体计算方法为:S37、根据所述越野车的当前位置坐标和相邻位置坐标,计算坡度,具体公式为:式中,α为三维地图中越野车从当前位置pS38、根据所述坡度计算越野车克服轮胎滚动阻力做功的能耗和克服重力做功的能耗,并计算能耗比,具体公式为:E
E
E
式中,E
S39、根据所述欧几里得距离、所述能耗比以及预设的能耗强度的奖励因子计算能耗奖励,具体公式为:R
式中,z
6.如权利要求1所述的基于深度强化学习的越野车三维路径规划方法,其特征在于,所述步骤S4中根据目标距离设计深度强化学习的探索策略,具体为:S41、确定当前训练步数、总训练步数、起始探索概率和最终探索概率,通过探索概率公式计算越野车在当前状态下的探索概率;
S42、输入随机数p
当p
当0.5p<p
其它情况时,执行DRL动作;
S43、越野车在当前状态下执行指定类型的动作,并获得奖励,达到一个新的状态;
S44、重复步骤S41和S42,直到越野车完成路径规划。
7.如权利要求6所述的基于深度强化学习的越野车三维路径规划方法,其特征在于,所述步骤S41中的探索概率公式具体为:式中,p