1.一种基于深度强化学习的无人系统路径规划方法,其特征在于,包括:根据周围环境的障碍信息,建立栅格地图,并确定无人系统路径的起始点和目标点;
若在路径规划经验库中存在与所述栅格地图、所述起始点和所述目标点完全相同的历史数据,则直接从所述路径规划经验库中读取已规划的路径;
若在所述路径规划经验库中存在与所述栅格地图、所述起始点和所述目标点相似的路径地图数据库,若所述路径规划经验库中存在与所述起始点相似的所述历史起始点,以及与所述目标点相似的所述历史目标点,则直接从所述路径规划经验库中读取与之对应的神经网络结构和神经网络参数,并读取经验回放池中的相关数据;通过深度强化学习算法获取最短路径;
若在所述路径规划经验库中不存在与所述栅格地图完全相同的路径地图数据库,则根据路径地图、所述起始点和所述目标点构建数据库,并从所述经验回放池中随机抽取若干个数据作为样本针对所述数据库训练神经网络;通过深度强化学习算法获取所述最短路径。
2.根据权利要求1所述的基于深度强化学习的无人系统路径规划方法,其特征在于,所述路径规划经验库包括:历史地图数据、历史起始点、历史目标点、神经网络结构、神经网络参数、历史路径和所述经验回放池;所述经验回放池用于存放之前训练神经网络产生的历史数据。
3.根据权利要求1所述的基于深度强化学习的无人系统路径规划方法,其特征在于,所述栅格地图的建立包括:根据坐标将所述栅格地图划分为若干块区域,并对所述若干块区域进行一一编号。
4.根据权利要求3所述的基于深度强化学习的无人系统路径规划方法,其特征在于,若在路径规划经验库中不存在与所述栅格地图完全相同的路径地图数据库,则新建地图数据库。
5.根据权利要求4所述的基于深度强化学习的无人系统路径规划方法,其特征在于,新建所述地图数据库包括:根据所述起始点和所述目标点所在区域块的位置移动,在所述地图数据库中新建一个子数据库;
将所述栅格地图的数据、划分后的若干块所述区域以及一一对应的所述编号,分别存入所述子数据库中。
6.根据权利要求5所述的基于深度强化学习的无人系统路径规划方法,其特征在于,还包括:获取所述起始点在所述栅格地图中对应的起始区域及其对应的编号,以及所述目标点在所述栅格地图中对应的目标区域及其对应的编号;
通过所述起始区域到所述目标区域的位置转移替代所述无人系统的坐标转移进行路径规划。
7.根据权利要求2所述的基于深度强化学习的无人系统路径规划方法,其特征在于,构建所述神经网络包括:构建结构相同、参数不同的二个卷积神经网络;第一个卷积神经网络通过获得选取动作的Q值作为当前Q网络;第二个卷积神经网络通过获得目标Q值作为加快收敛的Q-target网络。
8.根据权利要求7所述的基于深度强化学习的无人系统路径规划方法,其特征在于,通过深度强化学习算法获取最短路径包括:随机初始化卷积神经网络的参数;或,从所述路径规划经验库中读取所述神经网络参数;
从所述经验回放池中随机抽取若干个所述数据作为样本训练神经网络,以更新所述卷积神经网络的权值;其中,所述当前Q网络的权值实时更新;所述Q-target网络的权值为所述当前Q网络的历史值;经过若干轮迭代,再将所述当前Q网络的权值复制给所述Q-target网络作为所述Q-target网络的权值;
将所述无人系统的当前状态输入至训练好的所述卷积神经网络中,得到所述无人系统当前状态下的所有Q值输出;
从所有所述Q值输出中选取最大Q值,并执行与所述最大Q值对应的动作,得到下一状态;
根据预设奖励函数计算所述无人系统执行当前动作的状态奖励值;
将所述无人系统的当前状态、所述无人系统执行的当前动作、所述下一状态和所述无人系统执行当前动作的状态奖励值存入所述经验回放池。
9.根据权利要求8所述的基于深度强化学习的无人系统路径规划方法,其特征在于,所述预设奖励函数包括:计算终点奖励函数:
其中,其中,(x
计算障碍奖励函数:
其中,(x
判断移动方向函数:
d
d
其中,d
计算移动成本奖励函数:
计算无人系统的最终奖励函数:
r(s)=g(s)+o(s)+m(s)
其中,r(s)表示所述最终奖励函数;g(s)表示所述终点奖励函数;o(s)表示所述障碍奖励函数;m(s)表示所述成本奖励函数。