1.一种基于改进差分进化算法与深度强化学习的机器人路径规划方法,其特征在于,包括以下步骤:S1、依据移动机器人的路径寻找需求构建二维栅格地图环境,标记所述二维栅格地图环境中不可通行区域的障碍物位置,确定移动机器人的起始位置和目标位置,并基于所述二维栅格地图环境建立适应度函数;
S2、采用轮盘赌选择策略初始化种群,包括:从所述起始位置出发,在当前节点的8邻域内筛选可行节点,计算每个可行节点到所述目标位置的欧氏距离,通过轮盘赌概率选择下一节点,重复选择过程直至到达所述目标位置,以生成一条可行路径,重复生成过程N次,得到包含N条所述可行路径的初始种群,并根据所述适应度函数计算所述初始种群的适应度值;
S3、基于所述初始种群中每个个体的位置信息与适应度值,计算每个个体的状态特征以构成特征向量,将所述特征向量输入至近端策略优化算法的策略网络,所述策略网络根据输入的所述特征向量从预设的路径规划多变异策略动作池中选择对应的动作;
S4、根据所述动作生成变异向量,将所述变异向量与对应的当前个体进行交叉与选择操作,生成子代个体,并基于所述子代个体的适应度值获得奖励;
S5、将每个个体单次迭代过程中的状态、动作及奖励存入与该个体对应的独立缓冲区,并重复执行步骤S3至步骤S5,直至达到预设的最大迭代次数,完成一轮训练回合;
S6、重复执行步骤S2至步骤S5以进行下一训练回合,当累计完成预设数量的训练回合后,利用各所述独立缓冲区中存储的经验数据批量更新所述近端策略优化算法的策略网络参数和价值网络参数,清空所有所述独立缓冲区后,返回步骤S2重新初始化种群,并继续训练直至达到预设的训练轮次上限,完成路径规划方法的训练;
S7、将训练完成的路径规划方法应用于所述二维栅格地图环境,输出机器人从所述起始位置至所述目标位置的最优路径;
在步骤S5中对近端策略优化算法的经验存储机制采用如下改进方式:为种群中的每个个体开辟并维护一个独立的经验缓冲区;
每个所述经验缓冲区的存储结构包括:
状态序列,用于存储该个体在每次迭代中所提取的状态特征向量;
动作序列,用于存储该个体在每次迭代中基于所述策略网络所选择的动作,所述动作为所述路径规划多变异策略动作池中变异策略的编号;
奖励序列,用于存储该个体在每次迭代中根据其生成的子代个体的适应度值改进情况所计算的即时奖励值;
终止标志序列,用于记录该个体在每次迭代中是否达到预设的迭代终止条件;
在迭代过程中,种群中所有个体同步执行状态特征提取、动作选择、变异交叉操作、奖励计算以及经验缓冲区更新操作,且各个所述经验缓冲区之间的数据存储与更新相互独立。
2.根据权利要求1所述的方法,其特征在于,步骤S1所述的适应度函数的表达式为:;式中,表示第个个体的总适应度值,表示第个个体的长度适应度值,表示第个个体的障碍适应度值;
所述长度适应度值公式如下:
;式中,表示当前路径总节点数数量,表示当前种群中的第个个体中的第个节点,表示当前种群中的第个个体中的第个节点;
所述障碍适应度值公式如下:
;式中,代表常数,表示当前路径经过障碍物的总数量。
3.根据权利要求1所述的方法,其特征在于,步骤S3所述的状态特征构成如下:;式中,表示状态特征,表示全局分布程度,表示局部近邻分布程度,表示个体适应度改进相对幅度,表示个体位置连续多代未更新,表示迭代进度;
所述全局分布程度公式如下:
;式中,表示个体相对于种群的聚集程度,表示种群大小;
所述局部近邻分布程度公式如下:
;式中,表示个体的局部近邻分布程度,表示距离个体最近的个个体之间的欧式距离;
所述个体适应度改进相对幅度公式如下:
;式中,表示个体的适应度改进相对幅度,表示个体的适应度改进情况,表示上一代个体的适应度改进情况;
所述个体位置连续多代未更新公式如下:
;停滞约束如下:
;式中,表示个体位置连续多代未更新,表示当前种群的第个个体,表示当上一代种群的第个个体;
所述迭代进度公式如下:
;其中,表示当前迭代的次数,表示最大迭代次数。
4.根据权利要求3所述的方法,其特征在于,所述个体i相对于种群的聚集程度公式如下:;式中,表示个体相对于个体的欧氏距离,计算公式如下:;式中,表示当前种群的第个个体,和分别表示个体和个体的维数;
所述个体适应度改进情况公式如下:
;式中,表示初始个体的适应度值,表示当前个体的适应度值;
所述上一代个体适应度改进情况公式如下:
;式中,表示上一代个体的适应度值。
5.根据权利要求1所述的方法,其特征在于,步骤S3所述的路径规划多变异策略动作池的构建包括:定义四种变异操作:交叉、突变删除e、改进;
其中,所述交叉公式如下:
;式中,和表示根据动作策略选择的个体和个体,表示在个体和个体的最小维数中随机选择的序号数;
所述突变公式如下:
;式中,表示在个体不包含的节点中随机选择的路径节点,表示在个体的维数中随机选择的序号数;
所述删除公式如下:
;式中,表示进行删除操作后个体的适应度值,表示当前个体的适应度值;
所述改进公式如下:
;式中,表示对应在位置节点的8邻域内最优的位置,表示进行改进操作后个体的适应度值;
基于以上四个变异操作设计动作池,动作池共包含六个动作,公式如下:;式中,表示生成的变异解,,分别表示随机选择种群中除当前个体外的两个不同个体作为父本1和父本2,表示当前种群中的最优解,表示近端策略优化算法根据当前个体的状态选择的动作值。
6.根据权利要求1所述的方法,其特征在于,步骤S4所述的根据所述动作生成变异向量,将所述变异向量与对应的当前个体进行交叉与选择操作,生成子代个体包括:由策略网络选择的动作生成变异个体,与当前的个体进行交叉操作,产生新个体公式如下:;式中,表示交叉产生的新个体;
经过选择操作生成新的子代,公式如下:
;式中,表示下一代的个体,表示交叉产生个体的适应度值。
7.根据权利要求1所述的方法,其特征在于,步骤S4所述的基于所述子代个体的适应度值获得奖励的公式如下:;;其中,表示子代个体的适应度值,为子代个体的适应度值与初始适应估值的比值,为奖励。
8.根据权利要求1所述的方法,其特征在于,步骤S6所述的近端策略优化算法的训练流程包括:将从初始化种群开始直至达到最大迭代次数的完整单次寻优过程,定义为改进差分进化算法的一个训练回合;在每个训练回合内,使用当前策略网络的旧参数与路径规划环境进行交互,以获取稳定的经验数据序列;
当累计完成M个训练回合后,整合所有经验缓冲区内收集的经验数据,作为批量训练样本,用于更新策略网络和价值网络的参数;
通过优化近端策略优化算法的总损失函数来更新网络参数,所述总损失函数定义为:;式中,代表裁剪策略损失,代表价值函数损失,代表策略熵奖励,和是超参数,用于平衡不同损失函数的权重;
所述裁剪策略损失的计算方式为:
;式中,表示策略更新幅度,表示优势函数,作为超参数控制裁剪幅度;
所述策略更新幅度的计算方式为:
;式中,表示策略的更新幅度,和分别表示新策略和旧策略在状态下采取动作的概率;
所述优势函数的计算方式为:
;式中,表示在状态下采取动作的价值,表示在状态下的平均价值;
所述价值函数损失的计算方式为:
;式中,代表状态的价值函数,代表目标价值函数;
计算出总损失函数后,通过反向传播更新策略网络与价值网络的参数;重复执行训练回合积累经验与批量更新网络参数的循环过程,直至达到训练轮次上限,并保存训练完成后的最优策略网络参数。
9.根据权利要求1所述的方法,其特征在于,步骤S7包括:将训练后保存的最优策略网络参数载入近端策略优化算法;
在所述二维栅格地图环境中,对每一代种群内的每个个体进行状态特征提取,得到当前状态特征向量;
将所述当前状态特征向量输入至载入了最优策略网络参数的策略网络,所述策略网络输出所述路径规划多变异策略动作池中所有可选动作的概率分布;
依据所述概率分布随机选择动作,并执行相应的变异操作以生成新种群个体;
重复执行状态特征提取、动作选择与种群更新的过程,直至达到所述最大迭代次数;
输出此时得到的最优路径作为机器人从所述起始位置至所述目标位置的最终规划路径。