1.一种基于深度强化学习的智能体自主导航方法,其特征在于,包括以下步骤:
S1.构建智能体自主导航系统,所述智能体自主导航系统采用MS‑DDQN算法,即面向多步机制的DDQN算法;所述MS‑DDQN算法采用模块化的神经网络,所述模块化的神经网络包括局部避障深度神经网络模块、全局导航深度神经网络模块和指令选择模块;所述局部避障深度神经网络模块用于指导智能体远离障碍物,所述全局导航深度神经网络模块用于指导智能体朝着更近的路径前往目标位置,所述指令选择模块用于确定最终执行的动作指令;
S2.搭建仿真环境,包括构建障碍物环境模型和搭建仿真智能体;
S3.将所述自主导航系统置于所述仿真环境中进行训练,即所述智能体在所述仿真环境中采用所述MS‑DDQN算法进行训练学习;所述仿真环境为多个,所述每个仿真环境的训练次数为多次;
S4.将训练好的所述自主导航系统装载到所述智能体上,所述智能体获得自主导航的能力;
所述MS‑DDQN算法包括当前值网络、目标值网络、误差函数、奖励函数和经验池,所述当前值网络用来选择动作,所述目标值网络用来评价动作,所述误差函数用来更新权重,所述奖励函数是指智能体在当前状态下采取某一行动并到达下一个状态获得的奖励值,所述经验池用来存储每走一步所产生的样本数据。
2.根据权利要求1所述的一种基于深度强化学习的智能体自主导航方法,其特征在于,所述目标值网络的输出函数为:i
其中γ为折扣因子,γ 表示
λ
的第t+i状态获得的奖励值rt+i对当前t状态的影响程度,且γ是小于1大于0的值,γ表示第t+λ状态获得的奖励值rt+λ对当前t状态的影响程度;Q为状态‑动作价值估计值,λ为间隔的步数,st为当前状态,at为当前状态执行的动作,rt表示在t时刻智能体获得的及时奖励值,rr+λ为在λ状态时获得的奖励值,st+λ为间隔λ步的状态;θ为当前值网络中的权重参数,θ'为目标值网络中的权重参数;i就是从t状态开始后每个状态获得的奖励值的下标;Q(st+λ,a,θ)表示当前值神经网络根据输入信息(st+λ,a),输出每个动作的估计值;Qtarget(st+λ,argmaxQ(st+λ,a,θ)),表示首先选择当前值网络输出的估计值的最大值对应的动作指令和st+λ作为目标值网络的输入信息,目标值网络输出每个动作的估计值;
损失函数为:
其中E为神经网络误差,s为状态,a为执行的动作,θ为
当前值网络中的权重参数,Q为状态‑动作价值估计值,Q(s,a,θ)表示当前值神经网络输出每个动作的估计值;
所述经验池存放的数据为:
其中t为某时刻,s为状态,i就是从t状态开始后每个状态获得的奖
励值得下标;st为当前状态,a为执行的动作,at表示t时刻执行动作,rt表示在t时刻智能体i获得的及时奖励值;γ为折扣因子,γ表示的第t+i状态获得的奖励值rt+i对当前t状态的影响程度,且γ是小于1大于0的值;λ为间隔的步数,st+λ为间隔λ步后的状态。
3.根据权利要求2所述的一种基于深度强化学习的智能体自主导航方法,其特征在于,所述S3中的训练步骤具体包括:S31.仿真环境获取智能体的当前状态信息,所述当前状态信息包括智能体与环境中障碍物的距离信息、智能体与目标点的位置关系信息;所述智能体与目标点的位置关系信息包括智能体当前坐标与目标位置坐标的相对坐标关系、智能体当前位置到达目标位置的欧氏距离和智能体前进方向的向量与从当前智能体坐标位置出发达到目标位置方向向量的夹角,所述相对坐标关系通过将目标位置坐标减去水下智能体当前坐标得到;
S32.将获取到的所述当前状态信息输入所述模块化的神经网络,具体为向所述局部避障深度神经网络模块输入智能体与环境中障碍物的距离信息和智能体与目标点的位置关系信息,向所述全局导航深度神经网络模块输入智能体与目标点的位置关系信息;
S33.所述局部避障深度神经网络模块和全局导航深度神经网络模块根据输入的所述当前状态信息,输出各自的控制指令;
S34.所述指令选择模块通过判断智能体与最近障碍物之间的距离值,决定使用所述局部避障深度神经网络模块或全局导航深度神经网络模块输出的动作指令;
S35.所述智能体执行所述指令选择模块选择的指令,再接收所述奖励函数输出的奖励值并进入下一个状态;
S36.将本次交互的样本数据存入所述经验池,所述样本数据包括当前状态st、执行动作at、获得奖励值rt以及下一个状态st+1,所述样本数据存入所述经验池的形式为
4.根据权利要求3所述的一种基于深度强化学习的智能体自主导航方法,其特征在于,所述局部避障深度神经网络模块和全局导航深度神经网络模块的具体步骤为:S331.所述当前值网络接收输入的所述当前状态信息,根据输入的当前状态信息进行处理,并输出一组动作,所述处理过程包括根据当前状态信息从经验池中抽取训练样本;并将输出的所述一组动作传给所述目标值网络;
S332.所述目标值网络根据传入的所述一组动作进行处理,计算出每个动作的价值大小,再将所述一组动作的价值传回给所述当前值网络;
S333.所述当前值网络根据所述目标值网络传回的一组动作的价值中的最大值来选择要执行的下一步动作,并根据下一步动作向所述仿真环境输出控制指令;
S334.所述当前值网络根据S333中所述下一步动作计算得到下一步状态信息,并根据所述下一步状态信息进行处理,并输出一组动作,所述处理过程包括所述下一步状态信息从经验池中抽取训练样本;并将输出的所述一组动作传给所述目标值网络;所述目标值网络重复步骤S332,即所述目标值网络根据传入的所述一组动作进行处理,计算出每个动作的价值大小,再将所述一组动作的价值传回给所述当前值网络;
S335.所述当前值网络将S334中所述目标值网络传回的一组动作的价值大小与S332中所述目标值网络传回的一组动作的价值大小进行比对,并根据误差函数计算出误差;
S336.根据S335中得到的所述误差,更新所述当前值网络的权重,所述目标值网络的权重每隔N步之后,根据所述当前值网络的权重进行更新;
S337.在步骤S334进行的同时,所述当前值网络根据选择的所述下一步动作向所述仿真环境输出控制指令。
5.根据权利要求3所述的一种基于深度强化学习的智能体自主导航方法,其特征在于,所述奖励函数为连续组合报酬函数,所述连续组合报酬函数包括终端奖励和非终端奖励;
所述终端奖励具体包括:
当智能体到达目标点时获得正奖励,其表达式为rarr=100;ifdr‑t≤dwin;其中dr‑t是智能体到目标点的欧式距离,dwin是智能体到达目标点的阈值,当dr‑t小于或等于设定的dwin时,表示到达目标点,否则没有到达目标点;所述rarr表示智能体到达目标位置获得的正奖励值;
当智能体与障碍物发生碰撞时获得负奖励,其表达式为rcol=‑100;ifdr‑o≤dcol;其中dr‑o为智能体离最近障碍物的欧式距离,dcol为智能体与障碍物发生碰撞的阈值,当dr‑o小于或等于dcol时,则表示发生了碰撞,否则没有;所述rcol表示智能体发生碰撞而给予惩罚性负奖励值;
所述非终端奖励具体包括:
当智能体朝着目标点前进时获得正奖励,其表达式为rt_goal=cr[dr‑t(t)‑dr‑t(t‑1)];其中cr∈(0,1]的系数,设定为1;
当智能体距离障碍物的最小距离不断变小时,获得的危险奖励rdang∈[0,1]也随之变小,其表达式为 其中dmin为智能体距离障碍物的最小距离,其中β为系数,使得rdang的取值空间为(0,1);所述dr‑t(t)表示t时刻智能体当前位置坐标与目标位置坐标的欧式距离;
当智能体的前进方向向量与智能体当前坐标出发到达目标位置方向向量的夹角小于±18°时获得奖励1,大于±18°小于±72°时获得奖励0.3,其他情况则获得奖励0,其表达式为:其中aori是智能体的前进方向向量与智能体当前坐标发出到达目标位置方向向量的夹角。
6.根据权利要求1至5任一项所述的一种基于深度强化学习的智能体自主导航方法,其特征在于,所述局部避障深度神经网络模块和全局导航深度神经网络模块采用的激活函数为ReLU6和ReLU;所述激活函数ReLU6运用在神经网络前端,所述激活函数ReLU运用在神经网络后端。
7.根据权利要求1至5任一项所述的一种基于深度强化学习的智能体自主导航方法,其特征在于,所述局部避障深度神经网络模块和全局导航深度神经网络模块均采用全连接结构,所述局部避障深度神经网络模块的隐含层数量为三层以上,所述全局导航深度神经网络模块的隐含层数量为一层。
8.根据权利要求3至5任一项所述的一种基于深度强化学习的智能体自主导航方法,其特征在于,所述指令选择模块设置有阈值,并根据阈值大小来选择所述动作指令;当阈值小于40时,选择局部避障深度神经网络模块输出的动作指令;当阈值大于等于40时,选择全局导航神经网络模块输出的动作指令。