欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021102535241
申请人: 河海大学
专利类型:发明专利
专利状态:已下证
专利领域: 控制;调节
更新日期:2026-11-17
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于双神经网络强化学习的自主水下航行器路径规划方法,其特征在于,包括以下步骤:

(1)对Q‑learning学习算法中存在的需要存储空间大和查找时间长的问题进行优化处理;

(2)在Q‑learning学习算法的基础上融入目标网络和基于“优先级”的记忆池经验回放技术得到双神经网络强化学习算法,并构建基于双神经网络强化学习算法的AUV智能路径规划框架;

(3)量化处理AUV的环境状态信息,将其与DQN算法相结合得到神经网络结构,并判断AUV运动方向与目标点位置关系,得到AUV智能规划路径的决策模型。

2.根据权利要求1所述的基于双神经网络强化学习的自主水下航行器路径规划方法,其特征在于,所述步骤(1)实现过程如下:Q‑learning学习算法将AUV当前状态st和执行动作at构成一张Q值表,命名为QNet,用于存放AUV每一时刻的状态和执行动作;然后根据Q值表来选取能够获得最大收益的下一步动作at+1,在此基础上优化Q‑learning学习算法就是根据AUV当前所处的环境信息去除Q值表中的无效动作,来减少Q值表所需的存储空间和查找Q值表所需要的时间。

3.根据权利要求1所述的基于双神经网络强化学习的自主水下航行器路径规划方法,其特征在于,所述步骤(2)包括以下步骤:(21)在优化后的Q‑learning学习算法的基础上融入目标网络构成两个浅层神经网络:Qt+1(s,a)=Qt(s,a;θ)+β(r+γmax Qt(st+1,at+1;θt)‑Qt(st,at;θ)) (2)其中,Qt+1(s,a)为根据Q值更新公式得到的目标函数值;Qt(s,a)为根据st和at拟合出的当前函数值;β为学习率;r为即时反馈值;γ为折价系数;a为在状态s下AUV执行的动作;

(22)对记忆池进行初始化,并且利用参数θ初始化Q Net网络,利用参数θt初始化目标网络Aim Net;θ为QNet中函数值的向量表示;θt为Aim Net中函数值的向量表示;

(23)将AUV的状态信息定义为其周围障碍物信息加上其本身的姿态信息,初始化AUV开始状态信息为s0,初始化AUV此后每一时刻的当前状态信息为st,时间为t;

(24)根据AUV当前状态信息st选择动作at:AUV的动作由Q Net根据当前输入状态信息st下的预测值,选择神经网络输出层最大的Q值对应的动作at作为最优动作;

(25)执行动作at后,AUV的状态转移到下一状态信息st+1,并通过环境信息以及动作信息at和状态信息st+1的反馈,获得即时反馈值rt;

(26)AUV在每次执行动作之后都会得到一组样本信息(st,at,rt,st+1),将样本信息存放到记忆池中,然后构造优先级数组来存放样本信息的优先级和位置索引信息;其中st为当前时刻AUV的状态;at为当前时刻状态下AUV执行的动作;st+1为执行动作at后AUV的状态;rt为根据环境信息以及动作信息at和状态信息st+1获得的即时反馈值;

(27)获得一定数目的样本信息后,判断记忆池中的样本数量是否达到初始化权值θ,若达到θ则开始训练模型,若没达到则继续收集样本信息。

4.根据权利要求3所述的基于双神经网络强化学习的自主水下航行器路径规划方法,其特征在于,所述步骤(27)包括以下步骤:(271)在记忆池中抽取m个样本(st,at,rt,st+1),构成训练样本信息的集合;

(272)针对每个样本信息,将状态信息st输入到QNet当中,计算at的Q值函数Qt(s,a;θ);

将状态信息st+1输入到目标函数AimNet中,目标函数AimNet输出动作at,选取动作at对应的最大值函数maxQt(st+1,at+1;θt);将上述结果和反馈值rt带入公式(2),可得到待拟合Q函数的真实值Qt+1(s,a);

(273)计算损失函数LOSE:

2

LOSE=(Qt+1(s,a)‑Qt(s,a;θ))  (4)其中,Qt+1(s,a)为根据Q值更新公式得到的目标函数值,a为在状态s下执行的动作;判断状态信息st+1是否为目标状态或碰到障碍物,若是,则停止本次训练并且回到起始状态重新开始模型训练;若不是目标状态并且也没有发生碰撞,则更新当前状态信息st=st+1,重复训练过程。

5.根据权利要求1所述的基于双神经网络强化学习的自主水下航行器路径规划方法,其特征在于,所述步骤(3)包括以下步骤:(31)获取AUV当前环境状态信息:AUV自身当前艏向角ψR;AUV与其周围障碍物位置关系;

基于大地坐标系下AUV自身位置信息;AUV与目标点之间的夹角信息;

(32)AUV自身位置信息的计算:AUV在大地坐标系下的位置坐标为(xr,yr),将AUV执行偏转角动作所需时间看作Δt,根据当前AUV位置信息(xr,yr)计算下一时刻AUV的位置信息(xr+1,yr+1):

xr+1=xr+v cos(ψr+Δψr)Δt (5)yr+1=yr+v sin(ψr+Δψr)Δt (6)其中,xr为AUV在大地坐标下的横坐标;yr为AUV在大地坐标下的纵坐标;Δt为AUV执行偏转角动作所需要的时间;v为AUV的速度;xr+1为AUV执行偏转角动作后的横坐标;yr+1为AUV执行偏转角动作后的纵坐标;ψR为AUV当前艏相角;AUV根据当前状态信息来执行偏转角动作的方式进行决策,根据公式(5)和(6)生成下一步的目标位置,不断重复得到的一系列目标位置信息构成了最终到达目标点的规划路径;

(33)将AUV的环境状态信息和AUV运动方向与目标点位置关系加入到基于双神经网络DQN强化学习算法得到AUV下一步运动方向。