欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024100894046
申请人: 吉林大学
专利类型:发明专利
专利状态:未下证
专利领域: 测量;测试
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种水下自主航行器协同搜索路径规划方法,其特征是:所述方法包括以下步骤:步骤1、根据任务需求对水下自主航行器与其环境进行建模仿真,使其能够输出航行器的观测值、执行动作的奖励以及下一时刻的环境状态;

步骤2、使用策略网络,根据输入的观测值,输出水下自主航行器下一步的期望动作;

步骤3、动作输入模型环境中,得到下一时刻的水下自主航行器的观测值以及奖励,并将这一动作保存到经验池中;

步骤4、重复步骤2、3直到航行器无法继续航行;

步骤5、将经验池中的数据输入到价值网络中进行学习,输出其价值,并优化其价值函数与策略函数;

步骤6、重复执行步骤2、3、4、5直至函数收敛;

步骤7、根据策略输出最优路径。

2.根据权利要求1所述的方法,其特征是:所述步骤1具体为:步骤1.1:设置环境的初始特征,主要包括:航行器水下航行的水平面范围与垂直面范围,环境的最大模拟时间,航行器与环境交互的频率,航行器与搜索目标的最小距离,航行器的位置表示方法,定义其动作空间与观察空间;

步骤1.2:初始化环境,主要包括自主航行器的数量以及其初始位置、初始运行方向,搜索目标的数量以及相应的位置,重置航行器累计奖励以及航行器运行时间;

步骤1.3:返回航行器的当前状态,包括其位置、航行速度、与目标的估计距离。

3.根据权利要求2所述的方法,其特征是:所述步骤2具体为:每个航行器的动作生成主要包括两个方面,第一个是策略网络根据观测值计算得到航行器的动作,第二个是从状态空间中随机采样产生,两个动作组按照一定的方法产生最终的动作,航行器开始运行时以随机产生的动作为主,经过策略网络训练,航行器的动作以策略网略产生的动作为主;

所有航行器的策略网络是由一个RNN网络控制,RNN网络一共包含4层,输入层、中间层、 输出层、控制层,输出多个航行器的动作;

实现方式如下:

其中,i为观测值经过输入层得到的输入,表示输出动作,为航行器的观测值,表示隐藏状态,Fc(·)为输入层与输出层,由全连接层构成;RNN(·)为中间层,为GRU网络,由神经网络构成;c(·)为控制层,由选择网络构成。

4.根据权利要求3所述的方法,其特征是: 所述步骤3具体为:步骤3.1:将产生的动作输入到环境中,根据步骤1中的模型,产生下一时刻航行器的状态,主要包括位置坐标与航行方向与速度;

步骤3.2:根据航行器的当前状态,估计航行器与目标的相对位置距离以及航行方向,根据计算的相对位置判断航行器是否发生碰撞、是否超出航行范围、是否搜寻到目标,进行相应的奖励惩罚;

步骤3.3:将环境状态、航行器观测值、航行器动作、执行动作的奖励结果等信息记录在经验池中。

5.根据权利要求4所述的方法,其特征是:所述步骤4具体为:根据步骤3.2航行器运行后的相对位置,判断航行器航行的次数是否达到预设值,是否发生碰撞、是否超出航行范围、是否搜寻到目标,若均为否,航行器继续航行,执行步骤2;若不均为否,航行器不能继续航行,执行步骤5。

6.根据权利要求5所述的方法,其特征是:所述步骤5具体为:步骤5.1:从经验池中随机抽取一批动作,根据其记录的状态,运用策略网络,根据经验池中的状态与观测值,生成动作;

步骤5.2:将经验池的当前状态生成的动作与下一状态生成的动作输入价值函数中,得到选择价值与目标价值,并其损失计算公式:其中, 为每一步的奖励,为学习率,表示目标是否完成任务情况, 表示选择价值, 表示目标价值, 为下一状态情况下获取到的目标值, 为时序差分的误差, 为网络损失函数。

7.根据权利要求6所述的方法,其特征是:所述步骤6具体为:若航行器运动的总步数达到最大值,或策略函数与价值函数已经收敛,停止训练,保存模型,否则执行步骤2。

8.一种基于多智能体强化学习的水下自主航行器协同搜索路径规划系统,其特征是:所述系统包括:

仿真模块,所述仿真模块根据任务需求对水下自主航行器与其环境进行建模仿真,使其能够输出航行器的观测值、执行动作的奖励以及下一时刻的环境状态;

网络模块,所述网络模块使用策略网络,根据输入的观测值,输出水下自主航行器下一步的期望动作;

观测模块,所述观测模块动作输入模型环境中,得到下一时刻的水下自主航行器的观测值以及奖励,并将这一动作保存到经验池中;直到航行器无法继续航行;

优化模块,所述优化模块将经验池中的数据输入到价值网络中进行学习,输出其价值,并优化其价值函数与策略函数;

收敛模块,重复直至函数收敛;

策略输出模块,所述策略输出模块根据策略输出最优路径。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行,以用于实现如权利要求1‑7任意一项权利要求所述的方法。

10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征是:所述处理器执行所述计算机程序时实现权利要求1‑7任意一项权利要求所述的方法。