欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023114521554
申请人: 安徽大学
专利类型:发明专利
专利状态:未下证
专利领域: 测量;测试
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于近端策略优化的多无人艇深度强化学习协同导航方法,其特征在于,包括:步骤1、建立无人艇水平面运动的运动学模型及动力学模型;

步骤2、将多无人艇多目标导航问题建模为马尔科夫决策过程并确定单个无人艇的状态空间以及动作空间;

步骤3、根据多无人艇多目标导航的目标,建立考虑无人艇与障碍物发生碰撞情况以及无人艇与其余的无人艇发生碰撞情况的差分奖励函数;

步骤4、基于步骤1‑3,获取多个无人艇的状态信息,输入多智能体深度强化学习模型,结合多智能体近端策略优化算法,得到多个无人艇的动作;

步骤5、采用训练后的多智能体深度强化学习模型进行多无人艇多目标导航;

所述步骤3建立的差分奖励函数为:

其中r_o_collide表示无人艇与障碍物发生碰撞的情况,无人艇i与障碍物发生碰撞时r_o_collide为‑1,其余的情况r_o_collide为0;

r_u_collide表示无人艇与其余的无人艇发生碰撞的情况,无人艇i与其余的无人艇发生碰撞时r_u_collide为‑1,其余情况r_u_collide为0;

t t t+1

r_diff=d‑d

T1表示目标点1,T2表示目标点2,T3表示目标点3;

t

表示在时刻t无人艇1,U2表示在时刻t无人艇2;

t t+1

U3表示在时刻t无人艇3,U1 表示在时刻t+1无人艇1;

表示在时刻t+1无人艇2, 表示在时刻t+1无人艇3;

表示在时刻t,三个无人艇中距离目标点1最近的距离;

表示在时刻t,三个无人艇中距离目标点2最近的距离;

表示在时刻t,三个无人艇中距离目标点3最近的距离;

t

d表示 这三个距离之和;

表示在时刻t+1,三个无人艇中距离目标点1最近的距离;

表示在时刻t+1,三个无人艇中距离目标点2最近的距离;

表示在时刻t+1,三个无人艇中距离目标点3最近的距离;

t+1

d 表示 这三个距离之和;

t

r_diff表示在时刻t的差分奖励。

2.根据权利要求1所述的基于近端策略优化的多无人艇深度强化学习协同导航方法,其特征在于,所述步骤1建立如下无人艇的三自由度水平面动力学模型:所述步骤1建立如下无人艇的三自由度水平面运动学模型:ur=u‑uc

wr=w‑wc

是加速度矢量,其中 是激荡加速度、 摇摆加速度、角加速度;

τx表示控制无人艇的力,τN表示控制无人艇的力矩;

[uc,wc]表示在坐标系b下的洋流的速度,[Vx,Vy]表示在坐标系c下的洋流速度, 表示从坐标系b到坐标系c的旋转矩阵,其中c是惯性坐标系,b是以船体为固定框架定义的坐标系;

[u,w,r]是没有考虑洋流影响的速度向量,其中u表示激荡速度,w表示摇摆速度,r表示角速度;

[ur,wr]表示考虑洋流影响之后的相对速度向量,其中ur表示是艇的相对激荡速度,wr表示艇的相对摇摆速度;

分别表示水平方向的速度、垂直方向的速度,表示角速度, 表示航向角。

3.根据权利要求1所述的一种基于近端策略优化的多无人艇深度强化学习协同导航方法,其特征在于,所述步骤2确定的单个无人艇的状态空间如下:式中xi,yi表示无人艇i的横纵位置;

表示航向角,ui表示无人艇的激荡速度,wi表示无人艇的摇摆速度,ri表示无人艇i的角速度,aui表示无人艇i的激荡加速度,awi表示无人艇i的摇摆加速度,ari表示无人艇i的角加速度, 表示无人艇i相对于目标点的距离,无人艇i相对于其余无人艇的距离。

4.根据权利要求1所述的一种基于近端策略优化的多无人艇深度强化学习协同导航方法,其特征在于,所述步骤2确定的单个无人艇的动作空间如下:A=(Tport,Tstdb)

Tport,Tstdb表示作用在艇左舷、右舷上的推力。

5.根据权利要求1所述的一种基于近端策略优化的多无人艇深度强化学习协同导航方法,其特征在于,所述步骤4包括:步骤41、采用仿真环境生成多无人艇的状态向量,包括多个无人艇的出发点、多个目标点以及多无人艇的速度信息;

步骤42、将多无人艇的状态向量输入到多智能体深度强化学习模型的策略网络中,得到多无人艇的动作向量,对于仿真环境生成的多无人艇的状态向量是基于步骤2中的状态空间进行采样得到的,对于多无人艇的动作向量是基于步骤2中的动作空间进行采样得到的;

步骤43、将多无人艇的动作向量送给仿真环境,仿真环境基于步骤3建立的差分奖励函数、步骤1中模型返回奖励以及多无人艇执行动作向量之后的下一个时刻状态向量,返回步骤42,直到一个与环境交互回合结束,将本回合中产生的当前时刻状态,奖励值,动作,下一个时刻状态数据存储到经验池中;

步骤44、重复执行步骤41‑步骤43直到经验池已满;

步骤45、从经验池中采样所有回合数据,基于多智能体近端策略优化算法更新多智能体深度强化学习模型的策略网络以及价值网络;

步骤46、清空经验池;

步骤47、重复步骤41‑步骤46,直至达到最大训练回合数,完成对多智能体深度强化学习模型的策略网络以及价值网络的训练,得到训练后的多智能体深度强化学习模型。

6.根据权利要求5所述的一种基于近端策略优化的多无人艇深度强化学习协同导航方法,其特征在于,所述步骤41的具体过程为:调用仿真环境的reset方法,得到n个无人艇的出发点、n个无人艇要到达的目标点、n个无人艇初始的激荡速度、摇摆速度、角速度、n个无人艇的激荡加速度、摇摆加速度、角加速度,得到多无人艇的状态向量。

7.根据权利要求5所述的一种基于近端策略优化的多无人艇深度强化学习协同导航方法,其特征在于,所述步骤43的具体过程为:多无人艇的动作向量送给仿真环境后,仿真环境根据无人艇的动作向量以及步骤1中的数学模型,计算出无人艇的激荡加速度、摇摆加速度、角加速度,基于计算得到的加速度,进一步计算出激荡速度、摇摆速度、角速度,进一步计算出艇的位移以及偏航的角度;

基于艇的位移以及偏航的角度,仿真环境返回给多无人艇下一时刻的状态向量;

基于艇的位置,以及在步骤3建立的差分奖励函数,返回奖励值;

采用下一个时刻的状态向量返回执行步骤42,直到一个与环境交互回合结束;

将上述过程中的当前时刻状态,奖励值,动作,下一时刻的状态存储到经验池中。

8.根据权利要求5所述的一种基于近端策略优化的多无人艇深度强化学习协同导航方法,其特征在于,所述步骤45基于多智能体近端策略优化算法训练两个独立的网络,分别为参数是θ的策略网络πθ和参数为 的价值网络 其对所有同构的智能体共享网络权重;

策略网络πθ由多层全连接层组成,用于将无人艇i的局部观测si映射至连续动作空间的分布;

策略网络πθ的损失函数为:

其中B表示批处理数;N是智能体,即无人艇的数量; 表示优势函数;πθ表示参数为θ的策略网络, 表示参数没更新之前的策略网络,ε是固定常数, 表示在时刻k智能体i采取的动作, 表示在时刻k智能体i所处的状态,clip表示裁剪,具体如下:价值网络 由多层全连接层组成,用于将全局状态映射至状态价值的估计;

价值网络 的损失函数为:

其中 表示参数为 的价值网络, 表示参数没更新之前的价值网络, 表示折扣累积奖励。

9.根据权利要求1所述的一种基于近端策略优化的多无人艇深度强化学习协同导航方法,其特征在于,所述步骤5具体包括:(1)将多个无人艇的状态向量输入到训练后的多智能体深度强化学习模型中,得到无人艇的最优动作;

(2)执行无人艇的最优动作,得到一个新的多个无人艇的状态向量,返回(1),直到多个无人艇以最优的路径到达多个目标点。