1.一种基于轨迹预测的自主水下航行器目标跟踪控制方法,其特征在于,包括步骤1、基于TPENN神经网络进行目标轨迹预测,得到预测的逃逸目标轨迹;
所述TPENN神经网络包括输入层、隐含层、输出层和承接层;
其中,承接层的激活函数为恒等函数,用于存储记忆隐含层单元上一时刻的输出,当作一步延时算子;
假设在时刻t,TPENN神经网络的输入是U(t),隐含层的输出为X(t),整个网络的输出为
1 2 3
Y(t),ω ,ω ,ω 分别表示输入层与隐含层、承接层与隐含层、隐含层与输出层之间的连接权值,b和c分别代表隐含层和输出层的偏置,则神经网络的计算过程表示为3
Y(t)=g(ωX(t)+c) (7)神经网络采用时间反向传播算法进行学习和训练,其目标函数为Yd(t)表示预期的输出;
由于神经网络的输入是具有时间序列的历史数据,因此引入时间回归因子fTP(t)得到神经网络改进后的目标函数ETP(t):其中,α表示是打折率,λ表示样本数量,t表示迭代次数;
步骤2、根据预测的逃逸目标轨迹,基于深度强化进行动态目标跟踪控制,实现安全避障、水流补偿和轨迹跟踪;
步骤2所述控制过程具体为:
从预测的逃逸目标轨迹中获取期望的自主水下航行器位姿矢量ηd=[xd yd zd φd θd T Tψd] ,与自主水下航行器当前状态矢量η=[x y z φ θ ψ]比较,产生航向以及位置轨迹误差,并与自主水下航行器的状态信息整合生成状态误差向量,输入DRL深度强化学习模型中,根据强化学习算法输出最优的运动速度控制信号矢量并与自主水下航行器输出速度信号矢量 比较,产生
自主水下航行器跟踪速度误差 输入变结构滑模动力学跟踪控制器SMC,由此产生自主水下航行器的动力学推进控制信号 驱动自主水下航行器的速度矢量矩阵 跟踪自主水下航行器跟踪的运动学速度控制信号 通过坐标转换 得到AUV实际位姿矢量η=[x Ty z φ θ ψ],从而实现自主水下航行器对动态目标的高效精准跟踪;
其中,xdyd zd分别为自主水下航行器在惯性坐标系中期望的位置;φd θd ψd分别为自主水下航行器对惯性坐标系中期望的横倾角、纵倾角和艏向角;
x y z分别为自主水下航行器在惯性坐标系中当前的位置;φ θ ψ分别为自主水下航行器对惯性坐标系中当前的横倾角、纵倾角和艏向角;
ud vd wd分别为自主水下航行器线速度矢量在载体坐标系中的3个分量;pd qd rd分别为自主水下航行器角速度矢量在载体坐标系中的3个分量;
所述步骤2还包括,将时变立体水流模型加入到载体坐标系的速度矢量中进行控制补偿;
所述时变立体水流模型中,自主水下航行器动力学方程的动力项为:水动力+推进机构推力+水流干扰力。
2.根据权利要求1所述的一种基于轨迹预测的自主水下航行器目标跟踪控制方法,其特征在于,所述步骤1将逃逸目标当前时刻t时间序列轨迹坐标输入已学习的TPENN神经网络,得到逃逸目标未来时刻的预测轨迹坐标。
3.根据权利要求1所述的一种基于轨迹预测的自主水下航行器目标跟踪控制方法,其特征在于,所述TPENN神经网络的学习方式为:输入训练样本数据,根据BPTT算法,得到ETP(t)的偏导数,其权重计算如式(11)所示:
1 2 3
η1、η2、η3是ω、ω、ω学习步;
i=1,2,...,m;j=1,2,...,n;q=1,2,...,r;l=1,2,...,n;
分别表示第j层输出层的误差、第i层输入层的误差;
通过神经网络的训练,得到TPENN神经网络的各项参数。
4.根据权利要求1所述的一种基于轨迹预测的自主水下航行器目标跟踪控制方法,其特征在于,所述步骤1通过水下声呐与光学传感器得到逃逸目标所有历史时刻位姿数据,作为TPENN神经网络学习训练样本。
5.根据权利要求1所述的一种基于轨迹预测的自主水下航行器目标跟踪控制方法,其特征在于,所述DRL深度强化学习模型包括DRL避障模块、导航模块和动作调度器;
避障模块,用于DRL通过双Q‑network学习模式实现避开障碍物;
导航模块,用于通过双Q‑network学习的方式完成自主水下航行器导航策略的在线训练,通过在线学习解决目标跟踪的最终策略;
动作调度器,用于对导航模块在线部分进行有效的探索和加速训练,并生成自主水下航行器运动学控制指令。
6.根据权利要求5所述的一种基于轨迹预测的自主水下航行器目标跟踪控制方法,其特征在于,所述避障模块设置碰撞负奖励,将避障目标表达为强化学习的一般目标,以寻求一种使总奖励最大化的策略,经过训练,由双Q‑network得到学习Q函数,最终收敛于最优Q函数附近;
所述导航模块使用双Q‑network中的一个网络分别将获得的局部障碍物信息、预测轨迹信息转化为奖励,并将奖励结果立即反馈以改进导航策略;同时,使用另一个完全连接的Q‑network在线学习的行为价值函数;
所述动作调度器利用从避障模块、导航模块学习到的策略,在重置缓冲区中积累训练经验,随着时间的推移,调度器逐渐从静态学习策略转移到在线学习策略,在线探索和优化一直持续到产生稳定的自主水下航行器跟踪的运动学速度控制信号。