1.复杂环境下无人水面航行器最优轨迹规划方法,其特征在于,步骤包括:对目标进行状态初始化,得到初始状态信息;
基于所述初始状态信息,构建系统模型;
构建基于威胁的知识图谱,并使用策略梯度强化学习算法对推理威胁度,得到威胁度信息;使用策略梯度强化学习算法对威胁度进行推理的方法包括:构建威胁评估数据集,然后通过从给定的正样本子集中进行探索来训练监督策略网络,接着在监督策略的基础上,使智能体学习奖励函数最大化的动作来进一步从威胁评估数据集中探索威胁实体的路径,实现对威胁度的推理过程;
基于多目标跟踪过程构建与深度强化学习交互的滤波环境,结合目标和洋流运动态势构建基于威胁的知识图谱,并使用强化学习对威胁度进行推理,步骤包括:S301.k时刻目标t的状态先验和状态先验协方差矩阵描述为:其中,Fk|k-1为状态转移矩阵;为过程噪声协方差矩阵;
在状态一步预测后,根据策略选择动作ak,USV从位置xs,k-1移动到xs,k,根据USV移动后的量测信息可以得到目标t的状态后验估计为:其中,Kk表示系统增益矩阵;表示执行动作ak后第i个量测与目标t的关联概率,当i=0时,表示没有量测来自目标t;表示新息;
目标t的后验状态协方差矩阵为:
其中,表示基于k-1时刻的状态估计对k时刻目标状态的不确定性进行预测的协方差矩阵;表示USV在位置xs,k上的新息协方差矩阵;表示在关联概率下用所有伪量测估计目标状态的联合新息;
S302.USV移动到相应位置后得到知识图谱评估威胁的数据源,构建威胁知识图谱;设定在USV监测区域内,存在t个目标和n个洋流,因此,时刻头实体向量集合表示为:其中表示第t个目标,表示第n个洋流;
关系向量和尾实体向量集合分别为:
其中,u表示与威胁相关的属性数量,包括目标位置、目标速度、目标相对于USV的角度和洋流与USV的角度;表示k时刻第u个关系向量,表示k时刻目标t的第u个尾实体向量;
由雷达获取到的量测信息可知,k时刻目标t的位置和角度尾实体如下:由状态估计信息可得,目标t的速度尾实体为:
其中,和分别表示目标的横向速度和纵向速度;
洋流与USV的夹角可由下式计算得出:
正样本集合为E+={Hk,Lk,Pk};将部分三元组的头实体或尾实体进行替换生成负样本,包含正,负样本的知识库组成了与目标威胁相关的数据集E,表示为:E=E+∪E-
其中,E+和E-分别表示正样本集和负样本集;
结合多目标后验克拉美罗下界与威胁度信息,构建评价指标;构建所述评价指标的方法包括:基于状态先验和协方差矩阵计算所有目标的克拉美罗下界,用于评估多目标跟踪的性能;之后实时推理威胁度并计算USV与目标之间的距离,确定每个目标和洋流的威胁等级,从而规避目标威胁和洋流扰动,优先跟踪威胁高的目标;
基于SAC的深度强化学习算法进行USV路径规划的最优决策,完成最优轨迹规划。
2.根据权利要求1所述的复杂环境下无人水面航行器最优轨迹规划方法,其特征在于,进行所述状态初始化的方法包括:设置k时刻t个目标的多目标状态集为采样周期为T=1s,过程噪声矩阵vk,假设k时刻接收m个量测,多目标量测集Zk为量测噪声矩阵wk,采样点为N=100。
3.根据权利要求2所述的复杂环境下无人水面航行器最优轨迹规划方法,其特征在于,所述系统模型包括:目标的状态转移方程、目标的量测方程以及洋流模型;其中,所述目标的状态转移方程包括:其中,f(·)表示状态演化映射;vk表示过程噪声;
所述目标的量测方程包括:
其中,xs,k=[xs,k,ys,k]T表示k时刻USV的位置;h表示量测映射;xs,k表示k时刻USV的横坐标;ys,k表示k时刻USV的纵坐标;
所述洋流模型包括:
其中,uc表示洋流在y方向的速度;vc表示洋流在x方向的速度;Sc=[xc,yc]T表示洋流的位移矢量;So=[xo,yo]T表示涡心矢量;ζ表示涡旋强度;l表示涡旋半径。
4.根据权利要求1所述的复杂环境下无人水面航行器最优轨迹规划方法,其特征在于,完成所述最优轨迹规划的方法包括:利用SAC智能体不断与多目标跟踪滤波环境进行交互,得到无人水面航行器的控制数据来训练智能体,通过训练后的SAC智能体最终得到使奖励函数最大化的动作序列,决策出无人水面航行器的最优轨迹。
5.复杂环境下无人水面航行器最优轨迹规划系统,所述系统用于实现权利要求1-4任意一项所述的方法,其特征在于,包括:初始化模块、构建模块、推理模块、评价模块和规划模块;
所述初始化模块用于对目标进行状态初始化,得到初始状态信息;
所述构建模块用于基于所述初始状态信息,构建系统模型;
所述推理模块用于基于所述系统模型,构建基于威胁的知识图谱,并使用策略梯度强化学习算法对威胁度进行推理,得到推理结果;
所述评价模块用于基于所述推理结果,构建评价指标;
所述规划模块用于基于所述评价指标,完成最优轨迹规划。