1.基于强化学习激励信号塑性的无人船操纵优化方法,其特征在于,包括以下:S1、依据自适应演化控制算法,构建航行态势分析网络、样本存储网络,以无人船中心为原心,构建二维平面坐标体系,所述航行态势分析网络用于获取不确定水域下的可航行水域及不可航行水域,所述样本存储网络用于储存n量级的智能体在训练过程中所采取到的信息样本称之为经验,后用于经验复用学习;
S2、依照无人船基本物理构造舵机最大、小运作角度构造智能体自主控制船舶的舵机决策动作空间;
S3、构造无人船自身物理特征核心信息及航行态势信息进行激励的软性惩罚函数,并入航行态势分析网络输入端,以形成全局环境激励网络;
S4、对形成的全局环境激励网络进行反复的基础经验和经验复用的自主采样强化学习;
S5、基于状态随机转移矩阵迁移样本存储网络内航行样本逼近近似策略,得到更新后的船舶操纵智能体模型;
S6、以更新后的船舶操纵智能体模型对无人船进行操作优化;
具体的,构造无人船自身物理特征核心信息及航行态势信息进行激励的软性惩罚函数,包括计算无人船本身距离目标点的欧氏距离、无人船航向角阶梯二次变化量、阶梯二次舵机决策实际实施舵角的差值,并基于此计算最终奖励值,具体的设计过程如下,S3.1、生成距离奖励、无人船航向角阶梯二次变化量惩罚值、阶梯二次舵机决策实际实施舵角的差值惩罚值;其中:距离奖励的计算式如下:
上式中,、分别为于K时刻无人船自身相较于初始坐标体系的实际横纵坐标;、分别为在初始坐标体系中目的地中心的横纵坐标;为二维平面中无人船初始位置与目的地位置在可航行水域中的最大距离,无人船航向角阶梯二次变化量惩罚值的计算式如下:
上式中,、为于K-1、K时刻无人船相较于初始航向角0°的纵向偏离度,表示绝对值计算符号,阶梯二次舵机决策实际实施舵角的差值惩罚值的计算式如下:
上式中,为于K-1时刻、为于K-2时刻智能体操纵无人船采取的舵机决策舵角的实际舵角度数,表示绝对值计算符号;
S3.2求和软性奖励函数最终奖励值:
上式中,为于K-1时刻、为于K时刻智能体提取无人船的状态值[(x, y),φ],其中(x,y)为无人船于二维平面坐标体系中当前的x与y坐标值,φ为当前于舵机决策动作空间中所选取的舵角值。
2.根据权利要求1所述的基于强化学习激励信号塑性的无人船操纵优化方法,其特征在于,具体的,依照无人船基本物理构造舵机最大、小运作角度构造智能体自主控制船舶的舵机决策动作空间,包括,依照无人船自身信息及其舵角信息构建的舵机决策动作空间用于智能体实际操纵船舶时的舵角决策,所构建的舵机决策动作空间如下,。
3.根据权利要求1所述的基于强化学习激励信号塑性的无人船操纵优化方法,其特征在于,具体的,基于状态随机转移矩阵迁移样本存储网络内航行样本逼近近似策略,得到更新后的船舶操纵智能体模型,包括,对样本储存网络中的所采集的经验进行经验复用学习,在经过N次策略抉择后进行一次数量为M的状态随机转移,并进行经验复用,得到更新后的船舶操纵智能体模型。
4.根据权利要求1所述的基于强化学习激励信号塑性的无人船操纵优化方法,其特征在于,具体的,不可航行水域包括危险水域、障碍物区块、管制区域。
5.基于强化学习激励信号塑性的无人船操纵优化装置,其特征在于,应用了权利要求1-4中任一项所述的基于强化学习激励信号塑性的无人船操纵优化方法,包括:初始化模块,用于依据自适应演化控制算法,构建航行态势分析网络、样本存储网络,以无人船中心为原心,构建二维平面坐标体系,所述航行态势分析网络用于获取不确定水域下的可航行水域及不可航行水域,所述样本存储网络用于储存n量级的智能体在训练过程中所采取到的信息样本称之为经验,后用于经验复用学习;
舵机决策动作空间构建模块,用于依照无人船基本物理构造舵机最大、小运作角度构造智能体自主控制船舶的舵机决策动作空间;
全局环境激励网络构建模块,用于构造无人船自身物理特征核心信息及航行态势信息进行激励的软性惩罚函数,并入航行态势分析网络输入端,以形成全局环境激励网络;
训练模块,用于对形成的全局环境激励网络进行反复的基础经验和经验复用的自主采样强化学习;
船舶操纵智能体模型更新模块,用于基于状态随机转移矩阵迁移样本存储网络内航行样本逼近近似策略,得到更新后的船舶操纵智能体模型;
操作优化模块,用于以更新后的船舶操纵智能体模型对无人船进行操作优化。