1.一种基于深度强化学习的水下自主航行器接驳控制方法,其特征在于,所述方法包括:S1:根据海洋环境数据和接驳控制任务场景构建状态空间和动作空间以及仿真环境模型;
S2:根据到达目标实际需求和接驳控制任务场景设计深度强化学习的奖励函数;
S3:根据所述基于深度强化学习的状态空间和动作空间,构建基于SAC改进的深度神经网络模型;
S4:初始化所述基于SAC改进的深度神经网络模型参数和经验重放缓冲区;
S5:基于SAC改进的深度神经网络模型根据当前环境状态信息输入,输出当前时间步下的最优决策,水下自主航行器基于所述最优决策与模拟环境模型交互,产生新状态,并将状态经验存储至经验重放缓冲区;
S6:根据经验重放缓冲区中经验训练基于SAC改进的深度神经网络模型;
S7:重复步骤S5和步骤S6,直至达到预设结束条件停止,获得收敛模型;
S8:利用收敛模型为水下自主航行器提供接驳控制支持;
所述步骤S2包括:
其中, 是目标距离奖励函数; 是目标角度奖励函数; 是避障惩罚函数; 是条件奖励函数,每一时间步的奖励R是4种奖励之和; 是奖励函数对应的权重, ,, , , 是水下自主航行器当前时刻与目标之间的距离,是水下自主航行器上一时刻与目标之间的距离, 是目标与水下自主航行器之间的相对偏航角, 是目标与水下自主航行器之间的相对俯仰角, 是与目标接驳所设置的最大安全偏航角, 是与目标接驳所设置的最大安全俯仰角, 是水下自主航行器与障碍物之间的距离, 是水下自主航行器与障碍物的最小安全距离;
所述步骤S3中基于SAC改进的深度神经网络模型包括:行动者网络和评论家网络;
所述行动者网络的输入层的输入为当前时刻水下自主航行器的状态;输入层与第一全连接层一端连接,第一全连接层输出端与GRU网络连接,所述GRU网络连接输出端连接第二全连接层,所述第二全连接层的两个输出端连接分别第三全连接层和第四全连接层,所述第三全连接层用于输出动作均值,所述第四全连接层用于输出动作标准差;
所述评论家网络的输入层的输入为当前时刻水下自主航行器的状态以及行动者网络输出的动作,输入层与全连接层连接,所述全连接层与GRU网络连接,所述GRU网络的输出端连接两个全连接层,获得动作价值。
2.根据权利要求1所述的一种基于深度强化学习的水下自主航行器接驳控制方法,其特征在于,所述步骤S1包括:根据历史海洋环境数据进行分析,获取数据变化范围;
构建地坐标系和随水下自主航行器运动的以其自身为中心的体坐标系;
定义水下自主航行器动作空间和状态空间;
根据坐标系和水下自主航行器动力学方程构建水下自主航行器动力学模型;
根据水下自主航行器动力学模型的自身状态更新和障碍物的碰撞检测构建仿真环境模型。
3.根据权利要求2所述的一种基于深度强化学习的水下自主航行器接驳控制方法,其特征在于,所述历史海洋环境数据包括:洋流、波浪、海冰、深度、礁石和地形。
4.根据权利要求1所述的一种基于深度强化学习的水下自主航行器接驳控制方法,其特征在于,所述行动者网络的输入层的输入具体为:水下自主航行器的位置、姿态,水下自主航行器与障碍物的距离,水下自主航行器与目标的距离、相对角度以及上一时刻的动作控制量。
5.根据权利要求1所述的一种基于深度强化学习的水下自主航行器接驳控制方法,其特征在于,所述评论家网络的输入层的输入具体为:水下自主航行器的位置、姿态,水下自主航行器与障碍物的距离,水下自主航行器与目标的距离、相对角度,上一时刻的动作控制量,以及当前时刻行动者网络输出的动作控制量。
6.一种基于深度强化学习的水下自主航行器接驳控制系统,其特征在于,所述系统包括:仿真环境构建单元,用于根据海洋环境数据和接驳控制任务场景构建状态空间和动作空间以及仿真环境模型;
奖励函数设计单元,用于根据到达目标实际需求和接驳控制任务场景设计深度强化学习的奖励函数;
基于SAC改进的深度神经网络模型构建单元,用于根据所述基于深度强化学习的状态空间和动作空间,构建基于SAC改进的深度神经网络模型;
初始化单元,用于初始化所述基于SAC改进的深度神经网络模型参数和经验重放缓冲区;
决策交互单元,用于基于SAC改进的深度神经网络模型根据当前环境状态信息输入,输出当前时间步下的最优决策,水下自主航行器基于所述最优决策与模拟环境模型交互,产生新状态,并将状态经验存储至经验重放缓冲区;
训练单元,用于根据经验重放缓冲区中经验训练基于SAC改进的深度神经网络模型;
循环单元,用于重复决策交互单元和训练单元,直至达到预设结束条件停止,获得收敛模型;
接驳单元,用于利用收敛模型为水下自主航行器提供接驳控制支持。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于储存计算机程序,所述计算机程序执行权利要求1‑5任一项所述的一种基于深度强化学习的水下自主航行器接驳控制方法。
8.一种计算机设备,其特征在于:包括存储器和处理器,所述存储器中存储有计算机程序,当所述处理器运行所述存储器存储的计算机程序时,所述处理器执行根据权利要求1‑5中任一项中所述的一种基于深度强化学习的水下自主航行器接驳控制方法。