欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024107646600
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 控制;调节
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于语义强化学习的自主水下机器人轨迹跟踪控制方法,其特征在于,包括:S1:自主水下机器人通过视觉传感器获取海洋环境图像信息;

S2:基于海洋环境图像信息,利用基于强化学习的轨迹跟踪控制器进行强化学习训练,得到最优的运动决策;

S3:采用语义理解器对海洋环境图像信息进行海洋环境特征点提取和语义理解,得到海洋环境语义;

S4:采用安全检查器对最优的运动决策、海洋环境语义、历史不安全事件信息判断自主水下航行器的运动决策是否安全,若安全,则自主水下机器人执行运动决策,并返回S1,否则执行S5;

S5:对于不安全的动作,自主水下机器人在安全约束下利用强化学习重新做出新的运动决策,然后执行S4的安全判断,若仍不安全,表示自主水下机器人无法躲避发生碰撞,则将当前不安全事件存储至安全检查器中,并基于状态恢复机制重训练;

所述S5对于不安全的动作,自主水下机器人在安全约束下利用强化学习重新做出新的运动决策,包括:S51:定义一个临界状态集和不安全动作集,如公式(7)和(8)所示:其中,S

S52:基于临界状态集和不安全动作集,预测围绕障碍物的危险状态以及各个状态对应的危险动作为:其中,s

S53:将预测的危险状态和危险动作添加到训练集中,对强化学习进行训练;

S54:通过步骤S53的训练以后,自主水下机器人采用ε-greedy选择策略,根据不同的概率选择不同的行动,当概率为1-ε时,动作和状态选择策略为:当概率为ε时,自主水下机器人的动作和状态策略选择:其中,θ(m

S55:根据步骤S54的策略选择的自主水下机器人的动作和状态,使得自主水下机器人对管道、电缆的轨迹跟踪表示为寻找基于安全检查器的安全约束下的最大化动作代价函数;

S56:自主水下机器人做完一次动作以后,对最大动作代价函数进行更新;

S57:自主水下机器人基于所述的最大化动作代价函数及其更新,做出新的运动决策。

2.根据权利要求1所述的基于语义强化学习的自主水下机器人轨迹跟踪控制方法,其特征在于,所述S3采用语义理解器对海洋环境图像信息进行海洋环境特征点提取和语义理解,得到海洋环境语义,包括:S31:将海洋环境图像信息输入语义编码器,语义编码器将海洋环境图像信息输入语义分割网络,获得像素级语义图像;

S32:语义编码器对海洋环境图像信息进行光流跟踪,通过比较当前图像和之前图像的差别,分辨出静态管道、电缆和动态障碍物的特征点,并剔除动态障碍物的特征点,得到剔除动态障碍物特征点的图像;

S33:将剔除动态障碍物特征点的图像和像素级语义图像进行语义信息融合;

S34:在融合后的语义信息中根据特征点最小距离设置特征点均匀分布掩膜,从而分离出静态的需要跟踪管道、电缆的语义编码信息,实现静态跟踪对象从融合后的语义信息中的分离;

S35:在分离出了静态跟踪对象的融合后的语义信息中设置感兴趣的区域,即动态障碍物的区域;

S36:在所述感兴趣的区域重新提取特征点,得到动态障碍物的语义编码信息,S37:将语义编码信息输入到语义解码器,得到海洋环境语义信息。

3.根据权利要求2所述的基于语义强化学习的自主水下机器人轨迹跟踪控制方法,其特征在于,所述语义解码器采用LSTM解码器。

4.根据权利要求1所述的基于语义强化学习的自主水下机器人轨迹跟踪控制方法,其特征在于,所述S55所述的最大化动作代价函数为:同时满足安全约束:

其中,Q

5.根据权利要求4所述的基于语义强化学习的自主水下机器人轨迹跟踪控制方法,其特征在于,所述S56对最大动作代价函数进行更新,其表示为:其中,Q

6.根据权利要求1所述的基于语义强化学习的自主水下机器人轨迹跟踪控制方法,其特征在于,所述S5将当前不安全事件存储至安全检查器中,并基于状态恢复机制重训练,包括:步骤a)对自主水下机器人进行管道、电缆跟踪巡检的运动策略和所述运动策略引起的安全状态进行采样并记录,如公式(15)所示:T={s

其中,T表示安全状态和运动策略的序列,s

步骤b)对每个采样的安全状态赋予一个考虑时间系数、安全状态相关性系数、安全性系数的可信度因子;

步骤c)当发生不可避免的安全事件时,状态恢复机制从赋值后的安全状态中选择值最大的可信度因子对应的安全状态作为重新训练返回的开始状态;

步骤d)安全强化学习返回到上一个安全状态,并将引发不安全事件添加到训练集中,重新开始训练。

7.根据权利要求6所述的基于语义强化学习的自主水下机器人轨迹跟踪控制方法,其特征在于,所述可信度因子为:可信度因子与对应状态的序列,如公式(20)所示;

R={s

其中,λ

8.根据权利要求7所述的基于语义强化学习的自主水下机器人轨迹跟踪控制方法,其特征在于,步骤c)当发生不可避免的安全事件时,状态恢复机制从赋值后的安全状态中选择值最大的可信度因子对应的安全状态作为重新训练返回的开始状态,如公式(21)所示:其中,s