欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025102153654
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 测量;测试
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度强化学习的机器人动态环境自主导航方法,其特征在于,所述方法包括以下步骤:S100:设定移动机器人的观察空间和动作空间;

S200:获取环境数据,对环境数据进行预处理,对激光雷达以及深度相机数据进行特征提取,得到雷达数据特征图和行人数据特征图,进而生成移动机器人观察空间特征图;

S300:获取机器人的目标位置,使用A*算法生成从当前位置到全局目标的路径,根据当前位置以及全局路径生成子目标点;

S400:构建PPO深度强化学习网络,将观察空间特征图和子目标点作为PPO深度强化学习网络的输入,输出得到移动机器人的状态价值、前进速度和转向速度;其中,PPO深度强化学习网络包括特征提取网络、全连接层、Actor网络和Critic网络;特征提取网络处理输入的观察空间特征图,通过一系列卷积层、池化层以及三个内嵌高效注意力机制瓶颈残差块,以提取中级特征图;其中,特征提取网络的第一个池化层的输出与第三个瓶颈残差块的输出进行特征拼接,并传递至第二个池化层,特征提取网络第一个瓶颈残差块的输出与第二个瓶颈残差块的输出也进行特征拼接,其结果输入至第三个瓶颈残差块;

S500:设计奖励函数,建立仿真环境,基于移动机器人的状态价值和奖励函数训练PPO深度强化学习网络,经过设定时间步总数训练后,得到训练好的PPO深度强化学习网络,基于训练好的PPO深度强化学习网络得到实时的移动机器人的前进速度和转向速度,实现实时的复杂动态环境下的自主导航。

2.根据权利要求1所述的方法,其特征在于,S100包括:S110:移动机器人的观察空间包括激光雷达历史数据、以移动机器人为中心的预设范围内行人的运动学信息和子目标点位置,具体为:(1)

其中,表示激光雷达历史数据,表示以移动机器人为中心的预设范围内行人的运动学信息,表示子目标点位置;表示时刻;

S120:移动机器人的动作空间包括机器人前进速度和机器人转向速度,具体为:(2)

其中,表示移动机器人前进速度,表示移动机器人转向角速度,表示时刻,其中,m/s,rad/s。

3.根据权利要求2所述的方法,其特征在于,S200包括:S210:使用激光雷达传感器实时获取周围环境的激光扫描数据,对过去十次扫描的激光雷达数据进行最小值和平均值池化,生成历史距离测量数据,即(1,80,80)维雷达数据特征图;

S220:利用深度相机和YOLO目标检测算法检测环境中的行人,并记录其相对位置,使用多假设追踪算法追踪行人的运动,获取其位置和速度信息,将行人的位置和速度信息映射到网格地图中,生成(2,80,80)维行人运动学特征图;

S230:雷达数据特征图和行人运动学特征图共同构成移动机器人观察空间特征图。

4.根据权利要求3所述的方法,其特征在于,S300包括:S310:确定机器人需要到达的最终目的地,使用A*算法生成从当前位置到全局目标的路径;

S320:计算路径上距离机器人最近的路径点;

S330:根据当前位置和最近点确定子目标点;

S340:将全局目标点转换为机器人本地坐标系下的目标点。

5.根据权利要求4所述的方法,其特征在于,S320具体为:S321:定义路径和当前位置,设路径由线段序列,,…, 组成,其中是路径上的点,设当前机器人位置为;

S322:遍历路径上的每一段,对于路径上的第段,其起点,终点;

S323:计算方向向量、单位方向向量以及从线段起点到机器人位置的向量,具体公式如下:(3)

式(3)中,为线段的方向向量;

(4)

式(4)中,为线段的单位方向向量;

(5)

式(5)中,为线段起点到机器人位置的向量;

S324:根据线段起点到机器人位置的向量和线段的方向向量计算投影距离,具体公式如下:(6)

S325:基于投影距离和线段的方向向量确定最近点,具体公式如下:(7)

S326:基于投影距离和最近点计算到线段的垂直距离,具体公式如下:(8)

S327:对所有线段重复S323至S326,记录最小的垂直距离和对应的最近点。

6.根据权利要求5所述的方法,其特征在于,S330具体为:(9)

式(9)中,为设定的前瞻距离,其中,。

7.根据权利要求6所述的方法,其特征在于,S400中每个瓶颈残差块由六个卷积层和两个通道注意力模块组成,分为两组,每组包含三个连续卷积层后接一个通道注意力模块,其中每组内的第一个卷积层的输入与通道注意力模块的输出进行拼接,形成下一组的输入;全连接层接收特征提取网络输出的中级特征图和子目标点信息,进一步处理以产生高级特征图;Actor网络由两个全连接层组成,它以高级特征图为输入,输出包括移动机器人的转向速度和前进速度;Critic网络同样包含两个全连接层,它以相同的高级特征图为输入,输出移动机器人动作的价值函数,为Actor网络提供反馈,以优化策略。

8.根据权利要求7所述的方法,其特征在于,S500包括:S510:设计多目标奖励,包括目标达成奖励、避障奖励、路径平滑性奖励,以及主动朝向奖励;

S520:建立仿真环境,仿真环境为ROS的Noetic版本中的Gazebo平台,使用pedsim_ros模型模拟复杂动态环境场景,训练过程中随机设置目标点,基于移动机器人的状态价值和奖励函数按照网络策略进行仿真训练和测试;

S530:经过设定时间步总数训练后,得到训练好的PPO深度强化学习网络,基于训练好的PPO深度强化学习网络得到实时的移动机器人的前进速度和转向速度,实现实时的复杂动态环境下的自主导航。

9.根据权利要求8所述的方法,其特征在于,S510中多目标奖励具体为:(10)

式(10)中,、、分别为目标达成奖励、避障奖励以及主动朝向奖励,具体公式如下:(11)

式(11)中,是时刻目标的位置,、、、为训练参数;

(12)

式(12)中,是时刻障碍物的位置,、、、为训练参数,为夹角折扣因子,为移动机器人朝向和移动机器人与最近障碍物连线的夹角;

(13)

式(13)中,是时刻机器人本地坐标系中期望的朝向方向,、为训练参数。

10.根据权利要求9所述的方法,其特征在于,S520中基于移动机器人的状态价值和奖励函数按照网络策略进行仿真训练,具体为:S521:Actor根据策略选择动作,获得即时奖励;

S522:Critic更新状态价值;

S523:使用即时奖励和状态价值计算优势函数,评估当前动作优劣,具体为:(14)

其中,为优势函数、为即时奖励、为折扣因子、为下一状态的状态价值、为当前状态的状态价值;

S524:通过PPO的剪切损失函数更新Actor;其中,损失函数计算公式为:(15)

其中,为策略概率比例,是控制更新步幅的超参数。