欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025107393692
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 测量;测试
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种未知动态环境中人机混合自主导航系统,包括环境感知模块、决策规划模块、局部目标点选取模块、学习优化模块和人机交互模块,其特征在于,环境感知模块利用激光雷达、摄像头和惯性测量单元这些传感器获取环境信息,并进行数据预处理;

所述局部目标点选取模块根据环境感知模块提供的实时信息,在环境中选取符合要求的局部目标点集;

所述决策规划模块,基于深度强化学习算法与人工经验混合训练生成最优路径和导航策略;

学习优化模块通过在线学习与迁移学习技术提升算法的泛化能力,并结合人机交互模块实现人类经验的有效引入和策略调整;

所述人机交互模块可与局部目标点选取模块协同工作,以根据外部输入动态调整目标点选取,优化路径规划;

所述决策规划模块采用TD3算法,通过强化学习智能体的交互训练;

在训练过程中,智能体通过环境感知模块接收状态信息,并采取相应的导航动作;

TD3算法利用两个独立的Q网络进行值函数估计,以减少策略更新过程中的过估计问题,同时采用目标网络延迟更新机制,提升学习稳定性;

奖励函数的设计综合考虑了导航效率、避障安全性以及能源消耗因素,以优化导航路径;奖励函数的具体设计如下:目标奖励:当机器人成功到达目标点,且与目标点的欧式距离小于设定阈值时,系统给予固定的正向奖励以鼓励快速完成导航任务,提高任务完成率;

碰撞惩罚:若机器人在导航过程中检测到与障碍物发生碰撞,则立即施加负向奖励,该惩罚信号促使导航系统学习避免危险行为,降低碰撞风险,提升系统的安全性;

运动平稳性奖励:机器人运动的平稳性对于导航效率和系统稳定性至关重要;在奖励函数中,线速度采用正向二次奖励,以鼓励机器人保持合适的速度前进,避免低速滞留导致任务延误;角速度w采用负向二次惩罚,以减少不必要的急转弯,优化轨迹平稳性,提高路径的可行性和导航效率;

避障安全性奖励:通过激光传感器检测机器人与障碍物的最小距离,设置距离惩罚函数;当机器人距离障碍物小于设定的安全阈值时,施加惩罚,以增强避障能力并防止发生碰撞;避障安全性奖励函数定义如下:人机交互反馈惩罚:在自主学习过程中,为了使机器人学习符合人类经验的导航策略,设定人为干预惩罚项,当导航决策偏离人类专家经验,导致用户进行手动调整时,系统施加负向奖励,以引导模型逐步减少对人为干预的依赖,提高自主学习能力;

完整的奖励函数表示为:

;

采用人机混合训练方法,在强化学习训练的不同阶段,引入人类经验,以提高模型的收敛速度,并增强自主导航系统的智能化水平,具体如下:初始阶段即0-30% 训练周期:在训练初期,由人类专家提供示范数据,人工决策占比较高,机器人模仿人工操作的路径规划方式,借助专家知识库建立基础导航策略,加快模型收敛速度;

中期阶段即30-70% 训练周期:在此阶段,逐步减少人工干预比例,导航系统开始自主探索优化策略;

后期阶段即70-100% 训练周期:该阶段完全由强化学习模型自主决策,机器人通过在线学习不断优化策略,并在不同环境中进行适应性调整,以提升泛化能力和决策稳定性;

所述TD3算法采用两个独立的Q网络和  进行状态-动作值函数的估计,以降低传统单Q网络的过估计问题;

所述Q网络的目标值计算如下:

其中,为奖励值,为折扣因子,为下一时刻的状态,为目标Q网络;

所述Q网络的损失函数定义如下:

所述目标Q网络采用延迟更新策略,以减少训练过程中的不稳定性;

策略网络通过最大化Q网络的输出值来优化导航策略,其优化目标与梯度更新方式如下,其中,仅采用进行策略优化,以降低计算复杂度,提高更新效率:为防止策略输出过于激进导致不稳定的导航行为,所述TD3算法在动作执行过程中加入高斯噪声,并对其进行裁剪,以限制策略更新幅度,其中,控制噪声强度,限制噪声范围,从而提升导航策略的平滑性,避免过大的控制变化影响导航安全性;

在决策实施过程中,考虑到机器人的物理模型,加速度指令受到物理约束,确保机器人能够在可行的加速度范围内稳定运行;

此外,还包括误差处理方法被用于修正执行过程中的偏差,提高导航系统的精度和安全性;

所述局部目标点选取模块通过设计一个综合的评价函数,对每个候选目标点进行评价,考虑路径畅通性、目标接近度和环境安全性因素,选取最优的局部目标点,引导机器人向全局目标点前进,避免因长距离任务导致的局部最优问题;

所述局部目标点集选取规则设计如下:

当激光传感器检测到角度为、距离为的近距离扇区内没有障碍物时,在该扇区的平分线上添加一个点;

在角度为、距离为的长距离扇区内,如果激光传感器没有检测到障碍物,也在该扇区的平分线上放置一个点,以确保导航路径的连续性和平滑性;

为了进一步提高导航精度和灵活性,分析连续激光传感器读数之间的差异,如果检测到的差异超过预定义的阈值,可能表明存在机器人可以通过的间隙,在这种情况下,在间隙的中心添加一个点,引导机器人利用这个潜在通道进行安全避障和路径优化;

为了选择最优的局部目标点,设计了一个基于信息增益、距离与障碍物感知的综合评价函数,选择评分最低的目标点作为当前时间步的最优局部目标点:上述的四个评价指标结合四个对应的权重构成评价指标;

第一欧几里得距离评价项,该项衡量候选目标点与机器人当前位置的距离,使用超越函数来增强距离的影响,其中,为当前位置与目标点的欧几里得距离,,为距离限制;

第二全局目标距离评价项,该项评估目标点与全局目标的距离,鼓励机器人朝向全局目标前进;

第三环境信息增益评价项,该项通过环境信息增益衡量候选目标点的适应性,其中为周围环境的信息增益;

第四障碍物避让评价项,该项根据障碍物与目标点的距离,惩罚接近障碍物的目标点;通过上述评价函数计算每个候选目标点的评分,最终选择得分最低的目标点作为最优局部目标点:。

2.根据权利要求1所述的未知动态环境中人机混合自主导航系统,其特征在于:环境感知模块包括障碍物检测、动态目标识别、地图构建以及环境状态估计;其中,障碍物检测用于识别前方障碍物,并判断其相对位置和运动趋势;

动态目标识别用于检测并预测移动物体的轨迹,以便进行动态避障;

地图构建模块负责在未知环境中构建局部或全局地图,为路径规划提供基础信息;

环境状态估计则结合历史数据和当前传感器输入,提高环境理解能力;

此外,环境感知模块通过数据预处理技术对感知信息进行去噪、特征提取和数据格式转换,以确保提供给其他模块的环境信息具有高可靠性和实时性。

3.根据权利要求2所述的未知动态环境中人机混合自主导航系统,其特征在于:环境感知模块在于对传感器数据的处理包括,激光雷达数据经过栅格化处理,形成局部占据网格地图,并通过基于点云聚类的方法检测障碍物;

摄像头数据经过深度学习目标检测算法进行物体识别,并通过光流分析预测动态目标轨迹;

惯性测量单元数据用于运动补偿,结合激光雷达和摄像头信息,提供更稳定的位姿估计;

最终,所有传感器数据通过卡尔曼滤波或粒子滤波融合方法,去除噪声,形成高精度的环境感知信息,供后续模块使用。

4.根据权利要求3所述的未知动态环境中人机混合自主导航系统,其特征在于:环境感知模块的检测方法如下:首先,摄像头采集环境图像,并通过YOLO目标检测算法进行处理,识别出图像中的目标,并输出目标的类别、位置和置信度;

YOLO输出的结果为一组边界框,表示每个目标在图像中的位置,具体公式如下:激光雷达数据通过点云处理算法进行预处理;首先,激光雷达的原始点云数据被栅格化为占据网格地图,每个激光雷达数据点被映射到三维空间中;

点云数据会通过点云分类算法进行障碍物检测,生成目标的三维位置坐标;其中,m为点云数据中的点数,为激光雷达点云中的每个点的三维坐标;

为了将YOLO检测的二维目标位置与激光雷达的三维点云数据进行融合,进行空间配准;假设摄像头与激光雷达系统的标定矩阵为,则通过以下变换将YOLO输出的二维目标位置映射到三维空间中,为YOLO检测到的第个目标的边界框,为该目标的三维位置;通过该变换,将二维图像中的目标位置与激光雷达提供的深度信息结合,实现三维障碍物的精确定位;

在检测到目标的位置后,为了实现对动态障碍物的跟踪与预测,采用卡尔曼滤波器对目标的运动轨迹进行估计;

假设目标的状态向量为,其中为目标位置,为目标的速度分量,卡尔曼滤波的预测与更新公式如下,其中,为状态转移矩阵,为控制矩阵,为控制输入;其中,为卡尔曼增益,为观测值,H为观测矩阵;

卡尔曼滤波通过不断更新目标的状态向量,实现对动态目标的实时跟踪与位置预测;

为了进一步提升系统的避障能力,通过预测目标的未来位置来提前规划避障路径;通过使用激光雷达和摄像头的联合数据,结合目标的历史轨迹,采用基于时间序列分析的方法预测目标的未来运动轨迹,为第时刻的目标位置预测,为LSTM网络模型,为目标的历史状态;

。

5.根据权利要求1所述的未知动态环境中人机混合自主导航系统,其特征在于:所述学习优化模块结合迁移学习和在线学习技术,使系统能够在未知环境中不断优化自身策略,实现从模拟训练到真实应用的无缝过渡;

在模型训练阶段,首先在高保真模拟环境中进行训练,以学习基本的导航能力,并在此过程中优化策略;

随后,利用迁移学习技术,将训练好的模型迁移到真实环境,使其适应复杂的环境变化;

集成在线学习机制,使模型能够在部署后利用实时数据进行持续优化;

在线学习部分通过实时感知数据和人类专家的干预指导进行策略更新,从而增强系统在动态环境中的适应性,使其能在面对突发情况和环境变化时做出更优决策;

此外,还采用对抗训练和自适应调整技术,进一步提高自主导航系统在复杂环境下的鲁棒性和容错能力。

6.根据权利要求1所述的未知动态环境中人机混合自主导航系统,其特征在于:所述人机交互模块用于提供用户与自主导航系统的交互方式,具体采用手柄和按键作为输入设备,允许用户通过手动操作对系统进行实时干预;

用户输入包括速度建议、导航方向建议、路径优先级调整及系统参数调控,系统将手柄的模拟信号摇杆偏移量和数字信号按钮按压实时解析为控制向量,其中表示人类指导的二维方向控制信号,表示第个按键状态;

输入信号经由手柄映射模块转换为建议动作向量,该建议动作不直接参与策略网络的训练和推理,而是在策略输出阶段与机器动作融合,用于提升控制的柔性与安全性;

系统自身策略网络以当前环境状态为输入,输出机器动作:

同时,为使系统具备对人类输入的判断能力,引入时间相关的信任权重函数,以控制融合程度::单位时间内人类干预次数,触发阈值,函数斜率调节因子;

最终控制动作通过人机融合策略计算得到:

。

7.根据权利要求6所述的未知动态环境中人机混合自主导航系统,其特征在于:所述专家知识库用于存储用户在不同环境中使用手柄进行导航操作的数据,持续构建从“状态-人类输入”到“期望动作”的映射关系:;

由专家操作生成标准动作数据集,并以时间窗口方式建模时序依赖;

该知识库在离线训练阶段以行为克隆或逆强化学习方式引导策略初始收敛方向,优化强化学习中策略初始化的随机性问题;

在离线训练阶段通过模仿学习引导策略网络的初始收敛方向,其损失函数为:;

还包括策略微调机制基于运行过程中的在线反馈与环境状态变化,动态调整深度策略网络参数,以增强系统对非结构化场景和用户偏好的适应能力,该机制引入人类反馈信号,并通过人工反馈加权系数对即时奖励进行修正,得到增强奖励,从而实现对行为的正向强化或负向抑制;

此外,系统结合历史专家操作轨迹,以策略蒸馏方式构建优化目标,通过最小化专家策略与当前策略的Kullback-Leibler散度,定义蒸馏损失函数为:该目标引导策略在专家轨迹邻域内收敛于更优动作分布,提升策略的稳定性和泛化能力;

系统在运行过程中持续构建动态干预标签数据集,并以此为基础对策略网络进行周期性微调训练,实现对用户意图的长期自适应;同时,该策略微调机制与局部目标点选取模块协同运行,当用户提出路径修正建议或环境变化超过策略泛化范围时,系统根据反馈信号和目标点梯度信息动态调整评分函数权重,更新方式为,以融合人类偏好与策略趋势,提升目标点选择在复杂动态环境下的响应能力。