欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025118610397
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
专利领域: 控制;调节
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于强化学习的四旋翼无人机有限时间滑模姿态控制方法,其特征在于,包括如下步骤:步骤1,考虑外界扰动及模型不确定性,建立四旋翼无人机姿态动力学模型,并变换为标准状态方程形式;

步骤2,构造非奇异积分终端滑模函数,设计得到姿态控制器的标称项;同时设计含时变矩阵的到达控制律项,到达控制律项和标称项之和为姿态控制器;具体过程如下:定义姿态角度跟踪误差向量为:

,

式中,,和分别为滚转角、俯仰角和偏航角的跟踪误差,为姿态角状态向量,,,和分别为四旋翼无人机的滚转角、俯仰角和偏航角;为期望的姿态角向量,,和分别为期望的滚转角、俯仰角和偏航角;

定义向量为:

,

式中,,和均表示中间变量,为姿态角速度状态向量,,和分别为滚转角、俯仰角和偏航角的角速度状态变量;为期望的姿态角速度向量,,和分别为期望的滚转角速度、俯仰角速度和偏航角速度,为对角矩阵,,参数和满足、、;

构造非奇异积分终端滑模函数,确保在有限时间内收敛到零:,

式中,,和分别为滚转角、俯仰角和偏航角的滑模函数,表示当前时刻,表示0到之间的任意时刻,为对角矩阵,,参数和满足、、;为幂指数向量,,为与维度相同的全1向量,和均为奇数,且、、;

对求导,并令,忽略总扰动,得到姿态控制器的标称项为:,

式中,为四旋翼无人机机体的转动惯量矩阵,,和分别为机体绕和轴的转动惯量,,为姿态角误差变化率向量,,和分别为滚转角、俯仰角和偏航角跟踪误差变化率;

设计基于强化学习的时变到达控制律为:,

式中,为参数,满足;为符号函数,,和均表示中间变量,满足;和均为时变矩阵:,

,

式中,和均为控制参数,、、、、、;

则姿态控制器为:

,

式中,,和分别为滚转、俯仰和偏航通道的控制力矩,且,

式中,和分别为四旋翼无人机的滚转角速度、俯仰角速度和偏航角速度,和分别为四旋翼无人机的滚转角加速度、俯仰角加速度和偏航角加速度;

步骤3,构建扩展的马尔科夫决策过程,刻画姿态跟踪下基于强化学习的时变矩阵优化整定,定义四旋翼无人机三轴姿态角误差及其变化率为状态,强化学习中策略网络的输出为动作,将四旋翼无人机三轴姿态角误差及其变化率作为策略网络的输入,设计动作实现映射,将策略网络的输出映射为控制参数动作,从而得到时变矩阵;

将四旋翼无人机三轴姿态角误差及其变化率和策略网络的输出作为强化学习中价值网络的输入,设计针对控制性能的奖励函数,对策略网络的输出进行评估并反馈至策略网络,进而生成下一个动作,实现四旋翼无人机姿态控制;

步骤3的具体过程如下:

构建如下扩展的马尔科夫决策过程,刻画姿态跟踪下基于强化学习的时变矩阵更新机制:,

式中,为状态集合,为动作集合,为状态转移核,为即时奖励,为折扣因子,为动作实现映射,为行为噪声过程;

定义状态集合为6维向量,依据无人机姿态角跟踪目标,取三轴姿态角误差及其变化率作为状态:,

式中,为实数向量空间;

定义动作集合为6维向量:

,

式中,和均为参数;

控制参数动作由通过动作实现映射得到:,

式中,为映射后的控制参数动作向量,为防止控制参数趋于0的常数下限,为动作缩放矩阵,,,为第个控制参数的缩放系数,第1至第6个控制参数依次为;为控制参数动作下界向量,,分别为各控制参数的动作下界;

动作映射对的雅可比矩阵表示为:

,

式中,表示双曲正割函数;

经映射后的控制参数动作向量表示为:,

从而得到时变矩阵及;

决策过程中的状态转移表示为:给定当前状态及控制参数动作,经过控制律及外界扰动转化为下一个状态;

根据控制性能目标,同时考虑控制输出表现,设计奖励函数如下:,

,

,

,

式中,和均为权重参数,满足、、;为分段函数,表示为:,

式中,均为常数,、;为当前决策结束时姿态角误差向量的2范数,为控制能量的度量,,为当前决策时由控制律产生的三轴控制力矩向量,,和分别为滚转、俯仰和偏航通道当前决策时由控制律产生的控制力矩;

步骤4,策略网络和价值网络在训练过程中,采用深度确定性梯度算法进行参数更新。

2.根据权利要求1所述的基于强化学习的四旋翼无人机有限时间滑模姿态控制方法,其特征在于,所述步骤1的具体过程如下:建立考虑外界扰动及模型不确定性的四旋翼无人机姿态动力学模型如下:,

式中,为转子的转动惯量,为偏航轴反扭矩合量,和分别为滚转控制力矩、俯仰控制力矩和偏航控制力矩,和分别为滚转通道、俯仰通道和偏航通道的气动阻尼系数;和分别为滚转通道外界扰动、俯仰通道外界扰动和偏航通道外界扰动;总扰动包括外界扰动和模型不确定性,为,上标表示转置;

将上述姿态动力学模型变换为如下标准状态方程形式:,

式中,和分别为滚转角、俯仰角和偏航角的角加速度。

3.根据权利要求1所述的基于强化学习的四旋翼无人机有限时间滑模姿态控制方法,其特征在于,所述步骤4的具体过程如下:策略网络通过策略梯度方法进行更新:,

式中,为对策略网络参数的梯度算子,为批量样本数,为对的梯度算子,为价值函数,为当前策略网络的参数,为策略网络输出动作,为当前状态,为从经验回放池中采样得到的第个动作样本,为在整个训练过程中累积奖励期望目标函数,,为在策略网络下对状态-动作轨迹分布的数学期望算子,为第个时间步的即时奖励,,为折扣因子,为有限时间步长;

价值网络通过最小化目标损失进行更新:,

式中,为即时奖励,为终止标志,为下一状态,为策略网络对应的目标策略网络,为价值网络对应的目标价值函数;

采用软更新方式更新目标策略网络和目标价值网络的参数:,

式中,为当前价值网络的参数,、分别为目标策略网络和目标价值网络的参数,。

4.一种计算机设备,包括存储器、处理器,以及存储在所述存储器中并能够在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述的基于强化学习的四旋翼无人机有限时间滑模姿态控制方法的步骤。

5.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的基于强化学习的四旋翼无人机有限时间滑模姿态控制方法的步骤。