欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025113011106
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
专利领域: 控制;调节
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于强化学习的四旋翼无人机姿态预设性能控制方法,其特征在于,包括如下步骤:步骤1,考虑时变参数和外部未知干扰,建立四旋翼无人机数学模型,并定义状态变量,建立面向控制的四旋翼无人机状态方程;具体过程如下:考虑时变参数和外部未知干扰,四旋翼无人机数学模型描述为:

其中,和分别表示无人机在惯性系中的横滚、俯仰和偏航姿态角,和分别为横滚、俯仰和偏航通道的空气阻力系数,、和均为无人机姿态系统的惯性矩阵,和分别表示无人机滚转、俯仰和偏航运动的控制力矩,和分别为作用在横滚、俯仰和偏航通道的外部扰动;

定义状态变量,则面向控制的四旋翼无人机状态方程设计如下:

其中,,,,,,,,,,和分别表示四旋翼无人机横滚、俯仰和偏航通道的控制输入;

步骤2,选取时变预设性能边界函数,并引入误差变换函数,结合四旋翼无人机状态方程设计分通道预设性能姿态控制器,通过误差变换函数保证无人机姿态系统的跟踪误差满足预设性能约束;具体过程如下:步骤2.1,选取光滑递减的正函数为时变预设性能边界函数,、分别表示预设的稳态误差下限和上限,为自然对数的底数,为预设的正常数,表示时间,分别表示横滚、俯仰和偏航通道;

无人机姿态系统的跟踪误差满足如下性能约束:

其中,和均为超调抑制参数,,,满足;

引入误差变换函数如下:

其中,为归一化跟踪误差,;

步骤2.2,设计三通道非奇异快速终端滑模函数:

其中,、、、、和均为大于零的参数,和均为正奇数,为正实数,且满足,;

步骤2.3,基于滑模函数建立四旋翼无人机三通道姿态控制律:

其中,为的估计值,为分离出的常数项,,,

和均为待设计控制增益,,,,、和分别为、和的估计值,和分别为和分离出的常数项,、和分别为、和的估计值,和分别为和分离出的常数项,、和分别为、和的估计值,和分别为和分离出的常数项,和分别为和的参考轨迹;为正的时变可积函数,满足:,,为积分变量,和分别为的上界和下界,;

步骤3,构建深度强化学习参数生成器即Actor网络,基于分通道预设性能姿态控制器确定Actor网络的输入和输出,其中,输入为无人机的状态向量,输出为时变参数调整量;

步骤4,基于深度确定性策略梯度的在线强化学习训练机制对Actor网络及与Actor网络相对应的Critic网络进行训练,定义多目标奖励函数,通过多目标奖励函数优化Actor网络的输出;

步骤5,利用Actor网络输出当前时刻的时变参数调整量,通过平滑更新机制与上一时刻的时变参数进行融合,得到当前时刻的时变参数,代入分通道预设性能姿态控制器,得到当前时刻的无人机各通道控制输入,实现无人机姿态预设性能控制。

2.根据权利要求1所述的基于强化学习的四旋翼无人机姿态预设性能控制方法,其特征在于,所述步骤3中,深度强化学习参数生成器包括依次连接的层归一化模块、时序特征提取网络、残差模块和第五全连接层,其中,时序特征提取网络包括依次连接的第一全连接层、第一GELU激活函数、第一层归一化层、第二全连接层、第二GELU激活函数及第二层归一化层;残差模块包括三个结构相同且依次连接的残差块,每个残差块包括依次连接的第三全连接层、第三GELU激活函数、第三层归一化层、第四全连接层、第四GELU激活函数及第四层归一化层;

深度强化学习参数生成器的输入为27维状态向量,包括归一化处理后的实时姿态角、角速度、三通道跟踪误差及其微分、历史误差滑动平均积分以及参数估计值;

27维状态向量经层归一化模块进行标准化处理后,依次经时序特征提取网络、残差模块和第五全连接层后,输出动作向量即12维时变参数调整量。

3.根据权利要求1所述的基于强化学习的四旋翼无人机姿态预设性能控制方法,其特征在于,所述步骤4中,多目标奖励函数由跟踪误差惩罚项、误差导数惩罚项、控制能量惩罚项和控制平滑性惩罚项构成,多目标奖励函数的表达式为:其中,表示当前时刻对应的时间步,为误差平方惩罚项权重,为误差导数绝对值惩罚项权重,为控制量惩罚项权重,为控制量变化率惩罚项权重,为跟踪误差,为跟踪误差导数,为控制量,,为控制量变化率;

从初始时刻开始,采集每个时刻对应的数据放入经验回放缓冲区中,每个时刻对应一个时间步,分别表示时间步对应的状态、动作和奖励,状态即Actor网络输入的状态向量,动作即Actor网络输出的时变参数调整量,表示时间步对应的状态;第1到第511个时间步为预热阶段,仅采集数据不执行Actor网络和Critic网络参数的更新;当经验回放缓冲区累积达到最小批次规模即512条数据后,开始执行网络参数更新;

从经验回放缓冲区中随机采样批次数据,将当前状态输入Actor网络进行计算,Actor网络输出对应的动作,Critic网络对当前状态-动作对进行评估,并输出当前状态-动作对价值评估的Q值;由Actor目标网络根据下一状态生成目标动作,再将下一状态和目标动作输入Critic目标网络得到目标Q值;Actor目标网络与Actor网络结构相同,Critic目标网络与Critic网络结构相同;目标Q值表达式如下:其中,为目标Q值,为当前状态-动作对所对应的多目标奖励函数,为折扣因子,为Critic目标网络对下一状态-目标动作对的价值评估,为Actor目标网络根据下一状态生成的目标动作,表示当前动作执行后环境转移到的下一状态;

通过梯度下降法更新Critic网络参数,使用Critic网络的梯度信息更新Actor网络参数。

4.一种计算机设备,包括存储器、处理器,以及存储在所述存储器中并能够在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述的基于强化学习的四旋翼无人机姿态预设性能控制方法的步骤。

5.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的基于强化学习的四旋翼无人机姿态预设性能控制方法的步骤。