欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022108460154
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
专利领域: 控制;调节
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多维奖励Q学习的模型预测加权因子动态调整方法,其特征在于,包括下述步骤:获取目标自动驾驶车辆位于地面坐标系下的测量信息,并设置预测时域Np的大小;

标记Step1的步骤:基于当前测量信息,获得预测时域Np内的输出信息;

将输出信息作为参考输入,通过使下述目标函数取得最小值获得一个最优控制序列,并将得到的最优控制序列的第一个控制量作用于目标自动驾驶车辆,使其按照当前预期轨迹进行跟踪;

所述目标函数如下:

J=[P(k)-Y

其中:

若没有达到目标轨迹的终点,则采集目标自动驾驶车辆位于地面坐标系下采样时刻k+1的测量信息;

采集目标自动驾驶车辆位于地面坐标系下采样时刻k+1的实际横坐标、实际纵坐标、实际横摆角,并获取相同采样时刻对应的期望横坐标、期望纵坐标和期望横摆角一起作为环境信息加入到环境向量中;

判断采样时刻k+1是否大于3,若否,则返回标记为Step1的步骤;若是,则对于采样时刻k+1,基于环境变量计算目标自动驾驶车辆在当前控制量下的奖励,并利用预设的二维Q表,调整目标函数中第一加权因子矩阵、第二加权因子矩阵取值;

返回标记为Step1的步骤。

2.根据权利要求1所述的方法,其特征在于,预测时域Np内的输出信息基于模型预测方程获得:所述模型预测方程如下:

s(k+1)=A

p(k)=C

C

式中:

s(k)为采样时刻k的状态输入向量;s(k+1)为采样时刻k+1的状态输入向量;A

3.根据权利要求1所述的方法,其特征在于,所述奖励包括稳定性奖励、精确性奖励、舒适性奖励;

从第3个采样时刻起,对于采样时刻k+1,通过下面式(1)、(2)、(3)分别计算采样时刻k+1的稳定性奖励R式(1)中:Y

式(2)中:r

式(3)中:r

4.根据权利要求3所述的方法,其特征在于,所述预设的二维Q表通过下述步骤获得:建立关于状态-动作对的二维Q表Q(S,A),S为状态集合,A为动作集合,表中元素初值为0;

设定当前迭代轮次初始值为0,设定最大迭代次数Num设定学习率α、折扣因子Y的值;

获取当前迭代轮次;

标记step3的步骤:从第三个采样时刻开始,对每一个采样时刻k+1,将当前车辆侧向位移和车辆前轮转角作为当前状态S根式据下式更新二维Q表中的Q值:Q

式中:Q

若目标自动驾驶车辆尚未到达终点,则返回标记step3的步骤;否则,若当前迭代轮次尚未达到最大迭代次数Num,则将当前迭代轮次自增1,同时将重置采样时刻,使目标自动驾驶车辆从起点开始重新进行轨迹跟踪训练。

5.根据权利要求3所述的方法,其特征在于,稳定性参数通过下式进行计算:式中:X

6.根据权利要求4所述的方法,其特征在于,所述动作集合通过下述步骤确定:建立动作集合A:

A={a

式中:Qr

获取目标自动驾驶车辆位于地面坐标系下的当前测量信息,并设置预测时域Np的大小;

标记Step2的步骤:基于当前测量信息,获得预测时域Np内的输出信息;

将输出信息作为参考输入,通过使下述目标函数取得最小值获得一个最优控制序列,并将得到的最优控制序列的第一个元素作用于目标自动驾驶车辆;

按照动作集合中的动作,依次调整并计算确定目标函数的加权因子,记录每一个动作下的控制量,获得初始状态-动作控制量表;

基于初始状态-动作控制量表,按照阈值范围进行判断,将不在阈值范围的动作标识为不可行:U

U=[U

ΔU=[ΔU

其中,U

7.根据权利要求1所述的方法,其特征在于,所述调整目标函数中加权因子的取值通过采用ε-greedy策略实现。