欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025106190008
申请人: 吉林大学
专利类型:发明专利
专利状态:已下证
专利领域: 一般车辆
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种结合RND调整奖励的悬架系统控制方法,其特征在于,包括:S1:确定控制悬架系统的多个优化目标;

S2:构建带有RND奖励调整结构的TD3架构,并根据步骤S1的多个优化目标对所述TD3架构进行训练;

所述RND奖励调整结构包括最大化模块、差异输出模块、物理值关联因子模块以及奖励输出模块;其中,所述最大化模块接收所述TD3架构中Critic网络输出的评价值,并输出所述评价值中的最大值;

所述差异输出模块接收所述最大值,以及所述TD3架构中CriticT网络输出的目标评价值中的最小值,并通过下式计算所述TD3架构中Critic网络和CriticT网络的输出之间的差异:;

其中,表示所述差异,表示所述最大值,表示所述最小值;

所述物理值关联因子模块根据多个优化目标和负梯度函数生成物理值关联因子,即:;

其中,表示物理值关联因子,表示优化目标,n表示优化目标的个数,表示负梯度函数,所述负梯度函数满足如下条件:;

其中,表示对负梯度函数中的每一项(T1,T2,...,Tn)求偏导,所述负梯度函数为指数函数;

所述奖励输出模块将得到的所述差异与所述物理值关联因子与当前环境状态对应的奖励相乘,得到当前奖励,并以所述当前奖励对所述TD3架构进行训练,得到TD3模型;

S3:将符合步骤S1的优化目标的当前环境状态输入步骤S2得到的TD3模型中,预测所述悬架系统的输出动作。

2.根据权利要求1所述的结合RND调整奖励的悬架系统控制方法,其特征在于,步骤S2中的所述TD3架构还包括Actor网络、ActorT网络、Critic1网络、Critic2网络、CriticT1网络和CriticT2网络;其中,所述Actor网络接收当前环境状态,将产生的执行动作作用到环境中生成下一环境状态;

所述ActorT网络接收所述下一环境状态,产生目标动作;

所述CriticT1网络和所述CriticT2网络同时接收所述目标动作和所述下一环境状态,将输出的目标评价值中的最小目标评价值输入到所述RND奖励调整结构中;

所述Critic1网络和所述Critic2网络同时接收所述当前环境状态和所述下一环境状态;所述Critic1网络和所述Critic2网络将所述下一环境状态对应的评价值输入到所述RND奖励调整结构中;所述Critic1网络和所述Critic2网络根据所述当前环境状态,生成参与训练的评价值。

3.根据权利要求2所述的结合RND调整奖励的悬架系统控制方法,其特征在于,步骤S2中的训练过程包括:S21:初始化所述TD3架构;

S22:在当前环境状态下,所述Actor网络生成动作,并控制所述悬架系统执行所述动作,得到所述下一环境状态,以及所述动作在优化目标产生的对应的奖励;所述ActorT网络接收所述下一环境状态,并生成所述目标动作;

S23:所述Critic1网络和所述Critic2网络同时接收所述当前环境状态和所述下一环境状态;所述Critic1网络和所述Critic2网络根据所述下一环境状态产生的评价值输入到所述RND奖励调整结构中;

S24:所述CriticT1网络和所述CriticT2网络同时接收所述目标动作和所述下一环境状态,并将产生的目标评价值中的最小目标评价值输入到所述RND奖励调整结构中;

S25:所述RND奖励调整结构接收步骤S23的评价值和步骤S24的所述最小目标评价值,结合根据步骤S22得到的奖励生成当前奖励;

S26:多次重复步骤S22~S25,将得到的所述动作、所述下一环境状态,所述当前环境状态以及所述当前奖励整合为经验数据并储存到经验池中;

S27:从所述经验池中随机采样一个批次的经验数据,并利用贝尔曼期望公式计算得到目标值;结合所述目标值和所述目标动作计算训练所述Critic1网络和所述Critic2网络的损失函数;

S28:根据步骤S27得到的损失函数,对所述TD3架构采用延迟更新策略进行参数更新,并以更新后的TD3架构重复步骤S21~S28,直至完成对所述TD3架构的训练。

4.根据权利要求3所述的结合RND调整奖励的悬架系统控制方法,其特征在于,步骤S27中,通过下式得到所述目标值:;

其中,表示所述目标值,表示折扣因子,表示所述CriticT1网络,表示所述CriticT2网络,表示所述CriticT1网络的网络参数,表示所述CriticT2网络的网络参数,表示所述目标动作,表示所述下一环境状态,r表示所述当前奖励。

5.根据权利要求4所述的结合RND调整奖励的悬架系统控制方法,其特征在于,步骤S27中,训练所述Critic1网络和所述Critic2网络的损失函数为:;

;

其中,表示所述Critic1网络的损失函数,表示所述Critic2网络的损失函数,表示将动作和当前环境状态输入所述Critic1网络得到的结果,表示所述Critic1网络的网络参数,表示将动作和当前环境状态输入所述Critic2网络得到的结果,表示所述Critic2网络的网络参数,MSE表示均方差损失函数,表示所述Critic1网络的目标值,表示所述Critic2网络的目标值。

6.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的结合RND调整奖励的悬架系统控制方法的步骤。

7.一种电子设备,其特征在于,包括:

存储器,用于存储计算机程序;

处理器,用于执行所述计算机程序时实现如权利要求1至5任一项所述的结合RND调整奖励的悬架系统控制方法的步骤。