欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025106190116
申请人: 吉林大学
专利类型:发明专利
专利状态:已下证
专利领域: 一般车辆
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种悬架控制方法,其特征在于,包括:

S1:搭建基础TD3架构,并以悬架的当前状态作为输入,以所述悬架的主动控制动作为输出,对所述基础TD3架构进行预训练;在所述预训练的过程中,确定冲突状态;对所述基础TD3架构的预训练过程包括:S11:对所述基础TD3架构初始化;

S12:在当前状态下,所述基础TD3架构中的Actor网络生成具有噪声的第一动作,并控制所述悬架执行所述第一动作,得到第一状态以及对应的第一奖励;储存经验数据到经验池中;

S13:将所述第一动作和所述当前状态输入所述基础TD3架构中的Critic1网络,得到结果,表示所述Critic1网络的网络参数;将所述第一动作和所述当前状态输入所述基础TD3架构中的Critic2网络,得到结果,表示所述Critic2网络的网络参数;

S14:从所述经验池中随机采样一个批次的样本,并根据样本,使用所述基础TD3架构中的Actor-T网络生成具有噪声的第一目标动作;利用基础TD3架构中的CriticT1网络和CriticT2网络,通过下式计算第一目标动作对应的第一目标值:;

其中,表示所述第一目标值,表示折扣因子,表示所述CriticT1网络,表示所述CriticT2网络,表示所述CriticT1网络的网络参数,表示所述CriticT2网络的网络参数;

S15:结合步骤S14得到的第一目标值和步骤S13得到的计算结果,通过下式计算训练所述Critic1网络和所述Critic2网络的损失函数:;

;

其中,表示所述Critic1网络的损失函数,表示所述Critic2网络的损失函数;

S16:根据步骤S15得到的损失函数,对所述基础TD3架构采用延迟更新策略进行参数更新,并以更新后的基础TD3架构重复步骤S12~S16,完成对所述基础TD3架构的预训练;

S2:在所述基础TD3架构的基础上加入Actor-against网络和Critic-against网络,得到对抗-TD3架构;

所述Actor-against网络接收所述冲突状态,并生成相应的针对动作,将所述针对动作与所述基础TD3架构生成的动作结合,得到所述悬架的最终控制动作;

所述Critic-against网络接收所述针对动作和所述冲突状态,指导所述Actor-against网络产生新的针对动作;

S3:利用所述冲突状态对所述对抗-TD3架构进行训练,得到控制所述悬架的控制模型。

2.根据权利要求1所述的悬架控制方法,其特征在于,在步骤S2中,所述针对动作与所述基础TD3架构生成的动作通过下式结合,得到所述最终控制动作:;

其中,表示所述最终控制动作,表示所述基础TD3架构生成的动作,K表示加权比例。

3.根据权利要求1所述的悬架控制方法,其特征在于,步骤S3中,所述对抗-TD3架构的训练过程包括:S31:对所述对抗-TD3架构初始化;

S32:在所述当前状态中提取出冲突状态,所述Actor网络在所述当前状态下生成第二动作,所述Actor-against网络生成针对所述冲突状态的针对动作,得到所述针对动作对应的针对奖励;所述Critic-against网络接收所述针对动作和所述冲突状态,得到所述Critic-against网络的输出,表示所述Critic-against网络的参数;

S33:将步骤S32中的所述针对动作与所述第二动作结合,得到最终控制动作;控制所述悬架执行所述最终控制动作,得到第二状态和第二奖励;储存经验数据到所述经验池中;

S34:将所述第二动作和所述当前状态输入所述Critic1网络,得到结果;将所述第二动作和所述当前状态输入所述Critic2网络,得到结果;

S35:从所述经验池中随机采样一个批次的样本,并根据样本,使用所述Actor-T网络生成具有噪声的第二目标动作;利用所述CriticT1网络和所述CriticT2网络,通过下式计算所述第二目标动作对应的第二目标值:;

S36:结合步骤S35得到的第二目标值和步骤S33得到的计算结果,通过下式计算所述Critic1网络和所述Critic2网络的新损失函数:;

;

其中,表示所述第二目标值对应的所述Critic1网络的新损失函数,表示所述第二目标值对应的所述Critic2网络的新损失函数,MSE表示均方差损失函数;

采用梯度下降的方法,对所述Critic1网络的网络参数和所述Critic2网络的网络参数进行更新,使得两个新损失函数达到最小值;

S37:使用步骤S32中的针对奖励和所述Critic-against网络的输出,以及步骤S35得到的第二目标值,利用下式使用梯度下降法更新所述Actor-against网络的参数:;

S38:采用延迟更新策略对所述对抗-TD3架构进行参数更新,并以更新后的对抗-TD3架构重复步骤S32~S38。

4.根据权利要求3所述的悬架控制方法,其特征在于,步骤S38中的延迟更新策略包括:在每次训练中:

利用所述Critic1网络的网络参数,通过下式对所述CriticT1网络的网络参数进行更新:;

其中,表示软更新率;

利用所述Critic2网络的网络参数,通过下式对所述CriticT2网络的网络参数进行更新:;

每隔训练轮次policy_delay后,通过下式计算所述Actor网络的损失:;

其中,表示所述Actor网络的参数,表示所述Actor网络在当前状态下生成的动作;

利用所述Actor网络的参数,通过下式对所述Actor-T网络的网络参数进行更新:。

5.根据权利要求1所述的悬架控制方法,其特征在于,所述悬架控制方法还包括:S4:对所述对抗-TD3架构中的Actor网络、Actor-T网络和Actor-against网络通过下式进行周期性更新:;

其中,E表示均方误差,表示当前状态下所述Actor网络、所述Actor-T网络或所述Actor-against网络的生成动作,表示对动作 a 求最小值的梯度,表示取所述对抗-TD3架构中的Critic1网络在当前状态下输入动作a后的结果和Critic2网络在当前状态下输入动作a后的结果中的最小值,即:;

表示对所述 Actor 网络、所述Actor-T网络或所述Actor-against网络的网络参数求梯度。

6.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的悬架控制方法的步骤。

7.一种电子设备,其特征在于,包括:

存储器,用于存储计算机程序;

处理器,用于执行所述计算机程序时实现如权利要求1至5任一项所述的悬架控制方法的步骤。