1.一种奖励可控的悬架系统控制方法,其特征在于,包括:S1:确定控制悬架系统的多个优化目标,以及多个优化目标之间的冲突关系;
S2:构建带有奖励判定机制的TD3架构,并根据步骤S1的多个优化目标对所述TD3架构进行训练;其中,所述奖励判定机制根据所述冲突关系对各个优化目标对应奖励值分配权重,并将多个奖励值按照权重整合成总奖励值;
结合所述总奖励值得到目标值,根据所述目标值对所述TD3架构进行更新,得到带有奖励判定机制的TD3模型;
其中,所述奖励判定机制根据所述冲突关系对各个优化目标对应奖励值分配权重的过程包括:优化目标A和优化目标B存在冲突关系,且优化目标A优先收敛;
若优化目标A和优化目标B的奖励值满足如下的触发条件:;
其中,表示优化目标A对应的奖励,表示优化目标B对应的奖励,表示触发系数;
通过下式得到随变可控因子:
;
其中,表示所述随变可控因子,表示优化目标A对应的奖励,表示控制因子;
此时优化目标B的奖励的权重为h,其他优化目标的奖励的权重为1;
S3:将符合步骤S1的优化目标的当前环境状态输入步骤S2得到的TD3模型中,得到预测所述悬架系统的输出动作。
2.根据权利要求1所述的奖励可控的悬架系统控制方法,其特征在于,步骤S2中的所述TD3架构包括Actor网络、ActorT网络、Critic1网络、Critic2网络、CriticT1网络和CriticT2网络;其中,当前环境状态输入所述Actor网络中,所述Actor网络的输出动作作用到环境中,以及将输出动作输入所述ActorT网络中;
所述ActorT网络输出的动作与下一环境状态共同输入到所述CriticT1网络和所述CriticT2网络;
所述CriticT1网络和所述CriticT2网络的输出与所述总奖励值结合,得到所述目标值;
所述当前环境状态输入到所述Critic1网络和所述Critic2网络中,所述Critic1网络和所述Critic2网络结合所述当前环境状态,计算与所述目标值之间的损失。
3.根据权利要求2所述的奖励可控的悬架系统控制方法,其特征在于,步骤S2中的训练过程包括:S21:初始化所述TD3架构;
S22:在当前环境状态下,所述Actor网络生成动作,并控制所述悬架系统中执行所述动作,得到下一环境状态,以及所述动作在优化目标产生的对应的奖励;所述奖励判定机制对奖励分配权重,并将奖励按照权重整合为总奖励值;
S23:多次重复步骤S22,将得到的所述动作、所述下一环境状态,当前环境状态以及所述总奖励值整合为经验数据并储存到经验池中;
S24:从所述经验池中随机采样一个批次的经验数据,并根据所述经验数据,使用所述ActorT网络生成目标动作;所述CriticT1网络和所述CriticT2网络根据所述目标动作生成目标值;
S25:结合步骤S24生成的所述目标值和所述目标动作计算训练所述Critic1网络和所述Critic2网络的损失函数;
S26:根据步骤S25得到的损失函数,对所述TD3架构采用延迟更新策略进行参数更新,并以更新后的TD3架构重复步骤S21~S26,完成对所述TD3架构的训练。
4.根据权利要求3所述的奖励可控的悬架系统控制方法,其特征在于,步骤S24中,通过下式得到所述目标值:;
其中,表示所述目标值,表示折扣因子,表示所述CriticT1网络,表示所述CriticT2网络,表示所述CriticT1网络的网络参数,表示所述CriticT2网络的网络参数,表示所述目标动作,表示所述下一环境状态。
5.根据权利要求4所述的奖励可控的悬架系统控制方法,其特征在于,步骤S25中,训练所述Critic1网络和所述Critic2网络的损失函数为:;
;
其中,表示所述Critic1网络的损失函数,表示所述Critic2网络的损失函数,表示将动作和当前环境状态输入所述Critic1网络得到的结果,表示所述Critic1网络的网络参数,表示将动作和当前环境状态输入所述Critic2网络得到的结果,表示所述Critic2网络的网络参数,MSE表示均方差损失函数。
6.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的奖励可控的悬架系统控制方法的步骤。
7.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至5任一项所述的奖励可控的悬架系统控制方法的步骤。