1.一种悬架控制方法,其特征在于,包括:
S1:搭建基础TD3架构,并以悬架的当前状态作为输入,以所述悬架的主动控制动作为输出,对所述基础TD3架构进行预训练;在所述预训练的过程中,确定冲突状态;对所述基础TD3架构的预训练过程包括:S11:对所述基础TD3架构初始化;
S12:在当前状态下,所述基础TD3架构中的Actor网络生成具有噪声的第一动作,并控制所述悬架执行所述第一动作,得到第一状态以及对应的第一奖励;储存经验数据到经验池中;
S13:将所述第一动作和所述当前状态输入所述基础TD3架构中的Critic1网络,得到结果,表示所述Critic1网络的网络参数;将所述第一动作和所述当前状态输入所述基础TD3架构中的Critic2网络,得到结果,表示所述Critic2网络的网络参数;
S14:从所述经验池中随机采样一个批次的样本,并根据样本,使用所述基础TD3架构中的Actor-T网络生成具有噪声的第一目标动作;利用基础TD3架构中的CriticT1网络和CriticT2网络,通过下式计算第一目标动作对应的第一目标值:;
其中,表示所述第一目标值,表示折扣因子,表示所述CriticT1网络,表示所述CriticT2网络,表示所述CriticT1网络的网络参数,表示所述CriticT2网络的网络参数;
S15:结合步骤S14得到的第一目标值和步骤S13得到的计算结果,通过下式计算训练所述Critic1网络和所述Critic2网络的损失函数:;
;
其中,表示所述Critic1网络的损失函数,表示所述Critic2网络的损失函数;
S16:根据步骤S15得到的损失函数,对所述基础TD3架构采用延迟更新策略进行参数更新,并以更新后的基础TD3架构重复步骤S12~S16,完成对所述基础TD3架构的预训练;
S2:在所述基础TD3架构的基础上加入Actor-against网络和Critic-against网络,得到对抗-TD3架构;
所述Actor-against网络接收所述冲突状态,并生成相应的针对动作,将所述针对动作与所述基础TD3架构生成的动作结合,得到所述悬架的最终控制动作;
所述Critic-against网络接收所述针对动作和所述冲突状态,指导所述Actor-against网络产生新的针对动作;
S3:利用所述冲突状态对所述对抗-TD3架构进行训练,得到控制所述悬架的控制模型。
2.根据权利要求1所述的悬架控制方法,其特征在于,在步骤S2中,所述针对动作与所述基础TD3架构生成的动作通过下式结合,得到所述最终控制动作:;
其中,表示所述最终控制动作,表示所述基础TD3架构生成的动作,K表示加权比例。
3.根据权利要求1所述的悬架控制方法,其特征在于,步骤S3中,所述对抗-TD3架构的训练过程包括:S31:对所述对抗-TD3架构初始化;
S32:在所述当前状态中提取出冲突状态,所述Actor网络在所述当前状态下生成第二动作,所述Actor-against网络生成针对所述冲突状态的针对动作,得到所述针对动作对应的针对奖励;所述Critic-against网络接收所述针对动作和所述冲突状态,得到所述Critic-against网络的输出,表示所述Critic-against网络的参数;
S33:将步骤S32中的所述针对动作与所述第二动作结合,得到最终控制动作;控制所述悬架执行所述最终控制动作,得到第二状态和第二奖励;储存经验数据到所述经验池中;
S34:将所述第二动作和所述当前状态输入所述Critic1网络,得到结果;将所述第二动作和所述当前状态输入所述Critic2网络,得到结果;
S35:从所述经验池中随机采样一个批次的样本,并根据样本,使用所述Actor-T网络生成具有噪声的第二目标动作;利用所述CriticT1网络和所述CriticT2网络,通过下式计算所述第二目标动作对应的第二目标值:;
S36:结合步骤S35得到的第二目标值和步骤S33得到的计算结果,通过下式计算所述Critic1网络和所述Critic2网络的新损失函数:;
;
其中,表示所述第二目标值对应的所述Critic1网络的新损失函数,表示所述第二目标值对应的所述Critic2网络的新损失函数,MSE表示均方差损失函数;
采用梯度下降的方法,对所述Critic1网络的网络参数和所述Critic2网络的网络参数进行更新,使得两个新损失函数达到最小值;
S37:使用步骤S32中的针对奖励和所述Critic-against网络的输出,以及步骤S35得到的第二目标值,利用下式使用梯度下降法更新所述Actor-against网络的参数:;
S38:采用延迟更新策略对所述对抗-TD3架构进行参数更新,并以更新后的对抗-TD3架构重复步骤S32~S38。
4.根据权利要求3所述的悬架控制方法,其特征在于,步骤S38中的延迟更新策略包括:在每次训练中:
利用所述Critic1网络的网络参数,通过下式对所述CriticT1网络的网络参数进行更新:;
其中,表示软更新率;
利用所述Critic2网络的网络参数,通过下式对所述CriticT2网络的网络参数进行更新:;
每隔训练轮次policy_delay后,通过下式计算所述Actor网络的损失:;
其中,表示所述Actor网络的参数,表示所述Actor网络在当前状态下生成的动作;
利用所述Actor网络的参数,通过下式对所述Actor-T网络的网络参数进行更新:。
5.根据权利要求1所述的悬架控制方法,其特征在于,所述悬架控制方法还包括:S4:对所述对抗-TD3架构中的Actor网络、Actor-T网络和Actor-against网络通过下式进行周期性更新:;
其中,E表示均方误差,表示当前状态下所述Actor网络、所述Actor-T网络或所述Actor-against网络的生成动作,表示对动作 a 求最小值的梯度,表示取所述对抗-TD3架构中的Critic1网络在当前状态下输入动作a后的结果和Critic2网络在当前状态下输入动作a后的结果中的最小值,即:;
表示对所述 Actor 网络、所述Actor-T网络或所述Actor-against网络的网络参数求梯度。
6.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的悬架控制方法的步骤。
7.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至5任一项所述的悬架控制方法的步骤。