1.一种结合熵权法的悬架系统奖励赋权方法,其特征在于,包括:S1:确定控制悬架系统的多个优化目标;
S2:构建带有熵权奖励调整结构的TD3架构,并根据步骤S1的多个优化目标对所述TD3架构进行训练;其中,所述熵权奖励调整结构在训练过程中周期性采集产生的奖励,并利用熵权法计算各个优化目标对应的奖励权重;
步骤S2中的熵权奖励调整结构包括赋权触发模块、奖励矩阵模块、计算触发模块和熵权计算模块;其中:所述赋权触发模块确定所述奖励的采样周期,并监测所述TD3架构的训练轮数,当所述训练轮数满足所述采样周期时,触发所述奖励矩阵模块;
所述奖励矩阵模块采集所述采样周期中的奖励,并形成各个优化目标的奖励矩阵;
所述计算触发模块对各个优化目标的奖励矩阵做快速傅里叶变换,得到对应奖励矩阵的主频与主频幅值;比较各个优化目标对应的主频之间的差异,以及各个优化目标对应的主频幅值之间的差异,根据比较结果触发所述熵权计算模块;
所述熵权计算模块根据所述奖励矩阵,利用熵权法计算各个优化目标对应的奖励权重;
所述奖励矩阵模块采集所述采样周期中的各个优化目标对应的奖励形成数据流矩阵,并所述数据流矩阵进行标准化处理;将标准化处理后的数据流矩阵按列归一化,得到所述奖励矩阵;
S3:将符合步骤S1的优化目标的当前环境状态输入步骤S2得到的TD3模型中,预测所述悬架系统的输出动作。
2.根据权利要求1所述的结合熵权法的悬架系统奖励赋权方法,其特征在于,在所述熵权计算模块中,通过下式计算每个优化目标对应的信息熵:;
其中,表示第j个优化目标对应的信息熵,表示所述奖励矩阵中的元素;
根据所述信息熵,通过下式计算每个优化目标对应的信息效用值:;
其中,表示第j个优化目标对应的信息效用值;
通过下式计算每个优化目标对应的奖励权重:
;
其中,表示第j个优化目标对应的奖励权重。
3.根据权利要求1所述的结合熵权法的悬架系统奖励赋权方法,其特征在于,步骤S2中的所述TD3架构还包括Actor网络、ActorT网络、Critic1网络、Critic2网络、CriticT1网络和CriticT2网络;其中,所述Actor网络接收当前环境状态,将产生的执行动作作用到环境中生成下一环境状态;
所述ActorT网络接收所述下一环境状态,产生目标动作;
所述CriticT1网络和所述CriticT2网络同时接收所述目标动作和所述下一环境状态,所述CriticT1网络和所述CriticT2网络的输出与当前奖励结合,得到目标值;
所述Critic1网络和所述Critic2网络同时接收并根据所述当前环境状态,计算与所述目标值之间的损失。
4.根据权利要求3所述的结合熵权法的悬架系统奖励赋权方法,其特征在于,步骤S2中的训练过程包括:S21:初始化所述TD3架构;
S22:在当前环境状态下,所述Actor网络生成动作,并控制所述悬架系统中执行所述动作,得到下一环境状态,以及所述动作在各个优化目标产生的对应的奖励结合对应的奖励权重计算,得到当前奖励;
S23:多次重复步骤S22,将得到的所述动作、所述下一环境状态,当前环境状态以及当前奖励整合为经验数据并储存到经验池中;
S24:从所述经验池中随机采样一个批次的经验数据,并根据所述经验数据,使用所述ActorT网络生成目标动作;所述CriticT1网络和所述CriticT2网络利用贝尔曼期望公式,根据所述目标动作生成目标值;
S25:结合步骤S24生成的所述目标值和所述目标动作计算训练所述Critic1网络和所述Critic2网络的损失函数;
S26:根据步骤S25得到的损失函数,对所述TD3架构采用延迟更新策略进行参数更新;
S27:判断当前的训练轮数满足所述采样周期:若满足,则利用所述熵权奖励调整结构调整各个优化目标对应的奖励权重,并执行步骤S28;若不满足,则直接进行步骤S28;
S28:以更新后的TD3架构重复步骤S21~S27,完成对所述TD3架构的训练。
5.根据权利要求3所述的结合熵权法的悬架系统奖励赋权方法,其特征在于,在步骤S24中,通过下式得到所述目标值:;
其中,表示所述目标值,表示折扣因子,表示所述CriticT1网络,表示所述CriticT2网络,表示所述CriticT1网络的网络参数,表示所述CriticT2网络的网络参数,表示所述目标动作,表示所述下一环境状态,r表示所述当前奖励。
6.根据权利要求3所述的结合熵权法的悬架系统奖励赋权方法,其特征在于,在步骤S25中,训练所述Critic1网络和所述Critic2网络的损失函数为:;
;
其中,表示所述Critic1网络的损失函数,表示所述Critic2网络的损失函数,表示将动作和当前环境状态输入所述Critic1网络得到的结果,表示所述Critic1网络的网络参数,表示将动作和当前环境状态输入所述Critic2网络得到的结果,表示所述Critic2网络的网络参数,MSE表示均方差损失函数。
7.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的结合熵权法的悬架系统奖励赋权方法的步骤。
8.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至6任一项所述的结合熵权法的悬架系统奖励赋权方法的步骤。