1.一种基于改进多目标Double DQN算法的燃料电池混合动力汽车能量管理方法,其特征在于,所述基于改进多目标Double DQN算法的燃料电池混合动力汽车能量管理方法包括以下步骤:步骤S1,建立FCHEV整车能量管理系统模型,主要包括整车纵向动力学模型、燃料电池氢耗模型、燃料电池寿命模型、动力电池等效电路模型和动力电池衰减模型;
步骤S2,获取燃料电池混合动力汽车在实际行驶中的状态信息,主要包括车辆状态信息、燃料电池状态信息和动力电池状态信息;
步骤S3,以燃料电池混合动力汽车的经济性、动力电池寿命和燃料电池寿命为目标,基于IMDDQN算法对燃料电池混合动力汽车能量管理策略进行多目标寻优;
在步骤3中,假设智能体的有限状态集合为S={s当智能体状态为s
最优动作价值函数Q
Q
其中,R
基于IMDDQN算法的目标是以最大化累计奖励的方式来选择智能体的动作,即综合考虑即时奖励和未来奖励,不断改进策略π使得获得的累计奖励最大,从而得到最佳策略π所述IMDDQN算法包括如下步骤:
步骤S31,将智能体的状态信息s
然后将状态信息s
其中,ε∈[0,1]为探索率,算法以ε的概率选择探索,以1-ε的概率选择最大Q对应的动作;
在选择最大Q对应的动作时,引入Pareto理论,使得Q扩展为多目标动作价值函数,此时奖励函数r也由单个函数变为函数组;选出Q的Pareto最优前沿上的多个Pareto最优解一同存储到经验池中,即假设存在m个Pareto最优解,则有m个e存储至经验池:其中,
步骤S32,从经验池中随机抽取一部分样本e,首先将e中的状态信息s其次,将e中的下一个状态信息s
步骤S33,将步骤S32中采样的e中的下一个状态信息s步骤S34,损失函数Loss反向传播,采用梯度下降法更新评价网络中的参数,损失函数为均方误差(MSE),损失计算公式为:其中,E为从经验池采样的e的个数;
步骤S35,循环步骤S31-S34,每过C步后,将评价网络的参数更新到目标网络中。
2.根据权利要求1所述基于改进多目标Double DQN算法的燃料电池混合动力汽车能量管理方法,其特征在于,在步骤S1中,所述整车纵向动力学模型为:其中,F
其中,A为车辆的迎风面积,C
3.根据权利要求1所述基于改进多目标Double DQN算法的燃料电池混合动力汽车能量管理方法,其特征在于,在步骤S1中,燃料电池氢耗模型为:其中,
4.根据权利要求1所述基于改进多目标Double DQN算法的燃料电池混合动力汽车能量管理方法,其特征在于,在步骤S1中,对燃料电池的寿命影响进行量化处理:其中,T
5.根据权利要求1所述基于改进多目标Double DQN算法的燃料电池混合动力汽车能量管理方法,其特征在于,在步骤S1中,动力电池等效电路模型为:其中,I
6.根据权利要求1所述基于改进多目标Double DQN算法的燃料电池混合动力汽车能量管理方法,其特征在于,在步骤S1中,动力电池衰减模型为:其中,Q