1.一种基于深度强化学习的车辆换道行为决策方法,其特征在于,包括:
1)在云端及多个车端部署决策网络;
2)每隔设定周期,云端决策网络从云端动态经历库中批采样经历样本用于策略学习,更新云端决策网络参数,更新完成后将最新策略,即更新后的云端决策网络参数下发给车端决策网络,云端策略学习更新下发完成,等待下一云端策略学习下发周期开始;
每一车端决策周期开始时,车端决策网络根据自车运动状态信息及周边车运动状态信息决策应采取的动作,决策动作经过安全评估纠错后下发执行,获取更新的状态信息及对应奖励值,将决策经历<原状态,决策动作,更新状态,奖励值,交互结束标志>存储在车端经历缓存中,定期将车端经历缓存中的经历上传到云端动态经历库,车端决策完成,等待下一车端决策周期开始。
2.根据权利要求1所述的基于深度强化学习的车辆换道行为决策方法,其特征在于,步骤1)中,所述云端决策网络包括:
当前策略网络:云端策略学习更新时,调用历史策略网络及评估网络,从云端动态经历库批采样经历样本,正向传播计算剪裁代理损失,将剪裁代理损失进行策略梯度反向传播更新当前策略网络参数,从而优化主动换道策略,完成当前策略网络学习;
历史策略网络:用于存储历史策略,供当前策略网络调用以计算剪裁代理损失;
评估网络:用于评估预测状态价值,供当前策略网络调用以计算剪裁代理损失;在云端策略学习时,基于云端动态经历库采样经历样本,正向传播计算时间差分误差损失,损失梯度反向传播更新评估网络参数。
3.根据权利要求2所述的基于深度强化学习的车辆换道行为决策方法,其特征在于,当前策略网络优化主动换道策略的具体实现过程包括:记车辆主动换道策略为π,则最优策略π*为无穷控制时域范围内折扣奖励总和期望最大时对应的策略:其中,τ(π)为策略π下的决策轨迹;rt为时间步t时按照奖励函数算得的奖励值;γ∈(0,
1)为折扣因子, 为策略π在无穷控制时域范围内折扣奖励总和的期望值。
4.根据权利要求3所述的基于深度强化学习的车辆换道行为决策方法,其特征在于,所述奖励函数R=W1Rs+W2RV+W3RA;Wi为各项对应权值,i=1,2,3;安全性奖励其中TH_f为当前车距离所在车道最近前车的车头时距,TH_r为所在车道最近后车距自车车头时距,TH_b为设定的车头时距阈值,t1、t2为权重系数;通行效率奖励 其中V为自车当前车速,VL为当前路段限速下界,VT为当前路段目标车速;平顺性奖励 其中t0为决策动作开始执行时对应时间,T为执行决策动作所需时间,Δalong为主车纵向加速度变化量,Δalat为主车横向加速度变化量,w1和w2为权重系数;优选地,t1=0.6,t2=0.4;w1=0.3,w2=0.7。
5.根据权利要求2所述的基于深度强化学习的车辆换道行为决策方法,其特征在于,所述当前策略网络计算的剪裁代理损失LCLIP的表达式为:其中clip()表示剪裁操作,表示根据设定的剪裁系数c将 值限幅在[1-c,1+c]区间内 :若 取值为1+c;若 驭值为1-c ;若取值为 At为优化后的主动换道策略相较历史策略的相对优势, γ为折扣
因子; 为优化后的主动换道策略与历史策略的差异,其中πθ(at*|st*)为当前策略网络根据样本状态输入计算出的决策动作概率分布P中的最大项,记该项对应动作为为历史策略网络根据样本状态算出的决策动作概率分布P’中对应于动作的项 是将样本状态输入当前策略网络按当前策略πθ前推Tforward个时间步,记录经历,计算Tforward个时间步的累积衰减奖励和;Vφ(st)是将样本状态输入评估网络前向传播计算出的预测状态价值 为当前策略评估优势,是将样本输入历史策略网络按历史策略 前推Tforward个时间步,记录经历,计算Tforward个时间步的累积衰减奖励和, 为历史策略评估优势。
6.根据权利要求2所述的基于深度强化学习的车辆换道行为决策方法,其特征在于,评估网络的时间差分误差TD_error的计算公式为:其中M为采样经历样本数,Vφ(sm)为第m个样本状态输入评估网络输出的预测状态价值,为第m个样本的衰减奖励和。
7.根据权利要求1所述的基于深度强化学习的车辆换道行为决策方法,其特征在于,车端决策的具体实现过程包括:
1)输入自车及周边最邻近三辆车的运动状态信息;
2)将运动状态信息输入车端决策网络中的当前策略网络,计算得到原始决策动作;
3)基于预设规则对原始决策动作进行安全评估;若安全评估不通过,使用备用安全决策动作替换原始决策动作;若通过,则直接进入步骤4);
4)输出经步骤3)处理后的决策动作,下发给下层规划控制模块执行,获取决策动作并执行决策动作后更新状态及奖励值;
5)将本次交互经历<状态,决策动作,更新状态,奖励值,轮次结束标志>存入车端经历缓存;车端经历缓存存满或到达预设经历上传周期时,将车端经历缓存中的经历上传至云端,更新云端动态经历库。
8.根据权利要求2所述的基于深度强化学习的车辆换道行为决策方法,其特征在于,云端策略学习下发的具体实现过程包括:
1)从云端动态经历库中重要度批采样设定数量经历样本;
2)将经历样本输入云端决策网络的评估网络,计算经历样本的时间差分误差损失,将误差损失进行梯度反向传播更新评估网络参数,完成评估网络学习;
3)将经历样本输入云端决策网络的当前策略网络和历史策略网络,调用评估网络计算剪裁代理损失,剪裁代理损失进行策略梯度反向传播更新当前策略网络参数,完成当前策略网络学习;若到达设定的策略存储周期,将当前策略网络参数同步给历史策略网络存储;
4)提取云端决策网络参数,将所述云端决策网络参数下发给车端决策网络,同步更新车端决策网络参数,使车端获得最新的优化主动换道策略用于决策。
9.一种基于深度强化学习的车辆换道行为决策系统,其特征在于,包括:云端决策网络,用于每隔设定周期,从云端动态经历库中批采样经历样本用于策略学习,更新网络参数,更新完成后将最新策略,即更新后的云端决策网络参数下发给车端决策网络,云端策略学习更新下发完成,等待下一云端策略学习下发周期开始;
车端决策网络,用于根据自车运动状态信息及周边车运动状态信息决策应采取的动作,决策动作经过安全评估纠错后下发执行,获取更新的状态信息及对应奖励值,将决策经历<原状态,决策动作,更新状态,奖励值,交互结束标志>存储在车端经历缓存中,定期将车端经历缓存中的经历上传到云端动态经历库,车端决策完成,等待下一车端决策周期开始;
优选地,所述云端决策网络包括:
当前策略网络:用于云端策略学习更新时,调用历史策略网络及评估网络,从云端动态经历库批采样经历样本,正向传播计算剪裁代理损失,将剪裁代理损失进行策略梯度反向传播更新当前策略网络参数,从而优化主动换道策略,完成当前策略网络学习;
历史策略网络:用于存储历史策略,供当前策略网络调用以计算剪裁代理损失;
评估网络:用于评估预测状态价值,供当前策略网络调用以计算剪裁代理损失;基于云端动态经历库采样经历样本,正向传播计算时间差分误差损失,损失梯度反向传播更新评估网络参数。
10.一种基于深度强化学习的车辆换道行为决策系统,其特征在于,包括部署于云端的云端控制器,以及部署于各车端的车端控制器;所述云端控制器与各车端控制器通信;所述云端控制器与各车端控制器被配置为用于执行权利要求1~8之一所述方法的步骤。