1.基于双学习网络的无信号灯交叉口自动驾驶车辆精细化路径调度方法,其特征在于:包括:(1)、定义交叉路口内部矩形区域为冲突区域,不同方向进入交叉路口的车道区域为缓冲区域,将冲突区域进行网格化,每个网格仅能同时容纳一个自动驾驶车辆,规定自动驾驶车辆的起点与终点,获取在无信号灯交叉路口下的每个自动驾驶车辆的初始路径;
(2)、选取无信号灯交叉路口下的一个自动驾驶车辆为目标车辆,选择其中一条初始路径作为该目标车辆的路径,根据目标车辆驾驶过程中的实际情况修改并更新目标车辆的路径,得到目标车辆的新路径;其中目标车辆每经历一个时刻能单跳一个网格;
(3)、将无信号灯交叉路口下的所有自动驾驶车辆依次作为目标车辆,并按照步骤(2)的方法获取无信号灯交叉路口下的目标车辆的新路径;
(4)、对目标车辆的新路径中每一时刻的环境状态进行编码,得到每一时刻的环境状态对应的特征数据;
(5)、在目标车辆的新路径中,目标车辆在t时刻的环境状态对应的特征数据称作目标车辆在t时刻的状态st,目标车辆在t时刻做出的动作称作目标车辆在t时刻的动作at,其中at为st的标签值;
(6)、将多组状态st和与状态st对应的标签值作为CNN快速决策网络的路径学习数据集,对CNN快速决策网络进行训练,得到训练好的快速路径调度决策模型;
‑
(7)、初始化DQN网络,DQN网络包括当前Q网络Q(st,at;θ)、目标Q网络Q(st+1,at+1;θ)和经验池,其中,st表示目标车辆在t时刻的状态,at表示目标车辆在t时刻做出的动作,θ表示当前Q网络参数,st+1表示目标车辆在t+1时刻的状态,at+1表示目标车辆在t+1时刻做出的动‑作,θ表示目标Q网络参数;DQN网络采用自适应学习率;
(8)、设置贪婪值ε;
(9)、将目标车辆在t时刻的状态st发送给快速路径调度决策模型,输出动作的概率分布,选取其中概率值最高的动作作为其候选动作,该候选动作的概率值记为ρ(at);目标车辆在t时刻的状态st发送给当前Q网络Q(st,at;θ),输出所有合法动作的Q值,选取其中Q值最高的动作作为其候选动作,该候选动作的Q值记为Q(at);
(10)、随机数x小于贪婪值ε时,在所有合法动作中随机选择一个动作作为当前t时刻做出的动作at,随机数大于贪婪值ε时,则从ρ(at)与Q(at)中选择值最高的动作作为当前t时刻做出的动作at;
(11)、执行动作at,得到奖励rt和下一时刻的状态st+1;
(12)、将(st,at,rt,st+1)整合成经验,存入经验池中;
(13)、经验池将t时刻的(st,at)输入给当前Q网络Q(st,at;θ),st+1输入给目标Q网络Q‑(st+1,at+1;θ),将奖励值rt输入给损失函数,计算出损失函数值,根据损失函数值进行随机梯度下降,更新当前Q网络参数θ;
‑
(14)、经过C轮训练后,更新目标Q网络参数θ←θ,当损失函数得出的值收敛于0时,得到最优Q网络;
(15)、将待预测的车辆在当前时刻的状态输入至最优Q网络,得到当前时刻需做出的动作。
2.根据权利要求1所述的基于双学习网络的无信号灯交叉口自动驾驶车辆精细化路径调度方法,其特征在于:所述的步骤(2)中,根据目标车辆驾驶过程中的实际情况修改并更新目标车辆的路径,得到目标车辆的新路径,具体为:(2.1)、选择其中一条初始路径作为目标车辆AV的路径,该初始路径记为LAV,LAV包含目标车辆AV在不同时刻的路径坐标点,在目标车辆AV在行驶过程中,以目标车辆AV为中心规定警示区域,所述警示区域包括内层警示区域和外层警示区域,目标车辆AV单跳区域为内层警示区域,目标车辆AV两跳区域为外层警示区域;
(2.2)、以目标车辆AV在t时刻的路径坐标点为中心,若在t时刻检测到外层警示区域内有其余车辆OV,则提取车辆OV在路径LOV中在t+1时刻的路径坐标点,并将提取的路径坐标点更新为目标车辆AV在t时刻的障碍点obt;
(2.3)、若在t时刻检测到内层警示区域内有其余车辆OV,则提取车辆OV在路径LOV中在t时刻的路径坐标点和t+1时刻的路径坐标点,并将提取的两个路径坐标点共同更新为目标车辆AV在t时刻的障碍点obt;
(2.4)、将外层警示区域与原初始路径LAV的交点更新为局部终点a’,然后目标车辆AV调用A‑star算法并计算出目标车辆AV从t时刻的路径坐标点行驶至局部终点a’的局部路径,再将局部路径更新至LAV中;
(2.5)、按照步骤(2.2)至步骤(2.4)的方法遍历完目标车辆路径LAV中的所有时刻的路径坐标点后结束该轮次,得到目标车辆AV的新路径;
其中路径LoV为车辆OV的初始路径。
3.根据权利要求1所述的基于双学习网络的无信号灯交叉口自动驾驶车辆精细化路径调度方法,其特征在于:所述的步骤(4)中的每一时刻的环境状态对应的特征数据均包括当前时刻目标车辆位置、当前时刻其余车辆OV位置、目标车辆在冲突区域的终点、以目标车辆为中心当前时刻目标车辆两跳点范围的区域、以目标车辆为中心当前时刻目标车辆单跳点范围的区域、目标车辆在当前时刻的障碍点、上一时刻目标车辆位置以及外层警示区域与目标车辆初始路径的交点位置。
4.根据权利要求1所述的基于双学习网络的无信号灯交叉口自动驾驶车辆精细化路径调度方法,其特征在于:CNN快速决策网络包括8个卷积层、8个ReLU激活层、展平层、2个全连接层和softmax激活层;
CNN快速决策网络的损失函数为:
Loss=‑log(yi);
其中yi为CNN快速决策网络的输出;
CNN快速决策网络的参数W更新公式为:
+
其中,W为更新后的参数,W为原参数,G为一个对角矩阵,α为CNN快速决策网络的全局学习率,δ为最新的梯度贡献值, 为参数W的梯度。
5.根据权利要求1所述的基于双学习网络的无信号灯交叉口自动驾驶车辆精细化路径调度方法,其特征在于:所述DQN网络的奖励函数rt为:其中, 表示目标车辆AV与目标车辆AV在冲突区域的终点E之间的距离,E E
其中 表示目标车辆AV在t时刻的位置坐标,(x ,y)表
示目标车辆AV在冲突区域的终点E的位置坐标; 表示在t时刻时目标车辆AV与其余车辆OV之间的距离, 表示其余车辆OV在t时刻的位置坐标,COVt表示在t时刻时以目标车辆AV为中心的外层警示区域内其余车辆OV的数量;COVmin表示在t时刻时以目标车辆AV为中心的内层警示区域内其余车辆OV的数量,COVmax表示在t时刻时以目标车辆AV为中心的警示区域内所有其余车辆OV的数量;
累计奖励值Rt为:
其中T表示目标车辆AV到达终点E的时刻,γ是一个衰减因子,取值范围为0≤γ≤1;
所述DQN网络的损失函数为:
L(θ)=E[(Qtarget‑Q(st,at;θ)];
‑
其中E表示取期望,Qtarget表示将st+1输入给目标Q网络Q(st+1,at+1;θ)时目标Q网络Q‑(st+1,at+1;θ)的输出值,Q(st,at;θ)表示将t时刻的(st,at)输入给当前Q网络Q(st,at;θ)时当前Q网络Q(st,at;θ)的输出值;
当前Q网络参数θ的梯度下降公式为:
θt表示t时刻的当前Q网络参数θ的值,θt+1表示t+1时刻的当前Q网络参数θ的值;ηt表示t时刻的学习率;
DQN网络采用自适应学习率,自适应学习率的公式为:
其中ηt‑1表示t‑1时刻的学习率;Lt‑1表示t‑1时刻的损失函数值,Lt表示t时刻的损失函数值,τ表示极小的正数。