1.一种基于深度强化学习的地面无人车智能决策方法,其特征在于,包括以下步骤:S1、采集车辆信息以及车辆周围的环境信息;
S2、深度强化学习决策网络对步骤S1获得的车辆信息和环境信息进行分析和计算,通过车辆信息得出驾驶员行车特征表达,通过环境信息得到车辆环境特征表达;
S3、深度强化学习决策网络对所述车辆环境特征表达进行分析与计算,对当前行车环境给出智能决策结果;
S4、评分模块对所述驾驶员行车特征表达进行分析和计算,对车辆的当前行车状态进行判断和评分,记录当前评分分数与当前行车状态终止次数;
S5、将驾驶员行车特征表达、智能决策结果、当前车辆状态的评分、当前行车状态是否终止信号作为一条经验保存在经验池模块中;
S6、抽取经验池模块中的多条经验,对深度强化学习决策网络进行反向传播,调整决策网络参数,直至深度强化学习决策网络收敛。
2.根据权利要求1所述的一种基于深度强化学习的地面无人车智能决策方法,其特征在于,步骤S3中所述智能决策结果包括横向决策和纵向决策;所述横向决策包括车辆保持车道、变道、左转、右转,所述纵向决策包括车辆加速、减速、匀速。
3.根据权利要求1所述的一种基于深度强化学习的地面无人车智能决策方法,其特征在于,所述深度强化学习决策网络包括用于处理图像信息和环境三维点云信息的深度卷积神经网络和用于处理声音信息的深度循环神经网络。
4.根据权利要求3所述的一种基于深度强化学习的地面无人车智能决策方法,其特征在于,所述深度强化学习决策网络的网络结构由至少一层卷积层以及两条全连接流组成;
两条全连接流位于卷积层之后;每一条全连接流由至少一层全连接层构成;全连接层的最后一层的神经元个数与对应的横向决策种类和纵向决策种类数量相同;所述卷积层形成为深度卷积神经网络,所述全连接流形成为深度循环神经网络。
5.根据权利要求1所述的一种基于深度强化学习的地面无人车智能决策方法,其特征在于,所述步骤S4中,评分模块对驾驶员行车特征表达进行分析和计算具体为所述评分模块根据驾驶员行车特征表达中的转向灯、刹车以及油门信号判断当前车辆状态是否终止。
6.根据权利要求5所述的一种基于深度强化学习的地面无人车智能决策方法,其特征在于,出现至少以下一种情况时判断当前车辆状态为终止:当智能决策结果是保持车道,并且做出决策的阈值时间内转向灯有亮起的状态,则判定当前行车状态为终止;当智能决策结果是变道,并且做出决策的阈值时间内车辆的转向灯没有亮起的状态,则判定当前行车状态为终止;当智能决策结果是转弯,并且做出决策的阈值时间内车辆的对应方向的转向灯没有亮起的状态,则判定当前行车状态为终止;当智能决策结果是减速,并且做出决策的阈值时间内车辆油门有信号的时候,则判定当前行车状态为终止;当智能决策结果是加速,并且做出决策的阈值时间内车辆的刹车有信号的时候,则判定当前行车状态终止。
7.一种基于深度强化学习的地面无人车智能决策系统,其特征在于,包括:信息采集装置,用于采集车辆信息以及车辆周围的环境信息;
车载服务器,用于车载高性能计算;
CAN总线,用于实现信息采集装置与车载服务器之间的数据通讯;
集成在车载服务器中的深度强化学习决策网络、评分模块和经验池模块;所述深度强化学习决策网络用于将采集的车辆信息以及车辆周围的环境信息进行分析和计算,生成驾驶员行车特征表达和车辆环境特征表达,并对车辆环境特征表达进行分析与计算,以对当前行车环境给出智能决策结果;所述评分模块对驾驶员行车特征表达进行分析和计算,对当前行车状态进行判断以及评分,记录当前评分的分数与当前行车状态终止次数;所述经验池模块用于保存包括驾驶员行车特征表达、智能决策结果、当前车辆状态的评分、当前行车状态是否终止的信号信息的经验。
8.根据权利要求7所述的一种基于深度强化学习的地面无人车智能决策系统,其特征在于,所述智能决策结果包括横向决策和纵向决策;所述横向决策包括车辆保持车道、变道、左转、右转,所述纵向决策包括车辆加速、减速、匀速。
9.根据权利要求7所述的一种基于深度强化学习的地面无人车智能决策系统,其特征在于,评分模块对驾驶员行车特征表达进行分析和计算具体为所述评分模块根据驾驶员行车特征表达中的转向灯、刹车以及油门信号判断当前车辆状态是否终止。
10.根据权利要求9所述的一种基于深度强化学习的地面无人车智能决策系统,其特征在于,出现至少以下一种情况时判断当前车辆状态为终止:当智能决策结果是保持车道,并且做出决策的阈值时间内转向灯有亮起的状态,则判定当前行车状态为终止;当智能决策结果是变道,并且做出决策的阈值时间内车辆的转向灯没有亮起的状态,则判定当前行车状态为终止;当智能决策结果是转弯,并且做出决策的阈值时间内车辆的对应方向的转向灯没有亮起的状态,则判定当前行车状态为终止;当智能决策结果是减速,并且做出决策的阈值时间内车辆油门有信号的时候,则判定当前行车状态为终止;当智能决策结果是加速,并且做出决策的阈值时间内车辆的刹车有信号的时候,则判定当前行车状态终止。