1.一种驾驶员危险驾驶行为识别的车辆预警方法,其特征在于,包括:
采集车辆行驶状态数据和驾驶员驾驶状态数据,所述车辆行驶状态数据包括车辆行驶雷达数据和车辆行驶控制器数据,所述驾驶员驾驶状态数据包括驾驶员生理状态数据和驾驶员情绪状态数据;
根据所述车辆行驶状态数据和所述驾驶员驾驶状态数据进行驾驶员危险驾驶行为判断,所述驾驶员危险驾驶行为判断是基于综合数据分析模块和多模态特征识别网络进行的,所述多模态特征识别网络包括多模态特征提取子网络和多模态特征融合子网络,所述多模态特征包括驾驶员的面部图像特征、语音音频特征和语音文本特征;
所述综合数据分析模块具体包括:
实时采集到车辆行驶状态数据和驾驶员驾驶状态数据后;
根据多视角异常检测算法获取异常系数;
若所述异常系数处于第一异常区间,则判定驾驶员的驾驶行为、生理及心理状态良好,处于低风险阶段,实施报复性驾驶行为的概率较小,结束当前判断循环,所述表示低风险异常系数阈值,所述低风险表示报复性驾驶行为的概率小于等于10%;
若所述异常系数处于第二异常区间,则判定驾驶员的驾驶行为、生理及心理状态存在异常且处于一般风险阶段,实施报复性驾驶行为的概率一般,采集当前驾驶员的多模态数据并输入多模态特征识别网络作为判断依据,进行多模态判断,所述表示中风险异常系数阈值,所述中风险表示报复性驾驶行为的概率小于等于50%且大于10%;
若所述异常系数处于第三异常区间,则判定驾驶员的驾驶行为、生理及心理状态存在异常且处于较高风险阶段,实施报复性驾驶行为的概率较大,根据通信传输模块进行危险状态反馈,并接入车内语音输出设备和影像采集设备,对驾驶员进行监视和主动询问,并根据风险得分算法进行报复性驾驶行为判断,所述表示高风险异常系数阈值,所述高风险表示报复性驾驶行为的概率小于等于90%且大于50%;
若所述异常系数处于第四异常区间,则判定驾驶员的驾驶行为、生理及心理状态存在异常且处于重大风险阶段,实施报复性驾驶行为的概率极大,根据通信传输模块进行危险状态反馈并接入主动干预操作;
若判定驾驶员处于危险驾驶状态,则根据所述车辆行驶状态数据进行主动干预操作,再根据所述驾驶员驾驶状态数据进行危险驾驶警报并进行危险驾驶反馈报告,所述主动干预操作是根据所述车辆行驶雷达数据进行的。
2.根据权利要求1所述的驾驶员危险驾驶行为识别的车辆预警方法,其特征在于,所述多视角异常检测算法和所述风险得分算法具体包括:多视角异常检测算法包括局部异常检测算法和全局异常检测算法;
根据所述局部异常检测算法计算当前时刻车辆行驶状态数据和驾驶员驾驶状态数据中所有指标的局部异常检测评分,所述局部异常检测算法的具体算法如下:,
其中,表示局部异常检测评分,表示车辆行驶状态数据和驾驶员驾驶状态数据中的数据点,表示的近邻集合,表示的近邻数目,表示的近邻数据点,表示与的欧式距离;
根据所述全局异常检测算法计算当前时刻车辆行驶状态数据和驾驶员驾驶状态数据中所有指标的全局异常检测评分,所述全局异常检测算法的具体算法如下:其中,表示全局异常检测评分,表示车辆行驶状态数据和驾驶员驾驶状态数据中的指标,表示指标总数,表示的概率密度;
根据所述局部异常检测评分和所述全局异常检测评分计算异常系数,所述计算异常系数的具体算法如下:其中,表示异常系数,表示归一化处理;
风险得分算法的具体公式如下:
,
,
其中,、、分别表示驾驶员状态指标、车辆状态指标、环境因素指标,、、、分别表示不同的指标风险范围,表示驾驶员状态良好、车辆状态良好、环境范围内行人及障碍物目标稀少,所述环境范围内行人及障碍物目标稀少表示车辆雷达范围内行人及障碍物目标为,表示驾驶员状态一般、车辆状态一般、环境范围内行人及障碍物目标较少,所述环境范围内行人及障碍物目标较少表示车辆雷达范围内行人及障碍物目标为,表示驾驶员状态较差、车辆状态较差、环境范围内行人及障碍物目标较多,所述环境范围内行人及障碍物目标较多表示车辆雷达范围内行人及障碍物目标为,表示驾驶员状态极差、车辆状态极差、环境范围内行人及障碍物目标密集,所述环境范围内行人及障碍物目标密集表示车辆雷达范围内行人及障碍物目标为,所述驾驶员状态和车辆状态的良好、一般、较差和极差分别对应驾驶员状态指标和车辆状态指标的不同波动程度,表示指标数据的单项风险得分输出分数,表示总风险得分。
3.根据权利要求1所述的驾驶员危险驾驶行为识别的车辆预警方法,其特征在于,所述多模态特征提取子网络具体包括:根据方向盘触压传感器,获取当前时刻驾驶员的方向盘触压图像;
根据车内影像采集器,获取当前时刻的驾驶员面部信息图像;
根据车内音频采集器,获取当前时刻的驾驶员语音信息;
将所述方向盘触压图像和所述驾驶员面部信息图像进行图像配准处理,再进行图像合成,所述图像合成是基于小波变换对所述方向盘触压图像和所述驾驶员面部信息图像进行小波分解,以获取多个不同频段的子图像,并融合生成合成图像;
根据卷积神经子网络对所述合成图像进行图像特征提取操作,以获取驾驶员基础图像特征,再根据局部注意力增强模块对所述驾驶员基础图像特征进行特征增强,以获取驾驶员增强图像特征;
根据梅尔倒谱系数对所述驾驶员语音信息进行音频特征提取操作,以获取驾驶员基础音频特征,再根据关键语音注意力增强模块对所述驾驶员基础音频特征进行特征增强,以获取驾驶员增强音频特征;
根据所述驾驶员语音信息转换生成驾驶员文本信息,再根据全局向量词嵌入对所述驾驶员语音信息进行文本特征提取操作,以获取驾驶员基础文本特征,再根据关键词注意力增强模块对所述驾驶员基础文本特征进行特征增强,以获取驾驶员增强文本特征。
4.根据权利要求1所述的驾驶员危险驾驶行为识别的车辆预警方法,其特征在于,所述多模态特征融合子网络具体包括:多模态特征融合子网络包括多层次长短时记忆网络,所述多层长短时记忆网络包括三个网络层;
将多模态特征提取子网络获取的驾驶员增强图像特征输入第一网络层,以获取第一网络层每个神经元的第一隐藏层状态特征;
将多模态特征提取子网络获取的驾驶员增强音频特征和所述第一隐藏层状态特征拼接后输入第二网络层,以获取第二网络层每个神经元的第二隐藏层状态特征;
将多模态特征提取子网络获取的驾驶员增强文本特征和所述第二隐藏层状态特征拼接后输入第三网络层,以获取第三隐藏层状态特征;
根据所述第三隐藏层状态特征获取多模态融合特征,再根据所述多模态融合特征进行驾驶员危险驾驶行为判断,以获取驾驶员危险驾驶行为判断分类预测结果。
5.根据权利要求1所述的驾驶员危险驾驶行为识别的车辆预警方法,其特征在于,所述若判定驾驶员处于危险驾驶状态,则根据所述车辆行驶状态数据进行主动干预操作的步骤具体包括:根据车辆行驶状态数据中的车辆行驶雷达数据进行主动干预,所述主动干预是根据预设主动干预策略进行的;
所述预设主动干预策略的具体算法如下:
,
其中,表示预设主动干预策略,表示当前时刻本车辆与前方车辆、行人或障碍物距离,表示预设第一雷达距离阈值,表示预设第二雷达距离阈值;
当主动干预判断当前时刻本车辆与前方车辆、行人或障碍物距离小于预设第一雷达距离阈值时,控制车辆减速装置使本车辆进行减速;
当主动干预判断当前时刻本车辆与前方车辆、行人或障碍物距离小于预设第二雷达距离阈值时,控制车辆紧急制动器使本车辆紧急制动至停车;
当主动干预判断当前时刻本车辆与前方车辆、行人或障碍物距离小于预设第一雷达距离阈值或预设第二雷达距离阈值时,均对本车辆的每个轮胎进行单独控制,进行车身稳定维持;
当主动干预判断当前时刻本车辆发生碰撞时,启动车内安全气囊装置进行车内主动保护,控制发动机罩抬升并主动开启行人保护安全气囊进行车外主动保护。
6.根据权利要求1所述的驾驶员危险驾驶行为识别的车辆预警方法,其特征在于,所述再根据所述驾驶员驾驶状态数据进行危险驾驶警报并进行危险驾驶反馈报告的步骤,具体包括:当判定驾驶员处于危险驾驶状态时,控制车辆灯光照明设备,进行远近光灯交替闪烁并开启危险警示灯;
再控制车辆外部扬声设备和车辆警示笛,进行危险避让警告播报和连续短促鸣笛示警;
根据驾驶员危险驾驶状态信息、驾驶员生理状态数据和驾驶员情绪状态数据,生成危险驾驶反馈报告,并通信反馈给云端报警系统,同时自动向预设应急对象发送报警信息。
7.一种驾驶员危险驾驶行为识别的车辆预警系统,其特征在于,包括:
采集模块,用于采集车辆行驶状态数据和驾驶员驾驶状态数据,所述车辆行驶状态数据包括车辆行驶雷达数据和车辆行驶控制器数据,所述驾驶员驾驶状态数据包括驾驶员生理状态数据和驾驶员情绪状态数据;
分析判断模块,用于根据所述车辆行驶状态数据和所述驾驶员驾驶状态数据进行驾驶员危险驾驶行为判断,所述驾驶员危险驾驶行为判断是基于综合数据分析模块和多模态特征识别网络进行的,所述多模态特征识别网络包括多模态特征提取子网络和多模态特征融合子网络,所述多模态特征包括驾驶员的面部图像特征、语音音频特征和语音文本特征;
所述综合数据分析模块具体包括:
实时采集到车辆行驶状态数据和驾驶员驾驶状态数据后;
根据多视角异常检测算法获取异常系数;
若所述异常系数处于第一异常区间,则判定驾驶员的驾驶行为、生理及心理状态良好,处于低风险阶段,实施报复性驾驶行为的概率较小,结束当前判断循环,所述表示低风险异常系数阈值,所述低风险表示报复性驾驶行为的概率小于等于10%;
若所述异常系数处于第二异常区间,则判定驾驶员的驾驶行为、生理及心理状态存在异常且处于一般风险阶段,实施报复性驾驶行为的概率一般,采集当前驾驶员的多模态数据并输入多模态特征识别网络作为判断依据,进行多模态判断,所述表示中风险异常系数阈值,所述中风险表示报复性驾驶行为的概率小于等于50%且大于10%;
若所述异常系数处于第三异常区间,则判定驾驶员的驾驶行为、生理及心理状态存在异常且处于较高风险阶段,实施报复性驾驶行为的概率较大,根据通信传输模块进行危险状态反馈,并接入车内语音输出设备和影像采集设备,对驾驶员进行监视和主动询问,并根据风险得分算法进行报复性驾驶行为判断,所述表示高风险异常系数阈值,所述高风险表示报复性驾驶行为的概率小于等于90%且大于50%;
若所述异常系数处于第四异常区间,则判定驾驶员的驾驶行为、生理及心理状态存在异常且处于重大风险阶段,实施报复性驾驶行为的概率极大,根据通信传输模块进行危险状态反馈并接入主动干预操作;
预警干预模块,用于若判定驾驶员处于危险驾驶状态,则根据所述车辆行驶状态数据进行主动干预操作,再根据所述驾驶员驾驶状态数据进行危险驾驶警报并进行危险驾驶反馈报告,所述主动干预操作是根据所述车辆行驶雷达数据进行的。
8.一种存储介质,其特征在于,所述存储介质存储一个或多个程序,该程序被处理器执行时实现如权利要求1-6任一项所述的驾驶员危险驾驶行为识别的车辆预警方法。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,其中:所述存储器用于存放计算机程序;
所述处理器用于执行所述存储器上所存放的计算机程序时,实现权利要求1-6任一项所述的驾驶员危险驾驶行为识别的车辆预警方法。