1.基于目标检测及关键帧快速定位的疲劳驾驶检测算法,其特征在于:具体步骤如下:步骤S1:设计一个数据迭代算法;
步骤S2:设计一个聚焦难分类行为的损失函数;
步骤S3:设计一个关键帧快速定位算法;
步骤S4:设计一个端云协同策略;
其中步骤S1设计一个数据迭代算法,具体为:
步骤S1.1,将包含疲劳驾驶行为的视频进行逐帧提取,保存为总图片集,图片总数为S;
步骤S1.2,从总图片集中随机抽取S*20%张图片进行人工标注,获得小数据集D1;
步骤S1.3,使用小数据集D1训练模型Net得到临时模型N1;
步骤S1.4,使用临时模型N1对剩余的S*80%张图片进行预标注,获得大数据集D2;
步骤S1.5,人工对大数据集D2进行微调,并将微调后的大数据集D2与小数据集D1合并得到总数据集;
所述步骤S2中设计一个聚焦难分类行为的损失函数,具体为:对目标检测模型中的损失函数进行修改,设计一个聚焦难分类行为的损失函数,得到一个聚焦目标类别检测模型;聚焦目标类别检测模型中的整体损失函数为:;
其中, 为整体损失函数, 为置信度损失函数, 为置信度损失权重; 为聚焦难分类行为类别损失函数, 为聚焦难分类行为类别损失权重; 为位置损失函数, 为位置损失权重;
调整聚焦难分类行为类别损失的权重,使 且 ;
聚焦难分类行为类别损失函数为:
;
其中, 是包含目标的边界框的数量,是第 个边界框, 是类别的数量,是第 个行为类别, 是实际标签中第 个边界框是否包含目标的二进制值, 是聚焦目标类别检测模型预测的第 个边界框的类别概率分布,是聚焦因子,取正值,用来调节聚焦目标类别检测模型训练时对难分类行为类别的关注度;
对于不难分类的样本:如果聚焦目标类别检测模型预测的第 个边界框的类别概率分布接近1,那么 接近0,从而减小不难分类的样本的权重,不难分类的样本会使聚焦目标类别检测模型在进行反向传播时,使与不难分类的样本预测相关的网络参数更新幅度减小;
对于难分类的样本:如果聚焦目标类别检测模型预测的第 个边界框的类别概率分布接近0,那么 接近1,从而增加难分类的样本的权重,难分类的样本会使聚焦目标类别检测模型在进行反向传播时,使与难分类的样本预测相关的网络参数更新幅度增大;
通过改变损失函数导数性质从而改变聚焦目标类别检测模型反向传播对不同网络参数的更新步幅;
所述步骤S3中设计一个关键帧快速定位算法,具体步骤如下:步骤(1):隔样抽帧;
对原视频流进行每秒一帧的隔样抽帧操作,并将隔样帧保存至隔样帧序列中;
步骤(2):模型预测隔样帧类别;
使用聚焦目标类别检测模型对隔样帧序列中的图片进行行为类别预测,判断出每张图片是否属于正常驾驶行为或者是否呈现出某种疲劳驾驶行为,疲劳驾驶行为包括闭眼、打哈欠、打电话和左顾右盼四种,并将预测结果保存至隔样帧行为类别序列中;
步骤(3):筛选粗行为区间;
已知安全驾驶时间阈值为N秒,当隔样帧行为类别序列中疲劳驾驶行为连续出现次数小于等于N‑2秒或者行为类别为正常驾驶的序列,不满足疲劳驾驶的条件,将其删除,将筛选后的信息保存至粗行为区间数组Info[X][3]中,其中Info为二维数组,第一个维度保存X个疲劳驾驶行为的信息数组,第二个维度3保存每个疲劳驾驶行为的3个信息,其中索引0保存疲劳驾驶粗行为区间所属类别,索引1保存疲劳驾驶粗行为区间起始帧号,索引2保存疲劳驾驶行为粗行为区间结束帧号;
步骤(4):寻找起始帧,计算前遗漏帧;
在粗行为区间数组的起始帧前及结束帧后可能存在遗漏帧的情况,将粗行为区间的开始帧定义为:伪起始帧,结束帧定义为:伪结束帧;将上个粗行为区间的伪结束帧定义为:上伪结束帧;下一个粗行为区间的伪起始帧定义为:下伪起始帧;从上伪结束帧至伪起始帧这个区间内查找真正的行为起始帧,使用二分查找算法来寻找行为起始帧;然后计算出前遗漏帧,公式如下:;
步骤(5):粗行为区间情况讨论;
设当前粗行为区间时间为F,若当前粗行为区间时间F等于安全时间阈值N‑1秒时,进一步细化探索区间,执行步骤(6);否则粗行为区间时间F大于等于安全时间阈值N秒,满足疲劳驾驶条件,执行步骤(8);
步骤(6):设定探索帧;探索帧位置的计算公式如下:
;
步骤(7):判定探索帧;当探索帧的行为类别与粗行为区间类别一致时,进一步探索,执行步骤(8);
步骤(8):寻找结束帧,计算后遗漏帧;从探索帧或者伪结束帧至下伪起始帧范围内,通过二分查找,寻找出结束帧,并计算出后遗漏帧,其计算公式如下:;
步骤(9):确定精确行为区间;通过起始帧和结束帧,计算出疲劳驾驶行为的起始时间、结束时间以及持续时间,确定精确行为区间,然后进入下一粗行为区间的查找;对于精确行为区间,其持续时间的计算公式如下:;
步骤(10):输出所有疲劳驾驶行为;所有的粗行为区间查找完毕后,根据所有精确行为区间的持续时间,判断是否超过安全驾驶时间阈值N秒,超过安全驾驶时间阈值则判断为疲劳驾驶,记录疲劳驾驶行为类别,并进行相应的输出;
所述步骤S4中设计一个端云协同策略,具体如下:
(1)端侧和云侧通过网络进行数据的交互;
(2)将对算力要求较小的算法部署至端侧,将对算力要求较高的算法部署至云侧,算力要求较小的算法包括图像采集、图像预处理、抽帧策略,算力要求较高的算法包括训练模型、模型预测、数据集综合处理;
(3)端侧设备向云侧的行为区间判断模块和行为判断模块发送目标检测模型选择信号,根据不同的场景任务,行为区间判断模块和行为判断模块从云侧存储服务中加载对应的目标检测模型来进行后续的检测任务;
(4)用户选择视频检测功能,有两种端云协同方案;
(5)用户选择实时检测功能,端侧将摄像头采集的实时视频数据逐帧传输至云侧行为判断模块进行预测,云侧将每帧图片所属的行为类别、置信度和标注框坐标信息传回至端侧;端侧通过云侧返回的信息检测出实时视频中的超过安全阈值的疲劳驾驶行为,并给出警告提示;
(6)用户选择实时行为检测功能,端侧将摄像头采集的实时视频数据每隔一定时间段传输至云侧行为判断模块进行预测,云侧将间隔帧图片所属的行为类别、置信度和标注框坐标信息传回至端侧;端侧通过云侧返回的信息检测出实时视频中的超过安全阈值的疲劳驾驶行为,并给出警告提示;
(7)云侧模型训练模块从云存储模块收集数据集,并利用不同场景的数据集训练不同的目标检测模型,最后将训练好的模型保存至云侧云存储模块中。
2.根据权利要求1所述的基于目标检测及关键帧快速定位的疲劳驾驶检测算法,其特征在于:其中两种端云协同方案,具体为:第一种端云协同方案:端侧设备调用关键帧快速定位算法对视频中的疲劳驾驶行为进行检测,在检测过程中将需要进行类别判断的帧图片传至云侧行为判断模块进行处理,进行类别判断的帧图片属于疲劳驾驶驾驶行为,则将其保存至云侧云存储模块中,并将该帧图片所属的行为类别、置信度和标注框坐标信息传回至端侧;
端侧通过云侧返回的信息检测出视频中的疲劳驾驶行为,并进疲劳驾驶行为的类别和起始时间和结束时间进行显示;
第二种端云协同方案:端侧设备直接将待检测的视频传输至云侧行为区间判断模块,云侧行为区间判断模块中包含关键帧快速定位算法和聚焦目标类别检测模型,能够将视频中的疲劳驾驶行为检测出来,将疲劳驾驶行为片段保存至云侧云存储服务中,并将视频中的疲劳驾驶行为类别和行为起始时间和结束时间返回至端侧进行显示。