欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022116148465
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种融合时空特征的疲劳驾驶检测方法,其特征在于:该方法包括以下步骤:S1:输入驾驶视频;包括以下的步骤:

将输入的驾驶员面部视频进行分割,每个视频里面混合疲劳和不疲劳的状态,每个视频将按照对应的疲劳标签进行切割,保证每个视频只有疲劳或不疲劳一种状态,将切分后的视频随选划分为训练集和测试集,训练集占比80%,测试集占比20%;

S2:进行人脸检测;包括以下的步骤:

S2-1:采用多任务卷积神经网络MTCNN将步骤S1中切分好的视频进行人脸检测,提取人脸区域;将检测出来的人脸区域扩充40个像素点,最终得到分辨率为160×160的人脸面部区域视频帧序列图像;

S2-2:将提取到的人脸视频帧序列图像转换为numpy数组,保存在npy文件中;

S3:Drowsy-CNN网络提取人脸面部空间特征;包括以下的步骤:S3-1:将步骤S2中提取的人脸视频帧序列送入到Drowsy-CNN网络中训练,提取驾驶员面部空间疲劳特征;Drowsy-CNN网络是以Xception网络为基础神经网络模型,融合nonlocal注意力机制的网络模型;

S3-2:计算nonlocal自注意力模块,其计算公式为:

其中xi和xj分别表示输入的视频帧中某个时空位置,f(xi,xj)为相似性度量函数,采用EmbeddedGaussian函数来计算相似度,其计算公式为:其中θ和函数分别表示对xi和xj做线性变换,即卷积操作,相似性度量函数对应的归一化函数C(x)为:S3-3:non-local注意力模块首先是对输入的feature map分别进行三个1×1×1卷积操作,得到θ、φ、g特征,然后对θ和φ进行点乘操作,计算出特征中的自相关性;对自相关特征进行softmax操作,计算归一化的注意力权重系数,接着再将这个系数对应作用到特征矩阵g中,再进行1×1×1的卷积,最后与原输入的feature map进行残差连接,最终输出驾驶员的面部空间特征向量;

S4:LSTM-FCN提取时间特征;包括以下步骤:

S4-1:将步骤S3-3中得到的空间特征向量输入到LSTM-FCN网络中挖掘疲劳视频中的长期时间依赖关系;

S4-2:LSTM网络包含两层LSTM,第一层LSTM有1024个隐藏单元,其输入为S3-3中的输出,第二层有512个隐藏单元,其输入为第一层LSTM的输出,每一层后面都加入一层dropout层,防止过拟合;

S4-3:FCN网络包含三个一维的时间卷积块,该时间卷积块通常在输入序列上应用多个1×k的1D滤波器来提取时间特征,每个时间卷积块都伴随着批量归一化层BN和一个ReLU激活层,BN层加速网络的训练和提高网络的泛化能力,ReLU激活层使得网络具有非线性拟合能力;FCN中时间卷积块每层的公式为:s=BN(y)

h=ReLU(s)

其中表示卷积操作,每个时间卷积块中的滤波器大小分别为64、128、256,步长分别为1、2、4;

S5:Softmax分类判断是否疲劳。

2.根据权利要求1所述的一种融合时空特征的疲劳驾驶检测方法,其特征在于:所述S5包括以下步骤:S5-1:将LSTM网络和FCN网络进行Concat特征融合得到时空特征向量;

S5-2:使用softmax分类器得到驾驶员疲劳驾驶的概率分布,使用argmax函数获取疲劳分类的结果;

S5-3:根据疲劳驾驶检测的结果决定是否给驾驶员给予疲劳驾驶提醒警告。