欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021102864431
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于视频的危险驾驶行为检测方法,所述视频为驾驶员驾驶时的视频;所述方法包括构建阶段、训练阶段和检测阶段,其特征在于,所述构建阶段包括:S1、采集视频帧,构成待检测视频片段;所述待检测视频片段为长度为T的驾驶员驾驶w×h×c时的视频图像序列V,V=[v1,v2,…,vt,…vT],其中vt∈R ,表示视频图像序列中的第t帧图像,w、h分别为视频图像的宽和高,c表示图像色彩空间的通道数;

S2、对S1得到的待检测视频片段,计算相邻帧的光流,构成光流图序列F=[f1,f2,…,w×h×2Lft,…fT],其中ft∈R ,L为光流算法相关的特征通道数;

S3、将视频图像序列V中的每帧图像划分为K×K个子区域,采用空间2D卷积神经网络提取V中每帧图像每个子区域的空间特征FS(t,k),组合得到视频图像序列对应的空间特征:FS=[FS(1),FS(2),…,FS(t),…,FS(T)],其中FS(t)表示视频图像序列中的第t帧图像的空间2

特征,FS(t)=[FS(t,1),FS(t,2),…,FS(t,k),…,FS(t,K)], L1为空间特2

征的长度;k表示视频图像中子区域的序号,k=1,2,…,K ; 每帧空间特征图的宽、高均为K1;

S4、采用时间2D卷积神经网络提取光流图序列F对应的时间特征FM:FM=[FM(1),FM(2),…,FM(t),…,FM(T)],其中FM(t)表示视频图像序列中的第t帧图像的时间特征图,每帧时间特征图的宽、高均为K2,L2为时间特征的长度;

S5、对视频图像序列的每帧图像提取驾驶员轮廓,所述轮廓和轮廓内部区域设定为驾驶员区域Dt;统计第t帧图像中与Dt交集不为空的子区域个数Nt;计算每个子区域的驾驶员区域权重,第t帧图像第k个子区域的驾驶员区域权重Dω(t,k)为:S6、建立基于LSTM的空间注意力模型,所述空间注意力模型用于提取每帧图像每个子区域的空间权重 所述空间注意力模型中,输入门、遗忘门、输出门的输入均为第t帧图像第k个子区域的特征FS(t,k)和上一帧LSTM细胞隐藏状态 LSTM的输出细胞状态为 即:其中Wα,Wαf,Wαh分别为空间注意力模型中输出门、遗忘门、输入门的权重矩阵,bα1,bα2分别为空间注意力模型的输入门和输出门的偏置项;

S7、建立基于LSTM的时间注意力模型,所述时间注意力模型用于提取每帧图像的时间权重 所述时间注意力模型中,输入门、遗忘门、输出门的输入均为第t帧图像的时间特征FM(t)和上一帧LSTM细胞隐藏状态 LSTM的输出细胞状态 为 即:其中Wβ,Wβf,Wβh分别为时间注意力模型中输出门、遗忘门、输入门的权重矩阵,bβ1,bβ2分别为时间注意力模型的输入门和输出门的偏置项;

S8、计算各子区间归一化空间权重

对视频图像序列V中的T帧图像,更新每一帧图像的归一化空间权重,所述更新过程为最小化第一损失函数LossD: 更新后的归一化空间权重为αw(t,k);

计算视频图像序列中每帧图像的显著性空间特征St:

2 2

St=[αw(t,1)FS(t,1),…,αw(t,k)FS(t,k),…,αw(t,K)FS(t,K)],[,]表示向量拼接;

S9、计算各帧图像归一化时间权重βw(t):

计算视频图像序列中每帧图像的显著性时间特征Mt:

Mt=βw(t)FM(t),

S10、建立基于三级ConvLSTM级联的深度空间特征提取网络,所述深度空间特征提取网络的输入为显著性空间特征St,输出为St对应的第一危险驾驶行为概率向量;

所述深度空间特征提取网络包括三级级联的ConvLSTM单元和输出层;其中第一级ConvLSTM单元的输入为显著性空间特征St,第二级ConvLSTM单元的输入为第一级ConvLSTM单元的输出 第三级ConvLSTM单元的输入为第二级ConvLSTM单元的输出 三级ConvLSTM单元的输出拼接为深度空间特征S

所述输出层采用Softmax函数根据 获取第t帧图像的第一危险驾驶行为概率向量Pt:其中 是第t帧图像为第n类危险驾驶行为的概率,

其中T表示矩阵的转置,ωn为输出层参数,n=1,2,…,N;

S11、建立基于三级ConvLSTM级联的深度时间特征提取网络,所述深度时间特征提取网络的输入为显著性时间特征Mt,输出为Mt对应的第二危险驾驶行为概率向量;

所述深度时间特征提取网络包括三级级联的ConvLSTM单元和输出层;其中第一级ConvLSTM单元的输入为显著性时间特征Mt,第二级ConvLSTM单元的输入为第一级ConvLSTM单元的输出 第三级ConvLSTM单元的输入为第二级ConvLSTM单元的输出 三级ConvLSTM单元的输出拼接为深度时间特征所述输出层采用Softmax函数根据 获取第t帧图像的第二危险驾驶行为概率向量MPt : 其中 是第t帧图像为第n类危险驾驶行为的概率,

其中T表示矩阵的转置,υn为输出层参数,n=1,2,…,N;

所述训练阶段包括:

S12、构建数据集,并将其分为训练集和验证集;使用训练集和验证集训练空间注意力模型、时间注意力模型、深度空间特征提取网络和深度时间特征提取网络的参数;

所述检测阶段包括:

S13、采集驾驶员驾驶视频;连续读取T1帧图像构成预待测视频图像序列 判断预待测视频图像序列 中是否存在运动目标,若存在运动目标则继续读取T2帧视频图像与 构成长度为T的待测视频图像序列Vd,并根据步骤S2的方法计算Vd对应的光流图序列Fd;如果中不存在运动目标,清空 数据,重新读取T1帧视频图像;T1+T2=T;

根据步骤S3的方法获取Vd中每帧图像每个子区域的空间特征Fds(t,k);

根据步骤s4的方法获取Vd中每帧图像的时间特征FdM(t);

根据步骤S5的方法计算Vd中每帧图像每个子区域的驾驶员区域权重Ddω(t,k);

采用训练好的空间注意力模型计算Vd中每帧图像每个子区域的空间权重采用训练好的时间注意力模型计算Vd中每帧图像的时间权重

根据步骤S8的方法计算Vd中每帧图像的显著性空间特征Sdt;

根据步骤S9的方法计算Vd中每帧图像的显著性时间特征Mdt;

将Sdt输入训练好的深度空间特征提取网络中,获取Sdt对应的第一危险驾驶行为概率向量将Mdt输入训练好的深度时间特征提取网络中,获取Mdt对应的第二危险驾驶行为概率向量计算融合空间时间的危险驾驶行为概率向量 其中

为: 分别为 和 中的第n个元素;

根据 获取危险驾驶行为类别检测结果。

2.根据权利要求1所述的危险驾驶行为检测方法,其特征在于,所述步骤S2中采用TV‑L1算法提取视频序列图像中的光流图,构成光流图序列。

3.根据权利要求1所述的危险驾驶行为检测方法,其特征在于,所述步骤S3中的空间2D卷积神经网络、S4中的时间2D卷积神经网络均采用已训练好的VGG‑16中最后一层卷积层,即卷积核为3×3,filter为512的卷积神经网络。

4.根据权利要求1所述的危险驾驶行为检测方法,其特征在于,所述步骤S5中,采用Canny算法提取图像中驾驶员轮廓。

5.根据权利要求1所述的危险驾驶行为检测方法,其特征在于,所述步骤S12具体包括:S12‑1、构建数据集:

数据集中的样本是长度为T的驾驶员驾驶时的视频图像序列VS和所述序列中驾驶员危险驾驶行为类别lable;每个样本中只包含一类危险驾驶行为;将数据集分为训练集和验证集;

S12‑2、逐步预训练:

S12‑2‑1、预训练基于三级ConvLSTM级联的深度空间特征提取网络:随机初始化深度空间特征提取网络的参数;根据步骤S2‑S4提取每个训练样本的空间特征FS(t),将FS(t)作为深度空间特征提取网络的输入,采用反向求导最小化第一空间损失函数对深度空间特征提取网络的参数进行预训练;所述第一空间损失函数为:其中 为根据样本中驾驶行为类别lable得到的第n类危险驾驶行为类别的概率;

为深度空间特征提取网络输出的第t帧图像为第n类危险驾驶行为的概率;λ1为深度空间特征提取网络的权重衰减系数,θ1为深度空间特征提取网络中所有可学习的参数,包括三层空间ConvLSTM网络参数与Softmax分类器参数;

每训练Num1次保存一次深度空间特征提取网络的参数;当达到预设的训练次数或相邻两次训练的损失函数值小于预设的损失阈值时迭代结束;用验证集验证最后N1次保存的参数,选择检测正确率最高的作为深度空间特征提取网络预训练参数;

S12‑2‑2、预训练基于三级ConvLSTM级联的深度时间特征提取网络:随机初始化深度时间特征提取网络的参数;根据步骤S2‑S4提取每个训练样本的时间特征FM(t),将FM(t)作为深度时间特征提取网络的输入,采用反向求导最小化第一时间损失函数对深度时间特征提取网络的参数进行预训练;所述第一时间损失函数为:其中 为深度时间特征提取网络输出的第t帧图像为第n类危险驾驶行为的概率;λ2为深度时间特征提取网络的权重衰减系数,θ2为深度空间特征提取网络中所有可学习的参数,包括三层时间ConvLSTM网络参数与Softmax分类器参数;

每训练Num2次保存一次深度时间特征提取网络的参数;当达到预设的训练次数或相邻两次训练的损失函数值小于预设的损失阈值时迭代结束;用验证集验证最后N2次保存的参数,选择检测正确率最高的作为深度时间特征提取网络预训练参数;

S12‑2‑3、预训练基于LSTM的空间注意力模型:

随机初始化空间注意力模型的参数,将训练样本的每个子区域的空间特征FS(t,k)输入空间注意力模型,根据S8的步骤计算显著性空间特征St,在St后连接Softmax函数计算St对应的危险驾驶行为概率向量;采用反向求导最小化第二空间损失函数对空间注意力模型的参数进行预训练;所述第二空间损失函数为:其中 为根据空间注意力模型输出显著性空间特征St,获取对应的第n类危险驾驶行为的概率;λ′1为空间注意力模型的权重衰减系数,θ′1为空间注意力模型中所有可学习的参数,包括空间注意力模型中输出门、遗忘门、输入门的权重参数,以及输入门和输出门的偏置项参数;

每训练Num3次保存一次空间注意力模型的参数;当达到预设的训练次数或相邻两次训练的损失函数值小于预设的损失阈值时迭代结束;用验证集验证最后N3次保存的参数,选择检测正确率最高的作为空间注意力模型预训练参数;

S12‑2‑4、预训练基于LSTM的时间注意力模型:

随机初始化时间注意力模型的参数,将训练样本的时间特征FM(t)输入时间注意力模型,根据S9的步骤计算视频图像序列中每帧图像的显著时间特性Mt,在Mt后连接Softmax函数,计算Mt对应的危险驾驶行为概率向量;采用反向求导最小化第二时间损失函数对时间注意力模型的参数进行预训练;所述第二时间损失函数为:其中 为根据时间注意力模型输出的显著性时间特征Mt,获取对应的第n类危险驾驶行为的概率;λ′2为时间注意力模型的权重衰减系数,θ′2为时间注意力模型的中所有可学习的参数,包括时间注意力模型中输出门、遗忘门、输入门的权重参数,以及输入门和输出门的偏置项参数;

每训练Num4次保存一次时间注意力模型的参数;当达到预设的训练次数或相邻两次训练的损失函数值小于预设的损失阈值时迭代结束;用验证集验证最后N4次保存的参数,选择检测正确率最高的作为时间注意力模型预训练参数;

S12‑3、端到端训练:

将空间注意力模型、时间注意力模型、深度空间特征提取网络和深度时间特征提取网络的参数初始化为预训练后的值;

将FS(t)作为空间注意力模型的输入,根据步骤S8的方法计算显著性空间特征St;将FM(t)作为时间注意力模型的输入,根据步骤S9的方法计算显著性时间特征Mt;将St作为深度S空间特征提取网络的输入,得到St对应的第一危险驾驶行为概率向量Pt ;将Mt作为深度时M S M间特征提取网络的输入,得到Mt对应的第二危险驾驶行为概率向量Pt ;根据Pt和Pt计算融SM合空间时间的危险驾驶行为概率向量Pt : 其中 为:

S M

分别为Pt和Pt中的第n个元素;

采用反向求导最小化时空融合损失函数,对空间注意力模型、时间注意力模型、深度空间特征提取网络和深度时间特征提取网络的参数进行优化,所述时空融合损失函数为:其中λ为时空权重衰减系数,θ为空间注意力模型、时间注意力模型、深度空间特征提取网络和深度时间特征提取网络中所有可学习的参数;λD为驾驶员区域权重衰减系数;

每训练Num5次保存一次空间注意力模型、时间注意力模型、深度空间特征提取网络和深度时间特征提取网络的参数;当达到预设的训练次数或相邻两次训练的损失函数值小于预设的损失阈值时迭代结束;用验证集验证最后N5次保存的参数,选择检测正确率最高的作为空间注意力模型、时间注意力模型、深度空间特征提取网络和深度时间特征提取网络的参数。

6.根据权利要求1所述的危险驾驶行为检测方法,其特征在于,根据 获取危险驾驶行为类别检测结果,具体包括:若向量 中的最大值 满足: 则判断有危险驾驶行为,危险驾驶行为发生的时间为当前待测视频图像序列Vd中第t帧图像对应的时间,类别为 在向量 中的序号;η为预设的危险驾驶行为判别阈值;

如果 则判断没有危险驾驶行为。

7.一种基于视频的危险驾驶行为检测系统,所述视频为驾驶员驾驶时的视频;其特征在于,包括:视频图像序列获取模块(1),用于获取长度为T的驾驶员驾驶时的视频图像序列Vd;

光流图序列计算模块(2),用于计算驾驶员驾驶时的视频图像序列中相邻帧的光流,构成光流图序列Fd;

图像分块模块(3),用于将视频图像序列中的每帧图像划分为K×K个子区域;

空间2D卷积神经网络(4),用于提取Vd中每帧图像每个子区域的空间特征FdS(t,k);

时间2D卷积神经网络(5),用于提取光流图序列Fd中每帧光流图对应的时间特征FdM(t);

驾驶员区域权重计算模块(6),用于对视频图像序列的每帧图像提取驾驶员轮廓,所述轮廓和轮廓内部区域设定为驾驶员区域Dt;统计第t帧图像中与Dt交集不为空的子区域个数Nt;计算每个子区域的驾驶员区域权重Ddω(t,k);

空间注意力模型(7),用于提取每帧图像每个子区域的空间权重时间注意力模型(8),用于提取每帧图像的时间权重

显著性空间特征计算模块(9),用于计算Vd中每帧图像的显著性空间特征Sdt;

显著性时间特征计算模块(10),用于计算Vd中每帧图像的显著性时间特征Mdt;

深度空间特征提取网络(11),用于获取Sdt对应的第一危险驾驶行为概率向量深度时间特征提取网络(12),用于获取Mdt对应的第二危险驾驶行为概率向量时空融合危险驾驶行为概率向量计算模块(13),用于计算融合空间时间的危险驾驶行为概率向量检测结果计算模块(14),用于根据 获取危险驾驶行为类别检测结果。

8.根据权利要求7所述的基于视频的危险驾驶行为检测系统,其特征在于,所述光流图序列计算模块(2)采用TV‑L1算法提取视频序列图像中的光流图,构成光流图序列。

9.根据权利要求7所述的基于视频的危险驾驶行为检测系统,其特征在于,所述空间2D卷积神经网络(4)和时间2D卷积神经网络(5)均为已训练好的VGG‑16中最后一层卷积层,即卷积核为3×3,filter为512的卷积神经网络。

10.根据权利要求7所述的基于视频的危险驾驶行为检测系统,其特征在于,所述驾驶员区域权重计算模块(6)采用Canny算法提取图像中驾驶员轮廓。