欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023108339874
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种面向3D点云图像数据的疲劳驾驶行为识别方法,其特征在于,包括:步骤10,采集经分帧处理的包含有驾驶员面部信息的3D点云图像视频帧作为待处理图像;

步骤20,采用点素-体素融合转化网络PVFTN作为3D点云图像数据特征提取模型,对待处理图像进行处理,获得脸部区域特征图像;

其中,待处理图像输入点素-体素融合转化网络PVFTN,依次经过第一PVF模块、第二PVF模块、第三PVF模块处理,分别得到第一PVF特征图、第二PVF特征图、第三PVF特征图,这三个特征图最后经过MLP层处理并聚合得到聚合多尺度特征作为脸部区域特征图像输出;

PVF模块包含点素分支和体素分支,分别处理PVF模块的输入特征F,点素分支在点素域中提取全局特征Fg,体素分支在体素域中提取局部特征Fl,PVF模块的输出端融合全局特征Fg和局部特征Fl,得到并输出PVF特征图F;

步骤30,采用多尺度面部关键点检测器MSFLD处理脸部区域特征图像,获得脸部23个关键点坐标;

步骤40,根据脸部关键点坐标更新脸部疲劳参数矩阵;

步骤50,根据脸部疲劳参数矩阵,采用统计阈值和自适应阈值相结合的方法进行判断,得到驾驶员驾驶状态的判断结果。

2.根据权利要求1所述的面向3D点云图像数据的疲劳驾驶行为识别方法,其特征在于,步骤20还包括:点素分支采用嵌入相对位置表示RPR的自注意力机制处理输入特征F得到点素域自注意力特征Fsa,再经过MLP层处理并与输入特征F聚合得到全局特征Fg,计算公式为:Fsa=softmax(QKT+B)V

Fg=MLP(Fsa)+F

其中Q、K、V是输入特征F根据共享线性变换生成的特征矩阵,B为相对位置表示偏差矩阵,对于输入特征F中的任意两个点p={xp,yp,zp}、q={xq,yq,zq},从点p到点q的相对位置表示偏差Bpq=max(-β,min(β,Dpq)),Dpq=(xp-xq)+(yp-yq)+(zp-zq),β是预设的最大相对距离。

3.根据权利要求2所述的面向3D点云图像数据的疲劳驾驶行为识别方法,其特征在于,步骤20还包括:体素分支将输入特征F依次经过体素化模块、特征聚合模块、去体素化模块处理,得到体素局部特征Fl;

其中,体素化模块将点素域的输入特征F的空间以非重叠方式均匀地划分为多个体积区域,对于每一个体积区域,计算该体积区域内所有特征点的均值作为该体积区域的特征值,从而将点素域的输入特征F映射为体素域特征O;

特征聚合模块采用窗口自注意力机制,先将体素域特征O的空间以非重叠方式均匀地划分为多个窗口空间,在每个窗口空间内通过自注意力机制处理体素域特征O得到体素域自注意力特征Osa,再经过MLP层处理并与体素域特征O聚合得到体素域局部特征Og;

去体素化模块将体素域局部特征Og中每个体积区域的特征值分配给输入特征F中在该体积区域内的所有特征点,从而获得局部特征Fl。

4.根据权利要求1所述的面向3D点云图像数据的疲劳驾驶行为识别方法,其特征在于,步骤30还包括:脸部区域特征图像输入多尺度面部关键点检测器MSFLD,依次经过第一卷积层、深度可分离卷积层、4个倒置残差块、第二卷积层、第三卷积层、5个不同尺度全连接层处理,得到脸部23个关键点坐标。

5.根据权利要求1所述的面向3D点云图像数据的疲劳驾驶行为识别方法,其特征在于,步骤40还包括:根据脸部关键点坐标计算左眼纵横比EARli、右眼纵横比EARri和嘴巴纵横比MARi,结合对应的当前第i帧3D点云图像视频帧的时间参数ti,更新脸部疲劳参数矩阵:

6.根据权利要求5所述的面向3D点云图像数据的疲劳驾驶行为识别方法,其特征在于,步骤50还包括:统计阈值为基于数据集中不同驾驶行为类型和不同驾驶员的数据获得的统计左眼纵横比阈值EARlst、统计右眼纵横比阈值EARrst、统计嘴巴纵横比阈值MARst;

自适应阈值为基于当前测试视频前p帧数据获得的自适应左眼纵横比阈值EARlat、自适应右眼纵横比阈值EARrat、自适应嘴巴纵横比阈值MARat;

当第i帧的数据同时满足条件EARli

7.一种计算机设备,其特征在于,包括:

存储器,用于存储指令;

处理器,用于调用所述存储器存储的指令执行如权利要求1-6中任一项所述的面向3D点云图像数据的疲劳驾驶行为识别。

8.一种计算机可读存储介质,其特征在于,存储有指令,所述指令被处理器执行时,执行如权利要求1-6中任一项所述的面向3D点云图像数据的疲劳驾驶行为识别方法。