欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022111207471
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于多层时空融合的轻量化驾驶人注意力预测方法,其特征在于,包括:获取视频帧

提取并存储所述视频帧 中连续帧间的多层级空间特征;

通过在时间维度融合所述多层级空间特征来生成驾驶人的注意力显著图;

基于所述驾驶人的注意力显著图来输出驾驶人注意力预测结果。

2.根据权利要求1所述的基于多层时空融合的轻量化驾驶人注意力预测方法,其特征在于,在所述获取视频帧 之后,还包括:对所述视频帧 将的图像进行尺寸调整处理及标准化处理;

所述尺寸调整处理为将所述视频帧的RGB图像的尺寸缩放至宽高为256×256;

所述标准化处理为利用Z‑Score标准化对经过尺寸调整处理后的所述RGB图像分别在R、G、B三个颜色通道上进行标准化处理,以生成符合标准正态分布的标准化图像数据,如公式(1)所示:i i

其中,x为对应颜色通道上的输入; 为对应颜色通道标准化后的输出;μ为数据集i训练集上对应颜色通道的图像亮度值均值,分别为{0.471,0.448,0.408};σ为对应的图像亮度值标准差的平均值,分别为{0.234,0.239,0.242}。

3.根据权利要求2所述的基于多层时空融合的轻量化驾驶人注意力预测方法,其特征在于,还包括:建立多层时空融合网络模型,并利用该模型对所述标准化图像数据进行注意力预测;

所述多层时空融合网络模型包括编码器和解码器两个模块,所述编码器模块用于提取并存储所述视频帧 中连续帧间的多层级空间特征,所述解码器模块用于通过在时间维度融合所述编码器模块输出的多层级空间特征来生成驾驶人的注意力显著图。

4.根据权利要求3所述的基于多层时空融合的轻量化驾驶人注意力预测方法,其特征在于,在所述建立多层时空融合网络模型之后,还包括:对所述多层时空融合网络模型进行训练;

对所述多层时空融合网络模型进行训练包括利用KL散度作为监督层上的损失函数lKL(G,S)对网络进行优化;

所述KL散度的计算公式如式(2)所示:

其中,G∈[0,1]为驾驶人注意力的真实标签,S∈[0,1]为模型预测出的显著性值,i为每一点的像素值;

当网络经过迭代优化至损失值lKL(G,S)收敛时,训练结束并保存当前的网络参数,然后使用所述网络和网络参数进行驾驶人的注意力预测。

5.根据权利要求3所述的基于多层时空融合的轻量化驾驶人注意力预测方法,其特征在于,所述编码器模块包括特征提取骨干和记忆模块;

其中,所述特征提取骨干用于使用轻量化网络MobileNetV2的全卷积层,并且提取当前输入帧 从Level‑1到Level‑4四个层级上的特征作为骨干网络的输出;

所述记忆模块用于在时间维度上拼接聚合当前帧It编码后的特征 和存储的历史帧Vt={It‑T+1,…,It‑1}中的特征 得到时间长度为T的特征张量后传输给所述解码器模块;以及,在当前帧It时刻模型执行完毕后,所述记忆模块去除It‑T+1时刻的特征 保留It时刻的特征 依次迭代更新,使得在执行下一时刻计算前记忆模块中仅包含时间长度为T‑1的特征张量,并最后作用于It+1时刻。

6.根据权利要求3所述的基于多层时空融合的轻量化驾驶人注意力预测方法,其特征在于,所述解码器为并行多分支结构,每个所述分支结构包括时空融合层和预测层;

所述时空融合层包括3D下采样层、轻量3D逆瓶颈层和三线性上采样层;

其中,所述3D下采样层为卷积核尺寸为3×1×1、步长为2×1×1、填充为2×1×1的3D卷积,如公式(3)所示,3D下采样层用于使得输入的时空特征仅在时间维下采样至原来的而高度和宽度保持不变;

式中,M为输入特征尺寸,N为输出特征尺寸;K为卷积核尺寸,P为填充尺寸,S为步长;i代表特征的维度,即3D卷积所处理的时间维T、高度维H和宽度维W;

所述轻量3D逆瓶颈层包括第一卷积层、第二卷积层和第三卷积层;

其中,所述第一卷积层的卷积核大小为7×7×7的3D可分离卷积,用于增大感受野的窗口大小;所述第二卷积层为扩大通道宽度卷积核大小为1×1×1的标准3D卷积,膨胀比设置为2;所述第三卷积层为在时空融合过程中逐步缩减通道宽度的卷积核大小为1×1×1的标准3D卷积,膨胀比设置为0.5;

所述三线性上采样层级联串联在每个所述轻量3D逆瓶颈层之后,用于将特征图的尺寸扩大2倍,并保持时间维长度不变;

所述预测层为带有sigmoid激活函数的卷积核大小为1×1×1的标准2D卷积,用于将通道数缩减为1,所述Sigmoid函数如式(4)所示:其中,所述Sigmoid函数的输出范围为(0,1),以使得所述预测层可将每一层的时空融合特征映射为概率分布进行输出,得到每个特征层级的显著性概率图,然后将其在通道上拼接并最终融合生成预测的显著性图,即驾驶人的注意力预测结果。

7.根据权利要求6所述的基于多层时空融合的轻量化驾驶人注意力预测方法,其特征在于,所述时空融合层的每一层卷积后都加入批正则化和GELU激活函数,用于增加网络的非线性和寻优能力;

所述GELU函数如公式(5)所示,以激活函数为所述多层时空融合网络模型训练过程中引入随机性,提高训练过程的鲁棒性;

8.基于多层时空融合的轻量化驾驶人注意力预测装置,其特征在于,包括:输入模块、编码器模块和解码器模块;

所述输入模块,用于获取视频帧

所述编码器模块,用于提取并存储所述视频帧 中连续帧间的多层级空间特征;

所述解码器模块,用于通过在时间维度融合所述多层级空间特征来生成驾驶人的注意力显著图。

9.一种电子设备,其特征在于,包括:

至少一个处理器;以及,

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至7中任一所述的基于多层时空融合的轻量化驾驶人注意力预测方法。

10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一所述的基于多层时空融合的轻量化驾驶人注意力预测方法。