1.一种基于视觉‑WiFi信号联合检测的驾驶接管险态感知方法,其特征在于,包括如下步骤:
a)在驾驶人正前方和右上方车顶的位置安装摄像头,通过正前方的摄像头获取驾驶人面部的实时图像,通过右上方车顶的摄像头获取驾驶人侧部的实时图像;
b)建立多模态学习门控循环单元网络模型MM‑GRU;
c)在驾驶室内安装WiFi信号发射装置和WiFi信号接收装置,在WiFi信号接收装置中提取WiFi‑CSI信息,得到无线宽带信号的功率延迟分布SPDP;
d)采用DCNN构建基于WiFi的驾驶人行为特征提取模型W‑DCNN;
e)将多模态学习门控循环单元网络模型MM‑GRU与基于WiFi的驾驶人行为特征提取模型W‑DCNN进入融合,得到多模态融合网络层结构;
f)构建联合代价函数F,通过代价函数F确立多模态融合网络层结构的最优参数,获得优化的多模态融合网络层结构,将获取的驾驶人面部的实时图像、获取驾驶人侧部的实时图像输入到优化的多模态融合网络层结构中的多模态学习门控循环单元网络模型MM‑GRU中,构建SPDP曲线的频谱图,将SPDP曲线的频谱图输入到优化的多模态融合网络层结构中的基于WiFi的驾驶人行为特征提取模型W‑DCNN,在多模态融合网络层结构的顶层构建分类器,输出驾驶人行为类别。
2.根据权利要求1所述的基于视觉‑WiFi信号联合检测的驾驶接管险态感知方法,其特征在于:步骤b)中多模态学习门控循环单元网络模型MM‑GRU依次由多模态学习网络模型MDNN和门控循环单元GRU构成,其中多模态学习网络模型MDNN依次由多模态特征输入层、2个隐藏层、特征输出层构成,门控循环单元GRU依次由重置门和更新门构成。
3.根据权利要求1所述的基于视觉‑WiFi信号联合检测的驾驶接管险态感知方法,其特征在于:步骤c)中利用快速傅里叶变换通过公式 计算得到宽带信号的功率延迟分布SPDP,式中a为角频率,δ(·)为狄拉克δ函数,t为当前时间,t1为信号的传播延迟时间,F为系数,c0为全信道CSI数据。
4.根据权利要求1所述的基于视觉‑WiFi信号联合检测的驾驶接管险态感知方法,其特征在于:步骤d)中的基于WiFi的驾驶人行为特征提取模型W‑DCNN依次由第一卷积层、第一汇聚层、第二卷积层、第二汇聚层、第三卷积层、第四卷积层、第五卷积层、第三汇聚层、第一全连接层、第二全连接层及第三全连接层构成。
5.根据权利要求1所述的基于视觉‑WiFi信号联合检测的驾驶接管险态感知方法,其特征在于:步骤e)中根据公式J(θ)=L(θ)+λφ(θ)计算得到多模态融合网络层结构的融合层的正则项J(θ),式中L(θ)为损失函数,λ为正则化系数,φ(θ)为正则化函数。
6.根据权利要求4所述的基于视觉‑WiFi信号联合检测的驾驶接管险态感知方法,其特征在于:第一卷积层使用两个大小为11×11×3×48的卷积核,步长S=4,零填充P=3,第一汇聚层使用大小为3×3的最大汇聚操作,步长S=2,第二卷积层使用两个大小为5×5×48×128的卷积核,步长S=1,零填充P=2,第二汇聚层使用大小为3×3的最大汇聚操作,步长S=2,第三卷积层使用一个大小为3×3×256×384的卷积核,步长S=1,零填充P=2,第四卷积层使用两个大小为3×3×192×192的卷积核,步长S=1,零填充P=1,第五卷积层使用两个大小为3×3×192×128的卷积核,步长S=1,零填充P=1,第三汇聚层使用大小为3×3的最大汇聚操作,步长S=2,第一全连接层的神经元数量为4096,第二全连接层的神经元数量为4096,第三全连接层的神经元数量为1000。
7.根据权利要求1所述的基于视觉‑WiFi信号联合检测的驾驶接管险态感知方法,其特征在于:步骤f)中通过公式 构建SPDP曲线的频谱图,式中n与m均为时间,ω为时间长度为m的窗口函数,R为阶越大小,e为自然常数,j为虚数单位。
8.根据权利要求1所述的基于视觉‑WiFi信号联合检测的驾驶接管险态感知方法,其特征在于,步骤f)中构建联合代价函数F的步骤为:f‑1)通过公式 计算得到多模态学习门控循环单
元网络模型MM‑GRU行为特征代价函数Fb1,式中x1为多模态学习门控循环单元网络模型MM‑GRU的行为特征,n为行为特征总数,y1为多模态学习门控循环单元网络模型MM‑GRU的实际值,a1为多模态学习门控循环单元网络模型MM‑GRU的输出值;
f‑2)通过公式 计算得到基于WiFi的驾驶人行为
特征提取模型W‑DCNN行为特征代价函数Fb2,式中x2为基于WiFi的驾驶人行为特征提取模型W‑DCNN的行为特征,n为行为特征总数,y2为基于WiFi的驾驶人行为特征提取模型W‑DCNN的实际值,a2为基于WiFi的驾驶人行为特征提取模型W‑DCNN的输出值;
f‑3)通过公式 计算得到多模态融合网络层结构
行为特征代价函数Fb0,式中x0为多模态融合网络层结构的行为特征,n为行为特征总数,y0为多模态融合网络层结构的实际值,a0为多模态融合网络层结构的输出值;
f‑4)通过公式F=αFb0+βFb1+γFb2计算得到联合代价函数F,式中α、β、γ均为权重系数。