1.一种大模型提示词多尺度时空特征融合疲劳驾驶检测方法,其特征在于,包括如下步骤:S1、根据面部动作编码系统定义与疲劳相关的表情运动单元,利用预训练大模型生成与表情运动单元对应的提示词,并提取提示词的语义嵌入向量,生成提示词特征矩阵P;
S2、混合专家模型设计与处理:
S2.1、对输入混合专家模型的视频帧序列S进行多尺度采样,生成L个不同尺度的视频序列Sl;将提示词特征矩阵P与每个尺度视频序列Sl进行通道维度级联,实现语义嵌入向量与运动特征融合,生成融合后的多尺度特征序列PSl;
S2.2、对每个融合后的特征序列PSl,提取多尺度空间特征Fl和多尺度时空特征Gl;
S2.3、将不同尺度的时空特征Gl上采样至统一空间尺寸,级联后通过卷积层整合,生成微表情时空运动特征图M;
S2.4、使用轻量化Transformer网络对微表情时空运动特征图M的时空运动特征进行综合分析,并将初始化的综合学习向量Y更新为Y’;
S3、基于Y’通过全连接层分类器输出疲劳状态概率,结合预设阈值判定驾驶员是否处于疲劳状态;
S4、使用交叉熵损失函数结合优化器对混合专家模型进行训练。
2.根据权利要求1所述的大模型提示词多尺度时空特征融合疲劳驾驶检测方法,其特征在于,在步骤S1中,表情运动单元包括眼睑闭合、打哈欠、头部倾斜中的至少一种,预训练大模型为CLIP或GPT。
3.根据权利要求1所述的大模型提示词多尺度时空特征融合疲劳驾驶检测方法,其特征在于,在步骤S1中,提示词特征矩阵P的形状为[N,CP],其中N为提示词个数,CP为每个提示词的特征通道数。
4.根据权利要求2所述的大模型提示词多尺度时空特征融合疲劳驾驶检测方法,其特征在于,在步骤S2.1中,对输入的视频帧序列S进行多尺度采样包括采样原图尺寸的1、1/4、1/8、1/16、1/32中的至少三种尺度;生成L个不同尺度的视频序列Sl中,L≥3,每个尺度视频序列Sl的形状为[T,Hl,Wl,CS],T为帧数,Hl、Wl为空间尺寸,CS为输入的视频帧的原始通道数。
5.根据权利要求4所述的大模型提示词多尺度时空特征融合疲劳驾驶检测方法,其特征在于,在步骤S2.2中,使用空间Transformer提取多尺度空间特征Fl,多尺度空间特征Fl的形状为[T,Hl,Wl,CF],使用时间Transformer提取多尺度时空特征Gl,多尺度时空特征Gl的形状为[T,Hl,Wl,CG]。
6.根据权利要求5所述的大模型提示词多尺度时空特征融合疲劳驾驶检测方法,其特征在于,步骤S2.3的具体操作为:先对每个尺度的时空特征Gl进行双线性插值上采样至最大尺度空间尺寸,再将上采样后的特征在时间维度级联,生成级联特征,最后通过3×3卷积层压缩级联特征通道数,得到微表情时空运动特征图M。
7.根据权利要求6所述的大模型提示词多尺度时空特征融合疲劳驾驶检测方法,其特征在于,在步骤S2.4中,综合学习向量Y的初始形状为[CM],轻量化Transformer网络的输出Y’保留与Y相同的通道维度。
8.根据权利要求7所述的大模型提示词多尺度时空特征融合疲劳驾驶检测方法,其特征在于,在步骤S2.5中,预设阈值为0.5-0.8,且当分类器输出的疲劳概率超过阈值时触发预警信号。
9.根据权利要求7所述的大模型提示词多尺度时空特征融合疲劳驾驶检测方法,其特征在于,步骤S4的具体操作为:a)对输入视频帧序列S进行数据增强,生成训练样本;
b)将训练样本输入混合专家模型,生成综合学习向量Y’;
c)计算分类器的输出与真实标签的交叉熵损失;
d)基于计算出的交叉熵损失,通过AdamW优化器反向传播更新混合专家模型网络参数,并结合权重衰减策略防止过拟合;
e)重复步骤a)-d)直至混合专家模型收敛。
10.根据权利要求9所述的大模型提示词多尺度时空特征融合疲劳驾驶检测方法,其特征在于,在步骤a)中,所述的数据增强包括随机裁剪、水平翻转、颜色抖动中的至少一种;在步骤d)中,采用余弦退火学习率调度方法动态调整学习率;在步骤d)中,使用Dropout和权重衰减技术,进一步防止过拟合。