1.一种面向智能座舱的实时情绪感知与语音交互系统,其特征在于,包括:多模态数据采集模块用于同步采集驾驶员的面部图像序列、语音信号及文本输入;视觉特征增强单元采用生成式面部先验网络GFP-GAN与通道分割空间特征变换CS-SFT技术,对低质量图像进行修复与情绪分布提取;音频降噪与特征提取单元,基于非负矩阵分解NNMF和HuBERT模型提取语音情绪特征;文本情绪编码单元,采用DeBERTa结构融合相对位置编码与上下文语义信息;跨模态融合模块,通过跨模态Transformer动态整合视觉、音频与文本特征,输出情绪分类结果;个性化情绪数据库,用于存储用户历史情绪数据并基于LSTM进行情绪趋势预测与预警判断;大语言模型反馈模块,根据情绪识别结果与驾驶情境生成结构化提示词,调用DeepSeek模型生成自然语言反馈;语音合成与输出模块,基于情绪状态动态调整语音参数,并通过车载多通道进行反馈输出。
2.根据权利要求1所述的一种面向智能座舱的实时情绪感知与语音交互系统,其特征在于,视觉特征增强单元还包括情绪清晰度筛选机制,仅保留清晰度高于设定阈值的图像帧参与后续建模。
3.根据权利要求1所述的一种面向智能座舱的实时情绪感知与语音交互系统,其特征在于,音频降噪单元采用时域与频域双重降噪策略,并通过短时傅里叶变换与逆变换重构去噪语音信号。
4.根据权利要求1所述的一种面向智能座舱的实时情绪感知与语音交互系统,其特征在于,跨模态融合模块采用多层Transformer结构,分别对视觉、音频和文本特征进行模态内交互建模,再通过跨模态注意力机制进行特征融合。
5.根据权利要求1所述的一种面向智能座舱的实时情绪感知与语音交互系统,其特征在于,个性化情绪数据库记录每次识别的多模态特征、情绪类别及清晰度指标,并基于LSTM网络进行未来情绪状态预测。
6.根据权利要求1所述一种面向智能座舱的实时情绪感知与语音交互系统,其特征在于,大语言模型反馈模块构建的提示词包括当前情绪状态、置信度、车速、行驶环境及推荐语音风格。
7.根据权利要求1所述一种面向智能座舱的实时情绪感知与语音交互系统,其特征在于,语音合成模块支持根据情绪类型动态调整语速、音调和语调参数,并通过车载扬声器、显示屏和氛围灯进行多模态反馈。
8.一种实时情绪感知与语音交互方法,应用于智能座舱系统,其特征在于,包括以下步骤:
(1)采集并预处理多模态数据;分别提取视觉、音频和文本情绪特征并进行增强处理;
(2)通过跨模态Transformer融合多模态特征并进行情绪分类;记录情绪识别结果并更新个性化情绪数据库;
(3)基于历史数据与当前状态生成情境化语音反馈;合成并输出拟人化语音,联动车载环境调节模块。
9.根据权利要求8所述一种实时情绪感知与语音交互方法,其特征在于,语音反馈生成步骤还包括根据驾驶安全规范对生成内容进行合规性校验。