欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024114070840
申请人: 云南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多模态数据的心理状况识别方法,其特征在于,包括以下步骤:

步骤S1、利用线性时空检测器来提高视频、音频特征质量;

所述步骤S1包括以下步骤:

步骤S11、预训练视频和音频模态的有监督特征提取器;

步骤S12、利用特征提取器提取音频特征和视频图像特征;

步骤S13、使用线性时空检测器来进行特征强化;

所述步骤S13包括以下步骤:

步骤S131、对多模态特征进行序列分解;

步骤S132、分别对序列分解的子序列进行时间信息捕获和空间信息捕获,得到时间强化特征和空间强化特征;

步骤S133、将时间强化特征、空间强化特征以及原始特征相加,得到线性时空检测器的最终输出;

步骤S2、利用跨模态时间对齐器来确保模态之间的时间同步;

步骤S3、利用Transformers 来检测关键片段,再经过线性层得到最终的预测结果;输出预测结果;

所述S3中,具体处理如下:

为Transformer编码器的编码结果,在进行回归预测之前,将在特征映射维度进行平均,即:,然后送入Projection在时间维度上进行回归,表示经典Transformer中的编码器,表示用于回归预测的全连接层,表示最终预测的心里状况等级评分,为跨模态时间对齐器最终输出的多模态特征。

2.根据权利要求1所述的基于多模态数据的心理状况识别方法,其特征在于,所述步骤S2包括以下步骤:步骤S21、对多模态特征进行模态拆分,恢复单模态数据;

步骤S22、分别对各个单模态数据进行归一化,消除量纲影响;

步骤S23、将音频和视频的单模态数据同时输入跨模态时间对齐模块,进行模态对齐;

步骤S24、将各个单模态数据进行逆归一化后再次拼接成多模态数据。

3.根据权利要求1所述的基于多模态数据的心理状况识别方法,其特征在于,所述S11中,对于视频模态,首先使用OpenFace工具包对数据集中的原始视频进行了人脸对齐和背景去除,使用IResNet50框架作为基准,然后分别使用从两个数据集中得到的视频帧来对其进行微调,得到两个视频特征提取器,最后再将每一帧输入相应的视频特征提取器进行特征提取;

对于音频模态,先使用MoviePy工具包从原始视频中提取出音频文件并进行预处理和滑动窗口分段,然后使用PANN_16K框架作为基准,再分别使用预处理和分段之后得到的音频段来对其进行微调,得到音频特征提取器,最后再将处理后的每一段音频都输入相应的音频特征提取器进行特征提取;

视频每个样本都被转化为,音频模态中的每个样本都被转化为 ,其中,T表示时间步,D为映射的特征维度,通过将单模态特征在特征维度上进行拼接来得到多模态特征,为实数集。

4.根据权利要求1所述的基于多模态数据的心理状况识别方法,其特征在于,所述S12中,首先,对完成特征提取的基础特征进行序列分解,将基础特征分解为平均移动距离,和总体变化趋势两个子序列,对于输入的基础特征,具体处理过程为:上式中,为平均移动距离,为总体变化趋势, 为完成特征提取的单模态基础特征;表示在一维数据上应用平均池化操作,T表示转置操作;

池化窗口大小为K,先在输入的第一行和最后一行复制次后分别按行拼接到原输入的首尾,得到填充后的特征,接下来使用一维平均池化层来得到平均移动距离,由于进行了首尾填充,所以;然后用单模态基础特征与相减得到总体变化趋势;

接下来使用一个线性模块来捕获时空信息,每个模块中包含两个输入和输出形状一致的全连接层用于分别处理序列分解的得到的两个子序列,分别用于该模态的时间信息捕获和空间信息捕获;

在完成时空信息捕获后,将两个子序列的强化结果相加得到时间、空间的强化特征,最后再将时间、空间的强化结果以及原始特征相加得到最终的强化特征,具体处理过程如下:上述公式中,上角标表示转置操作,下角标T则是时间特征的标识,原始特征 分别表示时间序列分解得到的平均移动距离,和总体变化趋势两个子序列,为空间序列分解得到的平均移动距离,和总体变化趋势两个子序列,为全连接层的权重,表示全连接层的偏置项,每两个全连接层组成一个线性模块,为各个模态数,N表示模态总数,分别为时间强化特征、空间强化特征;为最终的强化特征。

5.根据权利要求1所述的基于多模态数据的心理状况识别方法,其特征在于,

首先,将多模态数据拆分为多条单模态向量,并分别对其进行归一化,将归一化后的单模态数据进行嵌入后同时送入跨模态时间对齐器的跨模态注意力层进行模态对齐,最后使用一个全连接层作为解码器,对于多模态特征,在进入注意力层之前的处理如公式(8)至(12)所示:为从多模态特征中直接分解得到的音、视频单模态特征,为单模态特征在时间维度进行归一化后的结果,分别表示对视频特征和音频特征求方差,分别表示对视频特征、音频特征求均值;分别为视频模态、音频模态在时间维度的均值、标准差,为单模态特征在时间维度上进行嵌入的结果,为超参数;

在完成模态归一化和向量嵌入之后,特征被送入编码器中,编码器内包含L层跨模态时间对齐注意力模块,单个模块中的计算过程如公式(13)至(18)所示:其中,分别表示用于对视频模态、音频模态进行多头映射的线性层的权重、偏置;分别表示音频模态、视频模态特征在经过上一个注意力层进行运算后的中间结果;表示注意力机制中查询和键向量的维度;表示注意力层的总层数,为超参数;公式中为将输入用全连接层划分为多头的结果,分别为视频注意音频、音频注意视频的跨模态注意力结果,表示当前所处的注意力模块层数;Mean(x)、Var(x)表示对输入求均值、方差,LayerNorm(x)表示层归一化操作;FFN(x)表示经典Transformer中的前置反馈网络;

在编码运算结束后,对于每个模态的编码结果,先使用全连接层将先前划分的多头注意力合并,然后使用解码器对其进行维度转换,使其和原始输入的单模态特征形状相同,对单模态进行逆归一化以恢复原始的数据分布,最后将单模态解码结果按映射维度进行拼接恢复多模态形式,上述过程的具体处理如下:公式中,分别表示用于视频、音频特征多头合并的线性层的权重、偏置,表示跨模态注意力编码器中最后一层注意力层的输出,分别表示对视频、音频进行解码的线性层的权重、偏置,为完成多头合并的编码器输出,为解码器输出,为跨模态时间对齐器最终输出的多模态特征。