欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024110504817
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于状态空间模型跨模态交互的多模态情感识别方法,其特征在于,包括如下步骤:步骤1:对原始输入的语音和文本模态分别进行低级特征提取;

步骤2:将所提取的各类低级特征输入到通道分组特征提取网络,获取高级特征,所述网络由不同数量的一维卷积层和通道分组卷积层组成;

步骤3:将提取的语音和文本的高级特征分别输入到跨模态特征映射模块,精细地学习声学和文本特征之间的相互作用,从语音片段和句子中提取丰富的跨模态信息;

步骤4:通过两层对角化的结构化状态空间序列S4D模块分别对语音和文本的低级特征进行处理,提取出更高级、更鲁棒的S4D特征表示,并将其拼接起来,得到S4D多模态特征;

步骤5:将S4D多模态特征与语音和文本的高级特征输入到跨模态交互注意力模块中,自适应地增强模态序列表示;

步骤5-1:将声音和文本模态的高级特征作为查询向量Q,将S4D多模态特征作为键K、值V向量,分别进行跨模态注意力机制运算,动态调整声音和文本信息的权重,其中,跨模态注意力机制模块包含多头注意力机制、全连接层、跳跃连接以及层归一化,多头注意力机制的头数目为8;

步骤5-2:将跨模态注意力机制的输出CA(Q'a)和CA(Q't)分别输入到单输出门控融合层,通过应用sigmoid函数对输入进行处理,生成一个门控向量,所述门控向量用于调节后续特征融合过程中的各个模态特征的权重,使用线性变换权值矩阵对输入进行线性变换,然后将结果与门控向量进行元素级别的逐一相乘操作,从而得到融合后的特征Fa和Ft;

步骤6:将通过步骤3提取的两种模态的内在特征、S4D多模态特征以及模态之间的交互特征Fn融合在一起,将融合的特征向量输入到双向LSTM层中,结合自注意力机制选择情感关键特征,最终,通过模型的全连接层输出情感分类结果;

步骤6-1:将步骤3提取的语音文本模态的内在特征X”n'、S4D多模态特征Xc和模态之间的交互特征Fn进行融合,其中n∈{a,t},a是语音模态,t是文本模态,然后将融合的特征向量输入到双向LSTM网络中,捕获长期依赖关系和上下文信息;

步骤6-2:在双向LSTM网络之后增加了自注意力机制,以过滤关键特性,然后,利用最大池化层对所有隐藏状态的顺序信息进行聚合;

步骤6-3:将聚合好的信息通过两层全连接前馈网络进行最终的情绪预测;

步骤7:利用设计的三元组损失函数与交叉熵损失相结合来约束模型收敛,提高模型在情感分类中的准确性;

步骤7-1:将每个数据实例定义为一个三元组,其中锚样本是预测的情感类别,正样本y是正确的情感标签,负样本e是随机选择的错误情感标签;

步骤7-2:使用神经网络将每个样本转换为对应的嵌入向量f(y)和f(e),计算余弦相似度,目的是最小化正样本与锚点之间的距离,同时最大化负样本与锚点之间的距离,三元组损失函数表示为:其中表示向量与f(e)的点积,表示向量的范数,m为边界值超参数;

步骤7-3:将三元组损失与交叉熵损失联合来优化训练过程中情感预测的准确性;

步骤8:对所提出的一种基于状态空间模型跨模态交互的多模态情感识别方法进行性能评估。

2.根据权利要求1所述的一种基于状态空间模型跨模态交互的多模态情感识别方法,其特征在于,所述步骤1的具体步骤包括:步骤1-1:对于文本嵌入Xt,采用300维预训练的GloVe嵌入模型,将单词映射到每个话语转录的固定长度向量中,用于微调预训练词嵌入的线性算子的维度设定为256;

步骤1-2:对于声学嵌入Xa,首先将数据样本的音频信号转换成25ms的帧,帧移为10ms,使用Python库从每帧提取40维滤波器组特征和13维MFCC特征。

3.根据权利要求1所述的一种基于状态空间模型跨模态交互的多模态情感识别方法,其特征在于,所述步骤2的具体步骤包括:步骤2-1:输入低级的文本特征Xt到通道分组卷积模块,所述模块由1个一维卷积层和1个通道分组卷积层组成,卷积核大小分别为3和2,每个核的步长为1,通道分组卷积层的组数设置为4;一维卷积层由一维卷积、GeLU激活函数和最大池化三部分组成;通道分组卷积层由分组卷积、GeLU激活函数、最大池化和层归一化四部分组成;

步骤2-2:输入低级的语音特征Xa到通道分组卷积模块,所述模该块由2个一维卷积层和1个通道分组卷积层组成,卷积核大小分别为3、2和3,每个核的步长为1,通道分组卷积层的组数设置为4;一维卷积层和通道分组卷积层的组成部分与所述步骤2-1一致。