欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023104181185
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 乐器;声学
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于重构原型和生成学习的零样本语音情绪识别方法,其特征在于,所述零样本语音情绪识别方法包括:数据获取步骤,首先建立语音情绪数据库,其中包括若干语段样本,每个语段样本有其对应的情绪类别标签;将语音情绪数据库划分为已知情绪类别样本所组成的训练集,以及未知情绪类别样本所组成的测试集;每个语段样本都拥有已知且唯一的情绪类别标签;

模型优化和应用步骤,具体模型优化和应用步骤包括以下具体步骤:

步骤一、提取生成nF维原始特征:对训练样本集中的每个语段样本,分别提取出对应的副语言特征,作为原始特征,并对原始特征做规整化处理,得到N(S)个训练样本对应的规整化特征步骤二、对已知情绪类别名称进行语义嵌入映射,生成各已知情绪类别语义嵌入原型其中c(S)为已知情绪类别数,nA为情绪类别名称的语义嵌入维数;

步骤三、由从已知情绪类别语段样本提取的规整化副语言特征X(S)及其对应样本的情绪类别标签以及已知情绪类别原型A(S),进行原型重构模型训练,得到已知情绪类别语段样本重构原型和最优原型重构模型,进而使用最优原型重构模型,结合未知情绪类别语义嵌入原型得到未知情绪类别语段样本重构原型步骤四、使用从已知情绪类别语段样本提取的规整化副语言特征X(S)及其对应样本的情绪类别标签Y(S),以及已知情绪类别语段样本重构原型进行生成学习,通过训练生成器fG(·)和判别器fD(·,·),求解得生成器对应的最优生成学习模型进而使用最优生成学习模型,结合未知情绪类别重构原型生成得到未知情绪类别生成样本的副语言特征;

步骤五、将未知情绪类别生成样本的副语言特征经过步骤一中所述规整化处理后,送入分类器进行训练,求解得最优分类器,进而针对未知情绪类别测试语段样本提取副语言特征,并使用步骤一所述规整化方法,得到未知情绪类别测试语段样本的规整化副语言特征x(U),并使用最优分类器进行分类判决。

2.根据权利要求1所述的一种基于重构原型和生成学习的零样本语音情绪识别方法,其特征在于,步骤一中所述规整化处理的方法如下:规整化前的所有语段样本中的任一样本的特征列向量为x(0),其中N(S)个已知情绪类别训练样本的特征列向量组成的训练样本集为设为的第j个特征元素;

对于任一样本的特征列向量x(0),特征j对应元素的规整化处理的计算公式为:

其中表示X(0)第j行中最大的元素,表示X(0)第j行中最小的元素;x·j为规整化处理后的结果;

将任一样本中的所有的元素按照式(1)进行计算,得到任一训练或测试样本规整化后的特征列向量x=[x·1,x·2,...,x·n]T,其中,属于已知情绪类别训练样本集的语段信号样本的规整化后的特征向量组成训练样本的规整化特征向量集

3.根据权利要求1所述的一种基于重构原型和生成学习的零样本语音情绪识别方法,其特征在于,步骤二中所述语义嵌入映射可通过对情绪类别名称使用词向量预训练模型实现:对于每个情绪类别,使用SenticNet 5模型中给出的最近5个相邻词来表示该情绪;其次通过输入预训练fastText模型,获得这些相邻词的语义嵌入,并平均每个情绪状态对应的5个相邻词语义嵌入,作为该情绪类别的语义嵌入原型;

通过上述方式向SenticNet 5和fastText模型输入情绪类别名称,得到该类别对应的nA维的情绪类别语义嵌入原型;对训练集对应的已知情绪类别,各类别的语义嵌入原型表示为对测试样本集中待预测的c(U)个未知情绪类别,各类别的语义嵌入原型表示为

4.根据权利要求1所述的一种基于重构原型和生成学习的零样本语音情绪识别方法,其特征在于,步骤三中所述最优原型重构模型为其中,ψ(·)表示原始原型上的原型重构映射,J(·,·)表示两个参数之间对应列的对齐损失函数,通过线性ν-支持向量回归实现;为已知情绪类别范例;线性映射矩阵通过主成分分析PCA对可见情绪样本进行线性降维;针对第c个已知情绪类别,使用列向量和个该已知情绪类别样本的规整化副语言特征得到第c个已知情绪类别的中心作为各已知情绪类别范例;

对已知和未知情绪类别语义嵌入原型A(S)和A(U),使用最优原型重构模型分别得到已知和未知情绪类别重构原型和根据已知情绪类别语段样本标签Y(S),将分配给对应的已知情绪类别语段样本,得到各已知情绪类别语段样本对应的已知情绪类别重构原型

5.根据权利要求1所述的一种基于重构原型和生成学习的零样本语音情绪识别方法,其特征在于,步骤四中所述生成器fG(·)用于学习最优生成学习模型,并根据任意情绪类别重构原型,得到相应情绪类别生成样本的副语言特征;设任一已知情绪类别重构原型其网络结构为:其中,fG1(·,·)为第一层的输出,其公式为:

其中,nq维噪声q服从正态分布,ReLU(·)和LeakyReLU(·)分别是修正线性单元ReLU和Leaky ReLU激活函数,和表示生成器网络的线性权值,和是对应的偏置,隐藏层包括nG个节点。

6.根据权利要求1所述的一种基于重构原型和生成学习的零样本语音情绪识别方法,其特征在于,步骤四中所述判别器fD(·,·)用于区分X(S)中任一已知情绪类别的语段样本或生成样本副语言特征x(S),及对应的重构原型其公式为:其中,fD1(·,·)为判别器隐藏层的输出,其公式为

其中和表示为判别器网络的线性权值,bD1和bD2为相应的偏差,隐藏层中使用nD个节点。

7.根据权利要求1所述的一种基于重构原型和生成学习的零样本语音情绪识别方法,其特征在于,步骤四中所述求解得生成器对应的最优生成学习模型的过程包括对生成器和判别器的训练,使用的损失函数为:其中,权重λ3>0;表示已知情绪类别生成样本的副语言特征在对应标签下的分类错误率,表示已知情绪类别c(S)NG个生成样本的已知情绪类别标签,每个类别NG生成样本;Cls(·,·)为在已知情绪类别语段样本X(S)上训练的Softmax分类器,使用负对数似然NLL损失;

Wasserstein生成对抗网络WGAN损失LWGAN使用Wasserstein生成对抗网络梯度惩罚WGAN-GP损失:其中已知情绪类别真实样本特征已知情绪类别生成样本特征权重λ1>0用于平衡真实数据与生成数据之间的关系,已知情绪类别合成样本特征权重λ2服从0-1均匀分布。

8.根据权利要求1所述的一种基于重构原型和生成学习的零样本语音情绪识别方法,其特征在于,步骤五中所述分类器为监督学习分类器。

9.根据权利要求8所述的一种基于重构原型和生成学习的零样本语音情绪识别方法,其特征在于,监督学习分类器为Softmax分类器或支持向量机分类器。