欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021100701514
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 乐器;声学
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于半监督对抗变分自编码的语音情感识别方法,其特征在于,步骤包括:S1.SSAVAE模型构建:构建生成式对抗网络,并结合半监督变分自编码模型以及所述生成式对抗网络构建语音情感识别模型,其中将输入数据中带情感标签数据与对应的情感标签作为输入,使得生成的隐含层特征符合情感标签的分布特性,以及将输入数据中无情感标签数据作为情感标签属性缺失类型处理,即将情感标签作为隐含变量,在特征空间中将带情感标签数据的类别信息与所述无情感标签数据共享,由所述生成式对抗网络学习输入数据在隐含层的特征概率分布,构建得到SSAVAE模型;

S2.模型训练:使用训练集对构建得到的所述SSAVAE模型进行训练,所述训练集中包括带情感标签信息的标签数据集及无情感标签信息的无标签数据集,得到训练后的SSAVAE模型;

S3.情感识别:输入待处理语音情感数据,其中包括带情感标签数据以及无情感标签数据,将待处理语音情感数据输入至训练后的所述SSAVAE模型中,由所述SSAVAE模型学习待处理语音情感数据中带情感标签数据和无情感标签数据共有的隐含层的特征概率分布,基于所述特征概率分布得到情感识别结果。

2.根据权利要求1所述的基于半监督对抗变分自编码的语音情感识别方法,其特征在于:所述SSAVAE模型中具体使用所述生成式对抗网络学习输入数据的后验分布概率,以使得所述SSAVAE模型能够直接学习到输入数据的后验分布概率。

3.根据权利要求2所述的基于半监督对抗变分自编码的语音情感识别方法,其特征在于,构建所述SSAVAE模型时,使用生成式对抗网络T(x,y,z)表示logp(z)‑logqφ(z|x,y),其中,x为输入数据,y为情感标签,z为隐含特征空间向量,p(z)为隐含特征空间向量z的概率分布,qφ(z|x,y)为参数φ的概率函数;所述生成式对抗网络的目标函数表示为:其中,σ(·)表示sigmoid函数。

4.根据权利要求3所述的基于半监督对抗变分自编码的语音情感识别方法,其特征在于,所述步骤S1中构建SSAVAE模型的步骤包括:S1.1.对输入数据中带情感标签数据构建联合概率分布:p(x,y)=∫pθ(x,y|z)p(z)dz其中,θ为模型参数,pθ(x,y|z)表示在给定向量z和参数θ的情况下,生成输入数据x和对应情感标签y的条件概率分布;

S1.2.使用概率分布函数qφ(z|x,y)近似真实的后验分布概率,构建得到带情感标签数据的对数边缘似然概率模型为:

logpθ(x,y)≥∑z~q(z|x,y)logpθ(x,y|z)‑DKL[qφ(z|x,y)||p(z)]=‑L(x,y)并最大化下界后转换得到:

S1.3.使用生成式对抗网络T(x,y,z)表示logp(z)‑logqφ(z|x,y),将步骤S1.2最大化下界后得到的带情感标签数据对数边缘似然概率模型转换为所述SSAVAE模型中针对带情感标签数据所需优化的目标函数,即为:S1.4.利用重参数方法,将所述SSAVAE模型中针对带情感标签数据所需优化的目标函数最终转换为:

其中,L(x,y)表示在输入数据存在情感标签时的目标损失函数,ε表示扰动变量。

5.根据权利要求1~4中任意一项所述的基于半监督对抗变分自编码的语音情感识别方法,其特征在于,构建所述SSAVAE模型时,对输入数据中无情感标签数据,使用所有可能的类别y的加权之和构建似然概率,权重值使用当前由带标签数据学习到的关于当前类别的条件概率 进行估计,并利用参数φ的概率函数qφ(z,y|x)近似真实后验概率,由概率分布qφ(y|x)作为语音情感分类器,对输入数据的情感状态进行判断,其中x为输入数据,y为情感标签,z为隐含特征空间向量。

6.根据权利要求5所述的基于半监督对抗变分自编码的语音情感识别方法,其特征在于,无情感标签数据的对数边缘似然概率模型具体为:其中,H(qφ(y|x))表示输入数据x的标签条件概率分布熵。

7.根据权利要求1~4中任意一项所述的基于半监督对抗变分自编码的语音情感识别方法,其特征在于,所述SSAVAE模型的联合目标函数为:其中,x为输入数据,y为情感标签,pl为带情感标签数据的概率分布,pu为无情感标签数据的概率分布,L'(x,y)为带情感标签数据的对数边缘似然概率模型,U'(x)为无情感标签数据的对数边缘似然概率模型。

8.根据权利要求7所述的基于半监督对抗变分自编码的语音情感识别方法,其特征在于,所述SSAVAE模型中还包括附加损失项,以使得模型能学习到带情感标签数据中情感类别分布特性,最终得到的所述SSAVAE模型的联合目标函数为:其中,J'为附加损失项,C为平衡控制因子,x为输入数据,y为情感标签,qφ(y|x)为参数φ的概率函数。

9.一种基于半监督对抗变分自编码的语音情感识别系统,其特征在于,包括:SSAVAE模型构建模块,用于构建生成式对抗网络,并结合半监督变分自编码模型以及所述生成式对抗网络构建情感识别模型,其中将输入数据中无情感标签数据作为情感标签属性缺失类型处理,即将标签信息作为隐含变量,在特征空间中将带情感标签数据的类别信息与所述无情感标签数据共享,由所述生成式对抗网络学习输入数据在特征空间的概率分布,构建得到SSAVAE模型;

模型训练模块,用于使用训练集对构建得到的SSAVAE模型进行训练,所述训练集中包括带情感标签信息的标签数据集及无情感标签信息的无标签数据集,得到训练后的SSAVAE模型;

情感识别模块,用于输入待处理语音情感数据,其中包括带情感标签数据以及无情感标签数据,将待处理语音情感数据输入至训练后的所述SSAVAE模型中,由所述SSAVAE模型学习待处理语音情感数据中带情感标签数据和无情感标签数据共有的隐含层的特征概率分布,基于所述特征概率分布得到情感识别结果。

10.一种基于半监督对抗变分自编码的语音情感识别系统,包括处理器以及存储器,所述存储器用于存储计算机程序,所述处理器用于执行所述计算机程序,其特征在于,所述处理器用于执行所述计算机程序,以执行如权利要求1~8中任意一项所述方法。