欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019110890233
申请人: 山东师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种音频场景分类方法,其特征是,包括如下步骤:

构建模型:根据训练音频数据,建立分类CNN网络模型;根据将训练音频数据采用稀疏编码方法得到的基于稀疏编码的分类信息,建立校准CNN网络模型;

测试分类:将待测试音频数据输入至所述分类CNN网络模型,得到预分类信息;将待测试音频数据采用稀疏编码方法得到的基于稀疏编码的分类信息输入至所述校准CNN网络模型,得到校准分类信息;

将预分类信息与校准分类信息进行融合,获得音频场景分类结果;

采用稀疏编码方法得到训练音频数据或者待测试音频数据基于稀疏编码的分类信息,方法包括:S1训练得到稀疏编码的基:根据训练音频数据,采用稀疏编码的字典学习方法训练得到稀疏编码的音频字典,根据音频字典构建稀疏编码的基向量矩阵,即为稀疏编码的基;

S2根据稀疏编码的基,采用正交匹配追踪法求得音频片段内各帧的稀疏系数;

S3根据音频片段内各帧的稀疏系数,建立音频片段的稀疏系数矩阵,此稀疏系数矩阵即为基于稀疏编码的音频片段的分类信息;

当对训练音频数据采用稀疏编码方法得到基于稀疏编码的分类信息时,所述S2和S3中音频片段为训练音频数据的音频片段;

当对待测试音频数据采用稀疏编码方法得到基于稀疏编码的分类信息时,所述S2和S3中音频片段为待测试音频数据的音频片段;

设定训练集中共有C个声学场景类,对于每个类,利用训练集中类内的所有音频帧,通过稀疏编码的字典学习方法学习得到音频字典,第i个音频场景类的音频字典可以表示为:其中,di,1表示字典Di中的第1个基向量, 表示字典Di中的第ni个基向量,ni表示字典Di中基向量的个数;

将所有音频场景类的音频字典连接起来,组成整个稀疏编码的基向量矩阵如下:其中,d1,1表示字典D1的第1个基向量, 表示字典D1的第n1个基向量,n1表示字典D1中基向量的个数,dC,1表示字典DC的第1个基向量, 表示字典DC的第nC个基向量,nC表示字典DC中基向量的个数;

根据稀疏编码的基,采用正交匹配追踪法求得音频片段内各帧的稀疏系数,具体为:根据稀疏编码的基向量矩阵D,通过正交匹配追踪法求得每个音频片段内各帧的稀疏系数;将各帧的稀疏系数转化为正数;

帧数据的稀疏系数向量表示为:

其中,si,j表示对应字典Di的第j个基向量的稀疏系数,ni表示字典Di中基向量的个数,s1,1表示对应字典D1的第1个基向量的稀疏系数, 表示对应字典D1的第n1个基向量的稀疏系数,sC,1表示对应字典DC的第1个基向量的稀疏系数, 表示对应字典DC的第nC个基向量的稀疏系数,T表示转置;

由于si,j的值可能为正值,也可能为负值,将其通过下式转换为正值,转换后的值记为ssi,j:转换后的稀疏系数向量重新记为

根据音频片段内各帧的稀疏系数,建立音频片段的稀疏系数矩阵,具体为:将音频片段内每一帧对应每个音频字典的稀疏系数求和;将求和后的系数进行归一化处理,获得音频片段内每一帧的归一化后的稀疏系数向量,音频片段内所有帧的归一化稀疏系数向量组成稀疏系数矩阵,即为基于稀疏编码的音频片段的分类信息;

对音频片段内的每个帧,将其对应字典Di(i=1,…,C)的所有稀疏系数进行相加求和,求和后的稀疏系数向量重新记为:T

s=[s1,s2,...,sC]

其中, j为字典Di的第j个基向量,ni表示字典Di中基向量的个数;ssi,j是将si,j转换为正数后的数值,si,j表示对应字典Di的第j个基向量的稀疏系数;

将si(i=1,…,C)通过下式进行归一化:

T

归一化后的稀疏系数向量重新记为s=[σ(s1),σ(s2),...,σ(sC)] ,此时,稀疏系数向量s中的所有元素之和为1;音频片段内所有帧的归一化后的稀疏系数向量所组成的稀疏系数矩阵,即为基于稀疏编码的音频片段的分类信息。

2.如权利要求1所述的一种音频场景分类方法,其特征是:预分类信息和校准分类信息都是维度等于音频场景类别数的向量,表示每个音频片段属于各个不同场景类的概率分布。

3.如权利要求1所述的一种音频场景分类方法,其特征是:所述将预分类信息与校准分类信息进行融合,获得音频场景分类结果的方法,包括:针对待测试音频数据中的各个音频片段,将每个音频片段预分类信息与校准分类信息融合,获得针对单个音频片段的属于不同场景类的概率分布;

根据所有音频片段的属于不同场景类的概率分布,统计待测试音频数据属于不同场景类的概率;

对于待测试音频数据,取概率值最大的场景类别作为待测试音频数据所属的场景类别。

4.如权利要求3所述的一种音频场景分类方法,其特征是:将每个音频片段预分类信息与校准分类信息融合,融合采用向量元素相乘的方法。

5.如权利要求3所述的一种音频场景分类方法,其特征是:根据所有音频片段的属于不同场景类的概率分布,统计待测试音频数据属于不同场景类的概率的方法,具体为:针对所有场景类,将待测试音频数据内所有音频片段属于同一场景类的概率取平均,将此平均值作为待测试音频数据属于该场景类的概率,获得待测试音频数据属于所有不同场景类的概率。

6.如权利要求1所述的一种音频场景分类方法,其特征是:所述根据训练音频数据,建立分类CNN网络模型,包括:将训练音频数据进行预处理,获得音频片段的频谱特征数据即为预处理后的数据;

训练分类CNN网络模型:搭建CNN网络结构,将训练音频数据预处理后得到的音频片段的频谱特征数据作为输入,以音频片段的真实类标签作为监督输出,对CNN网络进行训练,获得分类CNN网络模型;

或者

根据将训练音频数据采用稀疏编码方法得到的基于稀疏编码的分类信息,建立校准CNN网络模型的方法,包括:将训练音频数据进行预处理,获得音频片段的频谱特征数据即为预处理后的数据;

将预处理后的数据采用稀疏编码方法,提取音频片段的稀疏系数矩阵即为训练音频数据基于稀疏编码的分类信息;

训练校准CNN网络模型:搭建CNN网络结构,将采用稀疏编码方法获得的音频片段的分类信息作为输入,以音频片段的真实类标签作为监督输出,对CNN网络进行训练,获得校准CNN网络模型;

或者

在构建模型之前或者在对待测试音频数据测试分类之前将训练音频数据和待测试音频数据预处理的步骤,具体包括:将音频数据分割得到音频片段,相邻片段之间设置有设定比例的覆盖率;

对音频片段进行特征提取,获得音频片段的频谱特征数据,即为预处理后的数据。

7.一种音频场景分类系统,其特征是,包括:

模型构建模块:被配置为根据训练音频数据,建立分类CNN网络模型;根据将训练音频数据采用稀疏编码方法得到的基于稀疏编码的分类信息,建立校准CNN网络模型;

测试分类模块:被配置为将待测试音频数据输入至所述分类CNN网络模型,得到预分类信息;将待测试音频数据采用稀疏编码方法得到的基于稀疏编码的分类信息输入至所述校准CNN网络模型,得到校准分类信息;

融合模块:被配置为将预分类信息与校准分类信息进行融合,获得音频场景分类结果;

采用稀疏编码方法得到训练音频数据或者待测试音频数据基于稀疏编码的分类信息,方法包括:S1训练得到稀疏编码的基:根据训练音频数据,采用稀疏编码的字典学习方法训练得到稀疏编码的音频字典,根据音频字典构建稀疏编码的基向量矩阵,即为稀疏编码的基;

S2根据稀疏编码的基,采用正交匹配追踪法求得音频片段内各帧的稀疏系数;

S3根据音频片段内各帧的稀疏系数,建立音频片段的稀疏系数矩阵,此稀疏系数矩阵即为基于稀疏编码的音频片段的分类信息;

当对训练音频数据采用稀疏编码方法得到基于稀疏编码的分类信息时,所述S2和S3中音频片段为训练音频数据的音频片段;

当对待测试音频数据采用稀疏编码方法得到基于稀疏编码的分类信息时,所述S2和S3中音频片段为待测试音频数据的音频片段;

设定训练集中共有C个声学场景类,对于每个类,利用训练集中类内的所有音频帧,通过稀疏编码的字典学习方法学习得到音频字典,第i个音频场景类的音频字典可以表示为:其中,di,1表示字典Di中的第1个基向量, 表示字典Di中的第ni个基向量,ni表示字典Di中基向量的个数;

将所有音频场景类的音频字典连接起来,组成整个稀疏编码的基向量矩阵如下:其中,d1,1表示字典D1的第1个基向量, 表示字典D1的第n1个基向量,n1表示字典D1中基向量的个数,dC,1表示字典DC的第1个基向量, 表示字典DC的第nC个基向量,nC表示字典DC中基向量的个数;

根据稀疏编码的基,采用正交匹配追踪法求得音频片段内各帧的稀疏系数,具体为:根据稀疏编码的基向量矩阵D,通过正交匹配追踪法求得每个音频片段内各帧的稀疏系数;将各帧的稀疏系数转化为正数;

帧数据的稀疏系数向量表示为:

其中,si,j表示对应字典Di的第j个基向量的稀疏系数,ni表示字典Di中基向量的个数,s1,1表示对应字典D1的第1个基向量的稀疏系数, 表示对应字典D1的第n1个基向量的稀疏系数,sC,1表示对应字典DC的第1个基向量的稀疏系数, 表示对应字典DC的第nC个基向量的稀疏系数,T表示转置;

由于si,j的值可能为正值,也可能为负值,将其通过下式转换为正值,转换后的值记为ssi,j:转换后的稀疏系数向量重新记为

根据音频片段内各帧的稀疏系数,建立音频片段的稀疏系数矩阵,具体为:将音频片段内每一帧对应每个音频字典的稀疏系数求和;将求和后的系数进行归一化处理,获得音频片段内每一帧的归一化后的稀疏系数向量,音频片段内所有帧的归一化稀疏系数向量组成稀疏系数矩阵,即为基于稀疏编码的音频片段的分类信息;

对音频片段内的每个帧,将其对应字典Di(i=1,…,C)的所有稀疏系数进行相加求和,求和后的稀疏系数向量重新记为:T

s=[s1,s2,...,sC]

其中, j为字典Di的第j个基向量,ni表示字典Di中基向量的个数;ssi,j是将si,j转换为正数后的数值,si,j表示对应字典Di的第j个基向量的稀疏系数;

将si(i=1,…,C)通过下式进行归一化:

T

归一化后的稀疏系数向量重新记为s=[σ(s1),σ(s2),...,σ(sC)] ,此时,稀疏系数向量s中的所有元素之和为1;音频片段内所有帧的归一化后的稀疏系数向量所组成的稀疏系数矩阵,即为基于稀疏编码的音频片段的分类信息。

8.一种电子设备,其特征是,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成权利要求1‑6任一项方法所述的步骤。

9.一种计算机可读存储介质,其特征是,用于存储计算机指令,所述计算机指令被处理器执行时,完成权利要求1‑6任一项方法所述的步骤。