欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022106202317
申请人: 南京工程学院
专利类型:发明专利
专利状态:已下证
专利领域: 乐器;声学
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于听损分类的助听器语音质量自评价方法,其特征在于,包括如下步骤:

S1:构建包括帧级特征提取网络、听损分类子网络、质量预测子网络的助听器语音质量自评价网络;

S2:将待测语音的浅层特征输入至帧级特征提取网络中,从而获得帧级特征;

S3:将获得的帧级特征输入至听损分类子网络中,得到失真语音补偿前听力损失程度的分类情况;

S4:将获得的帧级特征同时输入至质量预测子网络中,得到质量评分的预测值。

2.如权利要求1所述的基于听损分类的助听器语音质量自评价方法,其特征在于,S2中将待测语音的浅层特征输入至帧级特征提取网络中,从而获得帧级特征,具体过程为:基于助听器处理后信号计算浅层特征,利用帧级特征提取网络学习失真信号的深层表示,从而获得帧级特征,其中帧级特征提取网络由卷积神经网络构成。

3.如权利要求2所述的基于听损分类的助听器语音质量自评价方法,其特征在于,S2具体过程中基于助听器处理后信号计算浅层特征为:该特征表示各帧在Gammatone滤波器各通道内的平均滤波器组能量,其中S表示失真信号经分帧加窗后在听觉频率尺度上的短时对数幅度谱,c、t、n分别为Gammantone滤波器组的通道数C、帧数T、帧长N,最终失真信号浅层特征的形状为T×32。

4.如权利要求3所述的基于听损分类的助听器语音质量自评价方法,其特征在于,用于帧级特征提取网络的卷积神经网络由4组卷积网络堆叠而成,其中每组卷积网络依次包含一个二维卷积层,一个批标准化层和一个PReLU激活函数层;各组二维卷积层的输出特征数依次为8、8、16、16,卷积核大小依次为[5,5]、[5,5]、[3,5]、[3,5],卷积步长依次为[1,1]、[1,2]、[1,2]、[1,2],填充宽度依次为[2,2]、[2,2]、[1,2]、[1,2];失真信号的浅层特征经卷积神经网络提取出的帧级特征形状表示为16×T×4,其中T为帧数T。

5.如权利要求3所述的基于听损分类的助听器语音质量自评价方法,其特征在于,S3中将获得的帧级特征输入至听损分类子网络中,得到失真语音补偿前听力损失程度的分类情况,过程为:将形状重置后的帧级特征先进行全局平均得到段级特征,然后通过一组经过批标准化后的全连接层和Softmax层,得到失真语音补偿前听力损失程度的分类情况,其中听损分类子网络由一组经过批标准化后的全连接层和Softmax层构成。

6.如权利要求5所述的基于听损分类的助听器语音质量自评价方法,其特征在于,S3中将获得的帧级特征输入至听损分类子网络中,得到失真语音补偿前听力损失程度的分类情况,具体过程为:S31:将提取出的帧级特征先进行形状重置,生成T×64的特征,其中T为帧数T,再将形状重置后的帧级特征进行全局平均,达到段级特征;

S32:将段级特征输入至听损分类子网络的两个全连接层,其中听损分类子网络由两个全连接层和一个Softmax层堆叠而成,每个全连接层的输出都经过一个批标准化层,其中第一个批标准化层的输出经ReLU函数激活后送入第二个全连接层,第二个批标准化层的输出作为两个全连接层的最终输出被送入Softmax层;段级特征经过两个全连接层的最终输出是长度为Nl的向量,Nl表示听损程度的总分类个数;

S33:将两个全连接层的最终输出送入Softmax层:两个全连接层输出的是长度为Nl的向量,经Softmax层给出了失真语音补偿前听力损失程度的分类情况,具体表示为:式中 表示送入Softmax层的语音特征,下标i表示听损程度分类的级别,

i∈{1,2,...,Nl},oi(z)表示针对输入的语音特征Softmax层对每一个听损程度分类的预测概率。

7.如权利要求3所述的基于听损分类的助听器语音质量自评价方法,其特征在于,S4中将获得的帧级特征同时输入至质量预测子网络中,得到质量评分的预测值,过程为:将形状重置后的帧级特征先通过结合自注意力机制的循环神经网络得到段级特征,这个段级特征再通过一个全连接层映射得到质量评分的预测值,其中质量预测子网络由循环神经网络、注意力机制层和一个经过激活的全连接层构成。

8.如权利要求7所述的基于听损分类的助听器语音质量自评价方法,其特征在于,S4中将获得的帧级特征同时输入至质量预测子网络中,得到质量评分的预测值,具体过程为:S41、将帧级特征进行形状重置,生成T×64的帧级特征,其中T帧数T;

S42、形状重置后的帧级特征送入结合注意力机制的循环神经网络得到段级特征:采用BiLSTM学习时序数据的双向依赖性,采用注意力机制补偿BiLSTM输出的隐层状态中可能存在的信息损失;

S43、结合注意力机制的循环神经网络输出的段级特征送入全连接层映射得到质量评分的预测值,段级特征通过该全连接层后经sigmoid函数激活后给出最终预测的质量分数。

9.如权利要求8所述的基于听损分类的助听器语音质量自评价方法,其特征在于,其中BiLSTM的输入特征维数和隐层状态维数都设定为64,则输出特征位T×64,其中T帧数T,注意力机制对BiLSTM双向输出的各时间步都计算经注意力权重向量加权后的隐层状态输出,前向传播的第m个时间步时,注意力机制对其的输出为:式中,m表示当前时间步, 为第i时间步的隐藏输出列向量,上标f表示正

向计算, 表示第i的时间步对当前时间步m的注意力权重向量,计算如下:

式中Wa为可学习的权重矩阵,M为时间步的个数,上标T表示矩阵转置;最终结合注意力机制的循环神经网络输出的段级特征是一个长度为128点的向量。

10.如权利要求1所述的基于听损分类的助听器语音质量自评价方法,其特征在于,助听器语音质量自评价网络利用助听器语音质量指标为标签的训练数据进行训练,损失函数由质量预测子网络和听损分类子网络的损失函数加权组合而成;其中利用助听器语音质量指标为标签的训练数据进行训练的具体过程为:在训练过程中计算语音质量自评估网络的损失函数,直至损失函数值小于阈值完成训练;所述语音质量自评估网络的损失函数由质量预测子网络和听损分类子网络的损失函数加权组合而成,权重因子β调节听损分类子网络在语音质量自评价网络中的重要性程度:Loss=(1‑β)Lossscore+βLosslevel

其中,Lossscore表示质量预测子网络的损失函数,具体表示为:

Losslevel表示听损分类子网络的损失函数,具体表示为:

其中,oi表示Softmax分类器对第i个听损程度的预测概率,Nl表示听损程度的总分类个数,leveli表示第i个听损程度的真实概率,由听损程度分类等级转变而成:式中level表示听损程度分类等级,由500Hz、1kHz、2kHz和4kHz的平均听阈损失avgHL计算得到,具体表示为:式中ceil表示向下取整,level为1~Nl之间的整数。