欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022100705577
申请人: 南通理工学院
专利类型:发明专利
专利状态:已下证
专利领域: 医学或兽医学;卫生学
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度学习的语音检测疲劳度方法,其特征在于:包括下列步骤:一、采集运动受试者在运动过程中不同时间的语料,建立存储语料的语料库,其中要有受试者完成从运动开始到运动的稳定状态结束这一身体机能状态变化的完整过程;

二、进行疲劳等级划分并对语料库中的语料进行加工标记,所述标记中的信息包括采集时间和疲劳等级;

三、对所标记语料进行数据预处理;

四、提取语料库中语料的多个声学特征参数,声学特征参数包括MFCC和喘息段时长;

五、建立BLSTM神经网络模型,利用提取的声学特征参数对其进行训练得到疲劳分析模型;同时建立分段分析模型用于根据喘息段时长数据的变化规律对运动过程中运动者的身体机能状态进行分段,并根据分段对疲劳分析模型进行修正;

六、对待检测的使用者进行语料采集,对得到的语料进行预处理和特征提取;

七、将上一步得到的多种声学特征参数输入疲劳分析模型输出使用者当前的疲劳等级,进行分析时,首先将喘息段时长作为输入,通过分段分析模型确定身体机能状态,再依据身体机能状态确定分段修正值,最后将多种声学特征参数输入疲劳分析模型获得最终的疲劳等级。

2.根据权利要求1所述的一种基于深度学习的语音检测疲劳度方法,其特征在于:步骤五中,身体机能状态的阶段包括极点前、极点状态、稳定状态和稳定状态后,据此对相应状态下的声学特征参数与疲劳度之间的关系进行分段分析;对于不同强度的运动,在稳定状态中分为真稳定状态和假稳定状态分别进行分析。

3.根据权利要求1或2所述的一种基于深度学习的语音检测疲劳度方法,其特征在于:所述BLSTM神经网络模型采用引入注意力机制的BLSTM神经网络对语音段进行深度学习后利用softmax函数进行分类;对于每个时刻的输入xt,都会有两个相反方向的LSTM与其连接,当前时刻的输出为两个LSTM的组合;

一般的记忆单元包含三个门结构:遗忘门、输入门和输出门,LSTM能够通过三个门结构确定输入信息的保留和丢弃,实现输入信息的循环更新;

输入序列xt经过遗忘门的作用决定保留和忘记信息,信息的保留和忘记通过一个sigmoid函数来判断,若sigmoid值为0,则丢弃全部信息;若为1,则保留所有信息,其计算公式如下:ft=σ(Wf[xt,ht‑1]+bf)  (1)

其中,xt是t时刻的输入,ft表示遗忘门在t时刻的输出,σ表示sigmoid函数,Wf表示遗忘门的权重,bf为偏置;

输入门的计算公式为:

it=σ(Wi[xtht‑1]+bi) (2)

gt=tanh(Wg[xt,ht‑1]+bg) (3)

其中,it为t时刻的输出,能够确定更新的信息,gt为候选细胞信息;

输出门确定输出信息,通过sigmoid函数确定将哪些信息输出,计算公式为:ot=σ(Wo[xt,ht‑1]+bo) (4)

细胞状态ct经过tanh函数作用后的输出和输出门的输出的Hadamard乘积为隐藏层在t时刻的输出ht,计算公式为:ct=ft⊙ct‑1+it⊙gt  (5)

ht=ot⊙tanh(ct) (6)

其中,⊙表示Hadamard乘积;

BLSTM的计算公式如下:

ht=ot⊙tanh(ft⊙ct‑1+it⊙gt) (7)h′t=o′t⊙tanh(ft′⊙v′t+1+i′t⊙g′t) (8)公式中的ht和h′t分别表示正向和反向LSTM的隐藏层输出。

4.根据权利要求3所述的一种基于深度学习的语音检测疲劳度方法,其特征在于:所述声学特征参数还包括语音段短时平均能量、语音段短时平均过零率、语音段语速、回答反应时长和基频,其中MFCC、语速、喘息段时长这些特征会被Attention机制分配更多的权重来加深模型记忆;

Ot为BLSTM网络输出的第t个特征向量,将其输入注意力机制隐藏层得到初始状态向量st,而后与权重系数αt对应相乘并累加求和得到最终输出的状态向量Y,计算公式如下:et=tanh(wtst+bt) (9)

式中:et表示第t个特征向量的状态向量st所确定的能量值;wt表示第t个特征向量的权重系数矩阵;bt表示第t个特征向量相对应的偏移量,根据式(10)可以实现由输入初始状态到新的注意力状态的转换,之后通过式(11)得到最终输出的状态向量Y,最后将Y与Dense层整合在一起作为一个输出值输入到最后的输出层;

输出层的输入为隐含层中Attention机制层的输出,利用多分类Softmax函数对输出层的输入进行相应计算从而得出疲劳度分类,具体公式为:yk=softmax(w1Y+b1) (12)

其中:w1表示Attention机制层到输出层需要训练的权重系数矩阵;b1表示需要训练的对应偏置;yk为输出层的输出预测标签。

5.根据权利要求4所述的一种基于深度学习的语音检测疲劳度方法,其特征在于:步骤五中,从语料库中随机选择80%的样本作为训练集,将提取好的声学特征参数输入BLSTM网络进行训练,然后输入Softmax分类器进行语音疲劳度检测。

6.根据权利要求1所述的一种基于深度学习的语音检测疲劳度方法,其特征在于:步骤二中,所述标记中的信息还包括语料种类编号、受试者编号和受试者年龄,受试者编号能表示受试者性别。

7.根据权利要求1所述的一种基于深度学习的语音检测疲劳度方法,其特征在于:步骤一包含前期建立SUSP‑SFD运动疲劳语料库,采用双声道录制,采样频率为48kHz,选取人数相等的男性和女性受试者,均为30人,每位受试者录制4~7条与运动疲劳相关的语料。

我要求购
我不想找了,帮我找吧
您有专利需要变现?
我要出售
智能匹配需求,快速出售