欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022108025158
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 医学或兽医学;卫生学
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.面向智能驾驶的驾驶人声音情感识别方法,其特征在于,具体包括如下步骤:步骤1:在驾驶场景中采集不同用户在Q种不同情绪状态下的声音数据,并构建每个用户的三维声音特征数据集;

步骤2:采用聚类方法在构建的三维声音特征数据集中找到K个聚类中心{o(1),o(2),...,o(k),...,o(K)},o(k)表示第k个聚类中心,k=1,2,…,K;采用K个聚类中心训练高斯混合模型,得到与K个聚类中心对应的K个高斯混合模型{G1,G2,...,Gk,....,GK},Gk表示第k个高斯混合模型;

步骤3:使用者在初始化时输入正常情绪状态下的声音,根据该声音与每个聚类中心的距离,得到初始化时使用者输入正常情绪状态下的声音对应的最优聚类中心k*;将k*对应的高斯混合模型作为基准模型计算的性能指标步骤4:驾驶过程中实时采集使用者的声音,将当前采集到的声音输入至Gk*中,得到Q种情绪状态的概率其中q表示第q种情绪状态,q=1,2,…,Q,表示输出的第q种情绪状态的概率;记最大概率对应的情绪状态为classq*;

步骤5:计算第q种情绪状态下当前采集到的声音与所有聚类中心的最短距离;将最短距离对应的聚类中心记为对应的高斯混合模型记为得到每种情绪状态对应的聚类中心集合以及每个聚类中心对应的高斯混合模型集合将当前采集到的声音输入至中,得到输出的Q种情绪状态的概率最大概率记为最大概率对应的情绪状态记为并计算的性能指标步骤6:根据性能指标和性能指标判断当前使用者的情绪状态;

步骤1具体为:对每个用户在第q种情绪状态下的声音数据进行分帧和加窗处理;并根据如下公式计算每一帧所包含的能量:En=x(n)2*ω(n)2

其中En为第n帧的能量,x(n)为帧信号,ω(n)为汉明窗;

按照如下公式对每个用户在第q种情绪状态下的所有帧信号进行分类:

其中,t表示帧类别,t=1,2,3,4;Et表示第t个帧类别对应的帧能量的范围;

计算每个用户在第q种情绪状态下第t个帧类别的时间比例lt;

其中,Timet表示用户在第q种情绪状态下第t个帧类别总时长;

计算每个用户在第q种情绪状态下的短时平均频率a1、短时均方差频率a2和共振峰频率a3,得到用户在第q种情绪状态的融合韵律特征m:m=w1·a1+w2·a2+w3·a3

其中,w1、w2和w3均表示相对重要性;

将Q种情绪状态,用户在Q种情绪状态下第t个帧类别的时间比例lt,以及用户在第q种情绪状态下的融合韵律特征m组成用户的三维声音特征数据集;

所述步骤3中根据如下公式计算性能指标

其中,表示使用者初始化时正常情绪状态下的声音进入中得到正常情绪状态的概率,d*表示使用者初始化时输入的声音数据与最优聚类中心k*的距离;

步骤5中根据如下公式计算高斯混合模型集的性能指标

其中,表示当前使用者的声音在第q种情绪状态下与聚类中心之间的距离。

2.根据权利要求1所述的面向智能驾驶的驾驶人声音情感识别方法,其特征在于,所述步骤2中找到K个聚类中心的方法具体为:首先将所有的三维声音特征数据集作为样本;在所有的样本中随机选择K个样本作为聚类中心,然后根据如下公式计算第i个样本到第k个聚类中心的距离d(i,k):其中,liqt为第i个样本对应的用户在第q种情绪状态下的第t个帧类别时间比例,lkqt为第k个聚类中心对应的用户在第q种情绪状态下的第t个帧类别时间比例;miq为第i个样本对应的用户在第q种情绪状态下的融合韵律特征,mkq为第k个聚类中心对应的用户在第q种情绪状态下的融合韵律特征,liqs为第i个样本对应的用户在第q种情绪状态下声音数据的短时平均能量;

评估每个样本到聚类中心的距离,并将样本分配到与该样本距离最近的聚类中心所属的簇中,然后更新各个簇的聚类中心,得到新的聚类中心,并计算每个样本与新的聚类中心的距离,直至迭代次数大于预设的次数,最后得到最后的K个聚类中心的集合{o(1),o(2),...o(K)}。

3.根据权利要求1所述的面向智能驾驶的驾驶人声音情感识别方法,其特征在于,所述步骤2中采用K个聚类中心训练高斯混合模型,得到与K个聚类中心对应的K个高斯混合模型,具体为:根据如下公式采用K-means算法初始化一组参数:

θd={αd,μd,σd}

其中,D为高斯子模型的数量,θd为第d个高斯子模型的参数,d=1,2,…,D,μd为第d个高斯子模型的均值,σd为第d个高斯子模型的方差,αd为第d个高斯子模型的标准差;

计算θd来自第d个高斯子模型的概率γd:

其中,xq为第q种情绪状态的三维声音特征向量,Φ(xq|θd)为第d个高斯子模型的输入特征向量为xq时得到的高斯密度函数;

再根据概率γd,计算新的参数值计算的值,如果小于阈值则终止迭代计算;否则,用新参数替代旧参数并开始迭代,直至最后得到的参数值与上一次迭代计算得到的参数指的差值的绝对值小于预设的阈值;最终得到第k个高斯混合模型Gk的表达式为:

4.根据权利要求1所述的面向智能驾驶的驾驶人声音情感识别方法,其特征在于,所述步骤3中根据如下公式计算使用者在初始化时输入正常情绪状态下的声音与每个聚类中心的距离d1(∧,o(k)):其中,∧代表使用者,l∧1t为使用者初始化时正常情绪状态下的第t个帧类别时间比例,lo(k)1t为第k个聚类中心在正常情绪状态下的第t个帧类别时间比例,l∧1s为使用者初始化时正常情绪状态下声音数据的短时平均能量,m∧1为使用者初始化时正常情绪状态下的融合韵律特征,mo(k)1为第k个聚类中心在正常情绪状态下的融合韵律特征。

5.根据权利要求1所述的面向智能驾驶的驾驶人声音情感识别方法,其特征在于,所述步骤5具体为:假设当前采集到的使用者的声音对应第q种情绪状态,按照如下公式计算当前声音数据到所有聚类中心的距离dq(∧c,o(k)):其中,∧c表示当前使用者,为当前使用者在第q种情绪状态下的第t个帧类别的时间比例,lo(k)qt为第k个聚类中心在第q种情绪状态下的第t个帧类别的时间比例,为当前使用者在第q种情绪状态下声音数据的短时平均能量,为当前使用者在第q种情绪状态下的融合韵律特征,mo(k)q为第k个聚类中心在第q种情绪状态下的融合韵律特征。

6.根据权利要求1所述的面向智能驾驶的驾驶人声音情感识别方法,其特征在于,所述步骤6中具体为:将高斯混合模型集合中每个高速混合模型的性能指标组成性能集合

在和性能集合中,选择最大的性能指标,记为OP*;根据如下公式判断当前用户的情绪状态qend: