欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2017112000487
申请人: 桂林电子科技大学
专利类型:发明专利
专利状态:未下证
专利领域: 乐器;声学
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种文本相关的英语口语发音错误检测与质量评分方法,其特征是:包括一个由顺序连接的英语口语发音预处理模块、英语口语发音错误检测模块和英语口语发音质量评分模块组成的处理方法,其具体的处理方法如下:(1)英语口语发音预处理模块的处理方法是:第一,读入一句待测发音,对它们进行预加重、分帧加窗、解码、离散傅里叶变换、梅尔滤波、取对数、离散余弦变换和差分提取;第二,输出待测发音的声学特征,作为该英语口语发音预处理的结果;

(2)英语口语发音错误检测模块的处理方法是:第一,读入待测发音的声学特征,进行发音识别;第二,根据公式计算各发音帧每个音素的发音标准度得分;第三,输出各发音帧每个音素的发音标准度得分,并进行错误判决;

(3)英语口语发音质量评分模块的处理方法是:第一,读入各发音帧每个音素的发音标准度得分和发音识别结果;第二,根据各发音帧每个音素的发音标准度得分计算整个发音的发音标准度得分,并根据识别结果计算语速、段时长和静音时长等评分特征;第三,对整个发音的发音标准度得分、语速、段时长和静音时长等评分特征进行拟合调整和映射评分,输出该句子发音的初始得分;第四,分别建立5类多层感知器神经网络分类器,把调整之后的4个评分特征输入到5类分类器中,计算5类分类器的输出值和该句子发音的最终得分,并输出该句子发音的最终得分和相应评语。

2.根据权利要求1所述的处理方法,其特征是:所述的英语口语发音预处理模块处理方法的步骤如下:P201开始;

P202读入待测发音;

P203对待测发音进行预加重;

P204对待测发音进行分帧加窗;

P205读入待测发音对应的文本;

P206加载发音词典和语法模型;

P207将待测发音对应的文本扩展成识别网络;

P208加载声学模型;

P209对分帧加窗后的待测发音进行搜索解码;

P210获取待测发音对应的音素序列及其时间边界;

P211对各音素边界内的发音帧进行离散傅里叶变换;

P212创建一组梅尔滤波器,使经离散傅里叶变换后输出的频率变为梅尔刻度频率,信号频谱经过梅尔滤波器组后得到对应的梅尔谱;

P213取对数,将梅尔谱转化为对数形式;

P214对梅尔谱做离散余弦变换得到梅尔倒谱系数;

P215对梅尔倒谱系数进行差分提取,得到当前倒谱系数的一阶和二阶差分系数,并将其作为当前发音帧的声学特征向量,从而得到当前发音帧的声学特征,输出待测发音的声学特征;

P216结束。

3.根据权利要求1所述的处理方法,其特征是:所述的英语口语发音错误检测模块的计算公式如下:(1)似然度的计算公式

在计算公式(1)中,似然度是指模型参数与观测数据之间相似性,t1表示音素的起始时间,t2表示音素的结束时间;

(2)音素发音帧的发音标准度得分的计算公式

在计算公式(2)中,各音素发音帧的发音标准度得分是指识别出的发音帧中当前待测音素的概率值,这个概率值反映了当前待测音素的发音标准程度;观察矢量v是指当前待测音素所对应的发音帧的声学特征;似然度是指当前待测音素所对应的发音帧通过隐马尔科夫模型计算得出的条件概率值,由计算公式(1)计算得出。

4.根据权利要求1或3所述的处理方法,其特征是:所述的英语口语发音错误检测模块处理方法的步骤如下:P301开始;

P302读入待测发音的声学特征;

P303加载经最大似然线性回归自适应和最大后验概率自适应调整后的改进型声学模型、发音词典、语法模型;

P304对待测发音的声学特征进行发音识别;

P305加载经最大似然线性回归自适应的声学模型;

P306根据计算公式(1)和计算公式(2)计算各音素发音帧的发音标准度得分,输出各音素发音帧的发音标准度得分;

P307判断各音素发音帧的发音标准度得分是否大于系统阈值,若各音素发音帧的发音标准度得分大于系统阈值,转P308操作,否则转P309操作;

P308标记该音素为正确的发音;

P309标记该音素为错误的发音;

P310结束。

5.根据权利要求1所述的处理方法,其特征是:所述的英语口语发音质量评分模块的计算公式如下:(3)句子发音标准度得分的计算公式

在计算公式(3)中,句子发音标准度得分是指当前句子中各个音素发音帧的发音标准度得分的平均值,反映了当前句子的发音标准程度;i=1,2,3,…,n,i是指句子中每个音素对应的序号,n是指发音中的音素总数;句子中各音素发音帧i的发音标准度得分是指当前句子中第i个音素发音帧的发音标准度得分,由计算公式(2)计算得出;

(4)语速的计算公式

在计算公式(4)中,语速是指说话人的发音速度;

(5)音素段时长的计算公式

在计算公式(5)中,音素段时长是指发音中音素的持续时间,是衡量说话人的发音是否清晰的指标;i=1,2,3,…,n,i是指句子中包含的每个音素对应的序号,n是指发音包含的音素总数;exp是指以自然常数e为底的指数函数;语速由计算公式(4)计算得出;待测音素i持续时间是指发音中第i个待测音素的持续时间;待测音素i段时长均值是指发音中第i个待测音素的的段时长均值,它是通过将所有标准发音样本中所有音素持续时间的总和与标准发音样本总数相除得到的;待测音素i段时长方差是指发音中第i个待测音素的段时长方差,它是通过将每个标准发音样本中当前待测音素的持续时间减去其对应的段时长均值的平方和,并将该平方和与标准发音样本总数相除得到;

(6)静音时长的计算公式

在计算公式(6)中,静音时长是指说话人在发音期间出现的停顿时间,是衡量说话人的发音是否连贯的一个指标;

(7)调整后句子发音标准度得分、调整后语速、调整后音素段时长和调整后静音时长的计算公式在计算公式(7)中,句子发音标准度得分多项式系数、语速多项式系数、音素段时长多项式系数和静音时长多项式系数由计算公式(8)求得;初始句子发音标准度得分通过计算公式(3)计算得到;初始语速通过计算公式(4)计算得到;初始音素段时长通过计算公式(5)计算得到;初始静音时长通过计算公式(6)计算得到;

(8)句子发音标准度得分多项式系数、语速多项式系数、音素段时长多项式系数和静音时长多项式系数的计算公式在计算公式(8)中,是求偏导的数学符号,r=1,2,3,…,k,r是指训练集中的每个样本的序号,k表示训练集中的样本总数;样本r句子发音标准度得分人工评分是指教师给第r个样本的句子发音标准度打的分数、样本r语速人工评分是指教师给第r个样本的语速打的分数、样本r音素段时长人工评分是指教师给第r个样本的音素段时长打的分数、样本r静音时长人工评分是指教师给第r个样本的静音时长打的分数;样本r调整后句子发音标准度得分、样本r调整后语速、样本r调整后音素段时长和样本r调整后静音时长由计算公式(7)计算得出;

(9)句子发音初始得分的计算公式

句子发音初始得分

=句子发音标准度得分线性回归系数×调整后句子发音标准度得分+语速线性回归系数×调整后语速+音素段时长线性回归系数×调整后音素段时长+静音时长线性回归系数×调整后静音时长(9)

在计算公式(9)中,句子发音标准度得分线性回归系数、语速线性回归系数、音素段时长线性回归系数、静音时长线性回归系数由计算公式(10)求得;调整后句子发音标准度得分、调整后语速、调整后音素段时长和调整后静音时长由计算公式(7)计算得出;

(10)线性回归系数的计算公式

在计算公式(10)中,是求偏导的数学符号,r=1,2,3,…,k,r是指训练集中的每个样本的序号,k表示训练集中的样本总数;样本r句子发音得分人工评分是指教师给第r个样本的句子发音打的分数;样本r句子发音初始得分由计算公式(9)计算得出;

(11)隐层节点输出值的计算公式

在计算公式(11)中,exp是高等数学里以自然常数e为底的指数函数;i=1,2,3,4,i是指输入向量的维数,输入向量为调整后的句子发音标准度得分、语速、音素段时长和静音时长,由计算公式(7)计算得出;输入层节点i是指第i个输入层节点,输入层节点i与隐层第一个节点连接权值是由反向传播计算通过训练样本训练得到;

(12)神经网络分类输出值的计算公式

在计算公式(12)中,exp是高等数学里以自然常数e为底的指数函数;j=1,2,3,j是指隐层节点的序号;隐层节点j是指第j个隐层节点,隐层节点j到输出层各节点连接权值是由反向传播计算通过训练样本训练得到;隐层节点j输出值由计算公式(11)计算得出;

(13)句子发音最终得分的计算公式

句子发音最终得分=3.3×(神经网络分类最大输出值-0.7)+(神经网络分类最优索引-1)  (13)在计算公式(13)中,神经网络分类最大输出值是通过上述计算公式(12)计算得到的神经网络分类输出值中最大的值;神经网络分类最优索引是指输出值最大的神经网络分类的序号。

6.根据权利要求1或5所述的处理方法,其特征是:所述的英语口语发音质量评分模块处理方法的步骤如下:P401开始;

P402读入各音素发音帧的发音标准度得分;

P403根据计算公式(3)计算句子发音标准度得分;

P404根据计算公式(4)计算语速;

P405根据计算公式(5)计算音素段时长;

P406根据计算公式(6)计算静音时长;

P407拟合调整句子发音标准度得分、语速、音素段时长、静音时长等评分特征,根据计算公式(7)和计算公式(8)计算调整后句子发音标准度得分、调整后语速、调整后音素段时长和调整后静音时长;

P408将调整后句子发音标准度得分、调整后语速、调整后音素段时长和调整后静音时长融合,并进行映射变换,根据计算公式(9)和计算公式(10)计算得到句子发音初始得分,输出初始得分;

P409分别建立5类多层感知器神经网络分类器,并把调整后句子发音标准度得分、调整后语速、调整后音素段时长和调整后静音时长分别输入到5类神经网络分类器中,根据计算公式(11)和计算公式(12)计算这5类神经网络器的输出值,输出5类神经网络器的输出值;

P410获取5类神经网络器的最大输出值,并将输出值最大的神经网络分类器的序号记为最优索引,输出最大输出值、最优索引;

P411判断最大输出值是否大于0.7,如果最大输出值大于0.7,转P412操作,否则转P413操作;

P412判断初始得分是否小于最优索引减1,如果初始得分小于最优索引减1,转P414操作,否则转P415操作;

P413将初始得分记为句子发音的最终得分;

P414根据计算公式(13)计算句子发音的最终得分;

P415判断初始得分是否大于最优索引,如果初始得分大于最优索引,转P416操作,否则转P413操作;

P416将最优索引记为句子发音的最终得分;

P417得到句子发音的最终得分和相应的评语;

P418结束。