欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019104471730
申请人: 湖南师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于小波神经网络的语言智能辅助学习系统,其特征在于,包括学生端系统(1)、教师端系统(2);所述学生端系统(1)包括微处理器ARM(101)、面部摄像头(102)、脑电传感器(103)、话筒(104)、通信模块(105)、存储器(106)、触摸屏(107)、电源模块(108),微处理器ARM(101)与面部摄像头(102)、脑电传感器(103)、话筒(104)、通信模块(105)、存储器(106)、触摸屏(107)、电源模块(108)相连;面部摄像头(102)用于捕捉学生的面部图像,并发送至微处理器ARM(101);脑电传感器(103)用于采集学生的脑电信号,并发送至微处理器ARM(101);话筒(104)用于采集学生的语音信号,并发送至微处理器ARM(101);通信模块(105)用于学生端系统(1)与教师端系统(2)的数据通信,微处理器ARM(101)将采集的面部图像、脑电信号和语音信号转换为面部表情信息、脑电专注度信息和语音情感信息,通过通信模块(105)发送至教师端系统(2);存储器(106)用于存储学生端的配置数据;触摸屏(107)用于I/O交互;电源模块(108)为整个学生端系统(1)供电;所述教师端系统(2)包括微处理器ARM(201)、小波神经网络模块(202)、通信模块(203)、存储器(204)、触摸屏(205)、高清摄像头(206)、话筒(207)、电源模块(208),微处理器ARM(201)与小波神经网络模块(202)、通信模块(203)、存储器(204)、触摸屏(205)、高清摄像头(206)、话筒(207)、电源模块(208)相连;微处理器ARM(201)通过小波神经网络模块(202)对面部表情信息、脑电专注度信息和语音情感信息进行处理,得到学生的学习情绪、学习状态和学习纪律指标;通信模块(203)用于学生端系统(1)与教师端系统(2)的数据通信;存储器(204)用于存储教师端的配置数据;触摸屏(205)用于I/O交互,输出当前的学生状态指标;高清摄像头(206)用于采集教师的教学视频;话筒(207)用于采集教师的教学语音;教学视频、教学语音通过通信模块(203)传输至学生端系统(1),通过触摸屏(107)播放,供学生进行语言学习;电源模块(208)为整个教师端系统(2)供电。2.根据权利要求1所述的基于小波神经网络的语言智能辅助学习系统,其特征在于,所述通信模块为4G模块。3.根据权利要求1所述的基于小波神经网络的语言智能辅助学习系统,其特征在于,所述电源模块为可充电的二次电池。4.根据权利要求1所述的基于小波神经网络的语言智能辅助学习系统,其特征在于,所述触摸屏用于播放视频、语音数据,也用于接收用户的操作指令并上传至微处理器ARM。5.一种基于小波神经网络的语言智能辅助学习方法,其特征在于,包括以下步骤:步骤一、学生端系统通过话筒采集学生的语音信号,通过脑电传感器采集学生的脑电信号,通过面部摄像头采集学生的面部图像信息,获取学生的面部图像信息、脑电信号和语音信号;步骤二、学生端微处理器ARM对语音信号进行情感分析,对面部图像信息进行表情识别,对脑电信号进行专注度分析,得到面部表情信号、脑电专注度信号和语音情感信号,并发送至教师端系统;步骤三、建立小波神经网络,根据面部表情信号、脑电专注度信号和语音情感信号标注学生的学习情绪、学习状态和学习纪律指标三种输出指标,采集足够的训练样本;步骤四、根据训练样本进行神经网络训练,直至小波神经网络收敛;步骤五、实时接收学生的采集数据,并分析输出当前学生的学习情绪、学习状态和学习纪律指标,教师根据以上指标调整课堂上的教学计划和教学方法。6.根据权利要求5所述的基于小波神经网络的语言智能辅助学习方法,其特征在于,所述步骤二中,采用支持向量机(SVM)算法,对语音信号进行情感分析,对面部图像信息进行表情识别,对脑电信号进行专注度分析,得到面部表情信号、脑电专注度信号和语音情感信号。7.根据权利要求5所述的基于小波神经网络的语言智能辅助学习方法,其特征在于,所述步骤三中,小波神经网络对面部表情信号、脑电专注度信号和语音情感信号进行综合分析,采用人工标注的方法:根据现场学生的反馈,组织有经验的老师对数据进行标注,得到学生的学习情绪、学习状态和学习纪律指标,小波神经网络的输入输出指标分布如下表所示:

8.根据权利要求5所述的基于小波神经网络的语言智能辅助学习方法,其特征在于,所述步骤三中,所述小波神经网络采用超权衰减误差回传算法(HWDBP)进行训练,进而提高网络的泛化能力,在超权衰减误差回传算法中,泛化误差函数定义为:

式(1)中t是当前迭代次数,G(t)为泛化误差函数,r为正则化系数,E(t)为误差项,B(t)为超权衰减项,分别定义为:B(t)=∑Θ(t)2/(1+Θ(t)2)        (2)式(2)中,l为样本数量,Ol(t)为神经网络预测结果,包括学习情绪、学习状态和学习纪律三个指标,为对应样本标记结果;Θ代表了小波神经网络的参数;超权衰减机制能

够增强神经网络的泛化能力,提高神经网络在小样本条件下的预测性能;小波神经网络的输出定义为:式(3)中k为小波神经网络中小波节点的数量,uk为归一化激励强度,为小波基

函数,采用Morlet母小波ak与bk分别为小波基函数的尺

度参数和位移参数,wjk为小波神经网络的权值,zj为输入信号,包括面部表情信息、脑电专注度信息和语音情感信息。9.根据权利要求8所述的基于小波神经网络的语言智能辅助学习方法,其特征在于,所述HWDBP算法的更新规则如下:Θ(t+1)=Θ(t)+ΔΘ                                 (4)式(4)中代表wjk,uk,ak和bk的梯度,计算公式分别为:式中为的一阶导数。