欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022103672861
申请人: 山东师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-11-18
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种学习参与度识别方法,其特征在于,所述识别方法包括:

对获取的视频样本进行预处理,提取出多个模态下的单模态特征;

将多个模态下的单模态特征进行特征融合,得到多模态融合特征;

多模态融合特征经过全连接层降低维度并进行预测,得到多模态输出值;单模态特征映射到低维空间中,再运用线性回归得到单模态输出值;将单模态输出值和多模态输出值按照预设权重加权求和,得到融合输出值;

基于所述多模态输出值、单模态输出值和融合输出值,确定用户的学习参与度。

2.如权利要求1所述的识别方法,其特征在于,多个模态下的单模态特征包括文本特征、视频特征和音频特征;

对于文本特征,特征提取过程包括:采用预设层数的BERT预训练模型进行编码,选取最后一层中的第一个词向量作为整句表示;

对于视频特征和语音特征,特征提取过程包括:经过新增加的网络层进行预训练后,再经过单向长短期记忆网络提取时序特征,将最后一个隐藏向量作为输出,通过一层卷积层提取出的初始特征与全连接层相连,输出低维向量进入单向长短期记忆网络,得到相应的特征表示。

3.如权利要求1所述的识别方法,其特征在于,将提取出的单模态特征进行拼接,得到多模态融合特征。

4.如权利要求1所述的识别方法,其特征在于,所述单模态特征映射到低维空间中,再运用线性回归得到单模态输出值,包括:将提取出的单模态特征映射到低维度空间之后,得到单模态特征向量;将所述单模态特征向量输入至训练好的单模态分类模型,得到单模态输出值。

5.如权利要求4所述的识别方法,其特征在于,所述单模态分类模型的训练方法包括:确定不同模态表示类的类中心;基于不同模态到类中心之间的距离,以及距离与预测值之间的关系,确定单模态监督值对多模态注释的偏移量,以L1损失函数作为优化目标训练单模态分类模型。

6.如权利要求5所述的识别方法,其特征在于,所述类中心包括消极中心和积极中心,分别计算不同模态到消极中心和积极中心的距离,定义用于衡量模态表示到负中心和正中心的相对距离,基于所述相对距离,以及相对距离与预测值之间的关系,确定单模态监督值对多模态注释的偏移量。

7.如权利要求6所述的识别方法,其特征在于,使用L2归一化作为模态表示与类中心之间的距离。

8.一种学习参与度识别装置,其特征在于,包括:

特征提取模块,用于对获取的视频样本进行预处理,提取出多个模态下的单模态特征;

特征融合模块,用于将多个模态下的单模态特征进行特征融合,得到多模态融合特征;

预测模块,用于多模态融合特征经过全连接层降低维度并进行预测,得到多模态输出值;单模态特征映射到低维空间中,再运用线性回归得到单模态输出值;将单模态输出值和多模态输出值按照预设权重加权求和,得到融合输出值;

参与度确定模块,用于基于所述多模态输出值、单模态输出值和融合输出值,确定用户的学习参与度。

9.一种计算机设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的学习参与度识别方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至7任意一项所述的学习参与度识别方法的步骤。