1.一种学习参与度识别方法,其特征在于,所述识别方法包括:
对获取的视频样本进行预处理,提取出多个模态下的单模态特征;
将多个模态下的单模态特征进行特征融合,得到多模态融合特征;
多模态融合特征经过全连接层降低维度并进行预测,得到多模态输出值;单模态特征映射到低维空间中,再运用线性回归得到单模态输出值;将单模态输出值和多模态输出值按照预设权重加权求和,得到融合输出值;
基于所述多模态输出值、单模态输出值和融合输出值,确定用户的学习参与度。
2.如权利要求1所述的识别方法,其特征在于,多个模态下的单模态特征包括文本特征、视频特征和音频特征;
对于文本特征,特征提取过程包括:采用预设层数的BERT预训练模型进行编码,选取最后一层中的第一个词向量作为整句表示;
对于视频特征和语音特征,特征提取过程包括:经过新增加的网络层进行预训练后,再经过单向长短期记忆网络提取时序特征,将最后一个隐藏向量作为输出,通过一层卷积层提取出的初始特征与全连接层相连,输出低维向量进入单向长短期记忆网络,得到相应的特征表示。
3.如权利要求1所述的识别方法,其特征在于,将提取出的单模态特征进行拼接,得到多模态融合特征。
4.如权利要求1所述的识别方法,其特征在于,所述单模态特征映射到低维空间中,再运用线性回归得到单模态输出值,包括:将提取出的单模态特征映射到低维度空间之后,得到单模态特征向量;将所述单模态特征向量输入至训练好的单模态分类模型,得到单模态输出值。
5.如权利要求4所述的识别方法,其特征在于,所述单模态分类模型的训练方法包括:确定不同模态表示类的类中心;基于不同模态到类中心之间的距离,以及距离与预测值之间的关系,确定单模态监督值对多模态注释的偏移量,以L1损失函数作为优化目标训练单模态分类模型。
6.如权利要求5所述的识别方法,其特征在于,所述类中心包括消极中心和积极中心,分别计算不同模态到消极中心和积极中心的距离,定义用于衡量模态表示到负中心和正中心的相对距离,基于所述相对距离,以及相对距离与预测值之间的关系,确定单模态监督值对多模态注释的偏移量。
7.如权利要求6所述的识别方法,其特征在于,使用L2归一化作为模态表示与类中心之间的距离。
8.一种学习参与度识别装置,其特征在于,包括:
特征提取模块,用于对获取的视频样本进行预处理,提取出多个模态下的单模态特征;
特征融合模块,用于将多个模态下的单模态特征进行特征融合,得到多模态融合特征;
预测模块,用于多模态融合特征经过全连接层降低维度并进行预测,得到多模态输出值;单模态特征映射到低维空间中,再运用线性回归得到单模态输出值;将单模态输出值和多模态输出值按照预设权重加权求和,得到融合输出值;
参与度确定模块,用于基于所述多模态输出值、单模态输出值和融合输出值,确定用户的学习参与度。
9.一种计算机设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的学习参与度识别方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至7任意一项所述的学习参与度识别方法的步骤。