欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020106722806
申请人: 山东科技大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于依赖关系嵌入与神经注意力网络的推荐方法,其特征在于:首先进行如下定义:定义1:课程语料;

课程语料是从m门课程中提取的视频字幕的集合,用A={Ai}i=1,2,...,m表示,其中Ai表示第i门课程;而课程 由 个视频组成,其中 表示课程Ai中的第j个视频;每个视频都由字幕文本和序列信息组成;

定义2:课程概念;

课程概念是用C={ci}i=1,2,...,t表示的一组概念,其中ci是从A中提取的用于表示特定课程中需要学习的概念; 和 分别表示课程Ai中的概念和第i个视频 ci被定义为A中的一个N元短语并满足如下条件:1)ci应该是语义和句法正确的短语;2)ci应该代表某门课程的学习内容;

定义3:概念级依赖关系;

概念级依赖关系实质上是两个概念的学习顺序;给定来自A的两个课程概念c1和c2,如果用户想要学习c2,则需要先学习c1;在这种情况下,c1和c2之间存在依赖关系,用<ci,cj>表示;具体而言,c1是c2的前置概念,c2是c1的后续概念;

定义4:课程级依赖关系;

课程级依赖关系是概念级依赖关系的扩展,反映的是课程学习的先后顺序,A的两个课程A1和A2,如果ci∈A1,cj∈A2且ci是cj的前置概念,那么可以得到A1和A2之间的课程级依赖关系,用<A1,A2>表示;所有课程之间的依赖关系构成一个课程级依赖关系矩阵G;

定义5:慕课课程推荐;

令U={ui}i=1,2,...,k表示用户集,其中ui是第i个用户;将用户ui的已选修的课程视为其选修记录,用 表示; 表示用户ui尚未选修的课程的集合;R表示所有用户选修记录的0‑

1矩阵;矩阵元素ruj=1表示用户ui选修了课程Aj;慕课推荐的目标是推荐一个课程列表其中的课程是根据用户ui可能选修的概率来排序;

该方法具体包括如下步骤:

步骤1:提取概念级依赖关系;

在课程开始的时候,视频中大多出现的是前置概念;随着课程的进行,大量后续概念被介绍;因此,概念出现的位置越靠前,它是前置概念的概率就越大;

定义了概念位置特征Ps,如公式(2)所示:其中,A(c1,c2)表示c1和c2同时出现时的一组课程; 表示出现概念c1的视频的序号;

当老师在介绍一个概念时常常会提及它的前置概念,反之则不会;也就是说,有些前置概念会出现在课程靠后的位置,相对来说后续概念基本不会出现在课程靠前的位置;

定义了概念分布特征Ds,如公式(3)所示:其中,Ai∈A(c1,c2);

表示c1在 中的频率; 表示c1是否出现在视频 中,如果出现,则否则

前置概念会出现在更多的视频中,存活时间也更长;

定义了概念全局特征Gl,如公式(4)和公式(5)所示;

Gl(c1,c2)=Gl(c1)‑Gl(c2)      (5);

其中,A(c)是出现概念c的课程的集合; 是课程Ai中出现了概念c的一组视频的序号; 是课程Ai中出现了概念c的视频的数量;

当老师向学生们讲解一个概念时,往往会引用它的前置概念,以帮助学生更好地理解,这意味着后续概念常常和它的前置概念一起出现,而不是相反;

定义了概念共现特征Co,如公式(6)所示;

使用随机森林来整合上述特征,以提取概念级依赖关系;

通过ConPreAlg算法,提取概念级依赖关系;具体如下:输入:已标记训练集CL={<ci,cj>,clabel},测试集CT={<ci,cj>},课程语料A;

输出:

算法的时间复杂度为O(m|CL|);

步骤2:提取课程级依赖关系;

对于名称之间有明确顺序关系的课程,通过课程名包含的顺序关系直接提取课程级依赖关系;

无法通过课程名得知课程之间的依赖关系时,通过CoursePreAlg算法,提取课程级依赖关系;

具体而言,当两个概念之间存在依赖关系时,学习后续概念需要首先掌握前置概念;因此,当前置概念和后续概念不在同一课程中时,如果想学习包含后续概念的课程,就需要先学习包含前置概念的课程;

确定课程级依赖关系的形式化表述如下:

给定两个课程Ai和Aj,令Pre(Ai)和Pre(Aj)分别表示Ai和Aj包含的概念级依赖关系;因此, 根据公式(7)确定Ai是否是Aj的前置课程;

具体如下:

输入:A={Ai,Aj},

输出:课程级依赖关系<Ai,Aj>;

为了便于嵌入到提出的推荐方法中,所有的课程级依赖关系根据公式(8)转换为矩阵G;

步骤3:推荐慕课课程;具体包括如下步骤:步骤3.1:利用神经网络的特征表示能力来计算课程与课程之间的相似度,同时将课程级依赖关系嵌入到注意力网络中以区分已选修的课程对推荐的贡献;

预测模型表示如下:

其中, 表示预测模型, 是一个注意力系数,当模型计算用户ui选修课程Aj的概率时,它能够衡量课程Ak对影响这一概率的重要性; 表示用户ui; 表示偏差值;

步骤3.2:设计一个注意力网络,并将课程级依赖关系信息嵌入到注意力系数的计算中,注意力系数的计算表示为 其中f(·)是一个多层感知机(MLP);

的计算如公式(11)所示:

其中, 表示注意力系数,W1和W2都是权重矩阵,b是偏置向量, 表示向量和 按元素相加操作, 是G中的第k个行向量;

步骤3.3:使用对数损失函数作为目标函数来训练模型,如公式(12)所示,其中,N为训练样本的个数,σ(·)表示sigmoid函数,用来将预测值 转变为用户ui选修课程Aj的可能性的概率值;P和Q代表两个低阶矩阵;超参数λ1,λ2,λ3控制l2正则化的强度,m×n防止过拟合;||·||是Frobenius范数,定义为 χij是矩阵X 中的一个元素;

步骤3.4:为了优化目标函数,采用GuessUNeed算法进行慕课课程推荐,具体如下:输入:保存所有的用户选修记录的0‑1矩阵R,学习率l,嵌入层大小s,迭代次数e;

输出:向用户推荐的课程的列表;