1.时序分组用户兴趣表示的个性化新闻推荐方法,其特征在于,包括以下步骤:步骤1,基于滑动时间窗对用户历史点击新闻进行时序分组,并将候选新闻在不同分组中进行融合,在同一分组内设计组内特征编码器,对新闻标题、新闻类别、新闻子类别内容建模,学习组内点击新闻特征表示、组内候选新闻特征表示、组内组特征表示;
所述步骤1包括:
步骤1.1,将用户的历史点击新闻按照时间序列划为个分组,为分组的历史点击新闻集合,将候选新闻依次加入每个分组内,分组集合内包括每组的历史点击新闻与候选新闻,表示为;
步骤2,在不同分组间,设计组间特征编码器捕获交叉分组间的新闻语义相关性,建模交叉语义的点击新闻特征表示和交叉语义的候选新闻特征表示;
所述步骤2包括:
步骤2.1,将个分组内所有点击新闻和候选新闻的组内特征表示输入BiLSTM进行交叉,对于分组的第个组内点击新闻特征表示,定义交叉语义的点击新闻特征表示为:(13)
式(13)中,是候选新闻的组内候选新闻特征表示;
步骤2.2,重复步骤2.1,得到交叉语义的候选新闻特征表示为;
步骤3,对交叉语义的点击新闻特征表示、交叉语义的候选新闻特征表示、组内组特征表示分别通过注意力机制进行融合,建模组间感知的点击新闻特征表示、组间感知的候选新闻特征表示和组间感知的组特征表示;
步骤4,利用门控机制将组间感知的点击新闻特征表示和组间感知的组特征表示的重要特征进行聚合,建模用户兴趣表示,并利用门控机制将组间感知的候选新闻特征表示和组间感知的组特征表示的重要特征进行聚合,建模候选新闻表示;
步骤5,基于用户兴趣表示和候选新闻表示,计算用户对候选集新闻的兴趣评分,基于负采样损失函数对兴趣评分进行优化,更新模型参数;
步骤6,根据优化后的用户兴趣表示和候选新闻表示,计算用户对未点击候选新闻的兴趣评分,根据评分高低进行排序,生成推荐列表。
2.根据权利要求1所述的时序分组用户兴趣表示的个性化新闻推荐方法,其特征在于,所述步骤1中基于滑动时间窗对用户历史点击新闻进行时序分组,并将候选新闻在不同分组中进行融合,在同一分组内设计组内特征编码器,对新闻标题、新闻类别、新闻子类别内容建模,学习组内点击新闻特征表示、组内候选新闻特征表示、组内组特征表示,具体步骤为:步骤1.2,在第个分组内,利用Bert预训练语言模型作为文本编码器,将分组内的候选新闻和历史点击新闻标题单词序列作为输入,输出标题间单词的特征表示为:(1)
式(1)中是分组内的候选新闻,是分组内所有的历史点击新闻,是每个分组内历史点击新闻的个数,为新闻标题的预训练单词数量,是第个新闻的第个预训练单词;表示第个新闻,表示第个新闻的第个预训练单词;
步骤1.3,通过卷积神经网络对分组内历史点击新闻的第个新闻的第个单词的特征表示进行进一步编码,记交叉语义的单词特征表示为:(2)
式(2)中,为CNN滤波器的可学习参数,为偏置,为卷积算子,是第i个新闻的位置到的单词特征表示;
步骤1.4,根据新闻标题中每个单词的不同重要程度,计算分组内历史点击新闻的第个新闻的第个单词的贡献分数:(3)
式(3)中,和为权重参数,为注意力查询向量;为转置操作;
步骤1.5,计算第个单词在新闻标题所有单词的归一化注意力权重为:(4)
式(4)中,为分组内第个新闻的第个单词的贡献分数;表示第个单词;是指数函数;
步骤1.6,根据归一化注意力权重将分组内历史点击新闻的第i个新闻的新闻标题所有单词的交叉语义单词特征表示进行融合,定义标题特征表示为:(5)
步骤1.7,对分组内历史点击新闻的第i个新闻的新闻类别进行one-hot编码,利用查询表将其初始化表示为,并经由多层感知机得到第i个新闻的类别特征表示为:(6)
式(6)中,和是类别特征多层感知机中的参数;
步骤1.8,对分组内历史点击新闻的第i个新闻的新闻子类别进行one-hot编码,利用查询表将其表示为,并经由多层感知机得到第i个新闻的子类别特征表示为:(7)
式(7)中,和是子类别特征多层感知机中的参数;
步骤1.9,将分组内历史点击新闻的第i个新闻的标题特征表示、类别特征表示和子类别特征表示进行拼接,并经过多层感知机交叉融合得到组内第i个点击新闻特征表示为:(8)
式(8)中,为拼接操作,为新闻特征全连接层的可学习参数,为全连接层的偏置;
步骤1.10,重复步骤1.3-1.9,建模分组内组内候选新闻特征表示为;
步骤1.11,新闻类别是分组的一种特征,根据分组中新闻类别的不同重要程度,第个新闻的类别的特征的贡献分数为:(9)
式(9)中,和为类别贡献的可学习参数,为类别贡献的注意力查询向量;
步骤1.12,设分组内每个新闻隶属于一个类别,考虑到分组内所有的新闻对应的类别,将第个新闻的类别的归一化注意力权重记为:(10)
式(10)中,是分组内点击新闻和候选新闻的个数,表示第个新闻,为分组内第个新闻的类别的特征的贡献分数;
步骤1.13,基于归一化注意力权重将分组内所有新闻的类别特征表示融合,第组的组内类别特征表示为:(11)
式(11)中,是分组内点击新闻和候选新闻的个数;
步骤1.14,将分组的文本内容段落编号特征[CLS],利用Bert预训练语言模型进行编码表示后,作为分组的组内段落编号特征表示;
步骤1.15,将组内类别特征表示和组内段落编号特征表示拼接,通过多层感知机进行特征融合,得到组内组特征表示为:(12)
式(12)中,为拼接操作,为全连接层的可学习参数,为全连接层的偏置。
3.根据权利要求2所述的时序分组用户兴趣表示的个性化新闻推荐方法,其特征在于,所述步骤3中对交叉语义的点击新闻特征表示、交叉语义的候选新闻特征表示、组内组特征表示分别通过注意力机制进行融合,建模组间感知的点击新闻特征表示、组间感知的候选新闻特征表示和组间感知的组特征表示,具体步骤为:步骤3.1,考虑到用户所有点击新闻对于用户兴趣表示贡献不同,用户的第组的第个点击新闻的贡献分数为:(14)
式(14)中,和为权重参数,为注意力查询向量;
步骤3.2,用户的第组的第个点击新闻在用户所有点击新闻中的归一化注意力权重为:(15)
式(15)中,为分组组数,是分组内点击新闻的个数,x表示分组的计数循环变量,y表示分组内新闻计数循环变量,为用户的第组的第个点击新闻的贡献分数;
步骤3.3,基于注意力机制将个不同组的交叉语义的点击新闻特征表示进行融合,定义组间感知的点击新闻特征表示为:(16)
式(16)中,表示用户的第组的第个点击新闻在用户所有点击新闻中的归一化注意力权重,为分组的第条点击新闻进行组间交叉后的交叉语义的点击新闻特征表示;
步骤3.4,重复步骤3.1-3.3,将个不同组的交叉语义的候选新闻特征表示通过注意力机制进行融合,得到组间感知的候选新闻特征表示;对个不同组的组内特征表示通过注意力机制进行融合,得到组间感知的组特征表示。
4.根据权利要求3所述的时序分组用户兴趣表示的个性化新闻推荐方法,其特征在于,所述步骤4中利用门控机制将组间感知的点击新闻特征表示和组间感知的组特征表示的重要特征进行聚合,建模用户兴趣表示,并利用门控机制将组间感知的候选新闻特征表示和组间感知的组特征表示的重要特征进行聚合,建模候选新闻表示,具体步骤为:步骤4.1,通过门控机制选择重要的组间感知的组特征表示以及重要的组间感知的点击新闻特征表示,记为:(17)
式(17)中,为组间感知的组特征表示和组间感知的点击新闻特征表示的门向量;是可学习的参数矩阵;表示参数向量;
步骤4.2,聚合组间感知的组特征表示和组间感知的点击新闻表示,建模用户兴趣表示为:(18)
步骤4.3,重复步骤4.1-4.2,通过门控机制聚合组间感知的组特征表示和组间感知的候选新闻特征表示得到候选新闻表示。
5.根据权利要求4所述的时序分组用户兴趣表示的个性化新闻推荐方法,其特征在于,所述步骤5中基于用户兴趣表示和候选新闻表示,计算用户对候选集新闻的兴趣评分,基于负采样损失函数对兴趣评分进行优化,更新模型参数,具体步骤为:步骤5.1,用户对候选新闻的预测得分由用户兴趣表示和候选新闻表示通过内积得到兴趣得分,表示为:(19)
步骤5.2,选取用户点击的新闻组成正样本,从同一会话中未被点击的新闻中随机选择条新闻组成负样本,计算正样本和负样本的兴趣得分为和,并定义NCE损失函数为:(20)
式(20)中,是正样本的集合,是第个正样本对应的第个负样本的预测得分。
6.根据权利要求5所述的时序分组用户兴趣表示的个性化新闻推荐方法,其特征在于,所述步骤6中根据优化后的用户兴趣表示和候选新闻表示,计算用户对未点击候选新闻的兴趣评分,根据评分高低进行排序,生成推荐列表,具体步骤为:对于未点击候选新闻,计算用户对候选新闻的兴趣得分,将兴趣得分较高的前个新闻推荐给用户。