1.基于深度强化学习的时序推荐方法,其特征在于,包括:步骤1:根据用户在t时刻的项目集以及用户信息,生成t时刻的用户状态;其中,所述项目集是指用户浏览过的前n个项目数据;其中,将所述用户状态表示为:其中,,表示元素乘积,的特征矩阵,表示最大池化层,表示用户特征矩阵;
步骤2:将所述用户状态作为训练好的Actor模型的输入信息,得到所述用户状态下的推荐动作;
步骤3:将所述推荐动作推荐给用户,根据用户对所述推荐动作中所包含的项目进行的操作类型计算对应项目的奖励值,综合所有项目的奖励值得到对应的用户反馈信息;
步骤4:根据所述用户反馈信息得到t+1时刻的用户状态和项目集,并将t时刻对应的推荐动作集合存储到经验池M以对所述经验池M进行更新;
步骤5:将所述用户状态和所述推荐动作作为训练好的Critic模型的输入信息,得到所述用户状态下的Q函数值,根据所述Q函数值和所述用户反馈信息计算得到损失函数值;
步骤6:依据根据所述Q函数值和所述损失函数值,以最新的经验池M作为训练数据更新所述Actor模型的网络参数和所述Critic模型的网络参数。
2.根据权利要求1所述的基于深度强化学习的时序推荐方法,其特征在于,针对所述推荐动作中的任一个项目,若客户选择跳过,则所述项目对应的奖励值为第一分值;若客户选择点击,则所述项目对应的奖励值为第二分值;若客户选择收藏,则所述项目对应的奖励值为第三分值;其中,第三分值>第二分值>第一分值。
3.根据权利要求1所述的基于深度强化学习的时序推荐方法,其特征在于,所述Q函数值的计算公式为:其中,表示贴现系数,表示t时刻的Q函数值,是的选择策略。
4.根据权利要求1所述的基于深度强化学习的时序推荐方法,其特征在于,将用户t时刻的项目集记作:,若用户在t+1时刻,用户点击了所述推荐动作的项目,则更新用户t+1时刻的项目集,否则。
5.根据权利要求1所述的基于深度强化学习的时序推荐方法,其特征在于,步骤5中,所述Actor模型的损失函数值的计算公式为:其中,是所有遵守策略的Q值的期望值,N为批次大小。
6.根据权利要求5所述的基于深度强化学习的时序推荐方法,其特征在于,所述Critic模型的损失函数值的计算公式为:
其中,为Actor模型的网络参数,为Critic模型的网络参数。
7.根据权利要求6所述的基于深度强化学习的时序推荐方法,其特征在于,所述Actor模型的网络参数的更新公式为:
所述Critic模型的网络参数的更新公式为:
其中,为网络参数的学习率。
8.基于深度强化学习的时序推荐系统,其特征在于,包括:用户状态生成模块,用于根据用户在t时刻的项目集以及用户信息,生成t时刻的用户状态;其中,所述项目集是指用户浏览过的前n个项目数据;其中,将所述用户状态表示为:其中,,表示元素乘积,的特征矩阵,表示最大池化层,表示用户特征矩阵;
动作推荐模块,用于将所述用户状态作为训练好的Actor模型的输入信息,得到所述用户状态下的推荐动作;
反馈模块,用于将所述推荐动作推荐给用户,根据用户对所述推荐动作中所包含的项目进行的操作类型计算对应项目的奖励值,综合所有项目的奖励值得到对应的用户反馈信息;
经验池模块,用于根据所述用户反馈信息得到t+1时刻的用户状态和项目集,并将t时刻对应的推荐动作集合存储到经验池M以对所述经验池M进行更新;
损失函数计算模块,用于将所述用户状态和所述推荐动作作为训练好的Critic模型的输入信息,得到所述用户状态下的Q函数值,根据所述Q函数值和所述用户反馈信息计算得到损失函数值;
模型更新模块,用于根据所述Q函数值和所述损失函数值,以最新的经验池M作为训练数据更新所述Actor模型的网络参数和所述Critic模型的网络参数。