1.一种产品推荐路径生成方法,其特征在于,所述方法包括:构建目标产品对应业务数据的知识图谱,根据所述知识图谱确定所述目标产品对应业务流程的状态向量;
根据所述状态向量,从所述目标产品对应业务数据在业务流程中经过的各个业务节点中选择出目标业务节点;
构建目标路径的马尔科夫策略网络,基于所述目标业务节点构建所述马尔科夫策略网络中的随机策略;
利用梯度下降算法更新所述马尔科夫策略网络的参数,直至所述马尔科夫策略网络输出所述目标产品的推荐路径。
2.根据权利要求1所述的产品推荐路径生成方法,其特征在于,所述构建目标产品对应业务数据的知识图谱,包括:
获取目标产品的业务数据和与所述业务数据相关联的业务流程信息;
根据所述业务流程信息确定各个业务数据在业务流程中的前置条件和相邻节点信息;
根据确定的各个业务数据在业务流程中的前置条件和节点信息,构建所述目标产品对应业务数据的知识图谱。
3.根据权利要求1或2所述的产品推荐路径生成方法,其特征在于,所述知识图谱包括目标产品对应业务数据、所述业务数据在业务流程中经过的各个业务节点和各个所述业务节点之间的路径关系;所述根据所述知识图谱确定所述目标产品对应业务流程的状态向量,包括:
基于注意力机制构造所述业务数据、各个所述业务节点和各个所述业务节点之间的路径关系的三元组,基于所述三元组训练预设的聚类模型,将各个所述业务节点嵌入至所述目标产品对应所述业务流程中;
根据嵌入各个所述业务节点的所述业务流程的节点信息,得到所述状态向量。
4.根据权利要求3所述的产品推荐路径生成方法,其特征在于,所述根据所述状态向量,从所述目标产品对应业务数据在业务流程中经过的各个业务节点中选择出目标业务节点,包括:
获取所述目标路径上各个路径节点信息;
根据预设的相似度函数,分别计算所述状态向量中的各个节点信息与所述目标路径上各个路径节点信息之间的相似度;
根据所述相似度从各个所述业务节点中选择出目标业务节点。
5.根据权利要求4所述的产品推荐路径生成方法,其特征在于,所述马尔科夫策略网络为监督策略网络;所述构建目标路径的马尔科夫策略网络,基于所述目标业务节点构建所述马尔科夫策略网络中的随机策略,包括:根据所述目标路径和与所述目标路径具有关联关系的各个路径节点组成样本对;
将所述样本对作为所述监督策略网络的输入,以所述目标业务节点在所述目标路径上的概率值作为所述监督策略网络的随机策略。
6.根据权利要求5所述的产品推荐路径生成方法,其特征在于,所述利用梯度下降算法更新所述马尔科夫策略网络的参数,直至所述马尔科夫策略网络输出所述目标产品的推荐路径,包括:
将所述样本对输入所述马尔科夫策略网络中,基于蒙塔卡洛策略梯度更新所述马尔科夫策略网络的参数;
若所述监督策略网络的随机策略的期望值大于预设的期望阈值,则停止更新所述马尔科夫策略网络的函数,获取更新后的所述马尔科夫策略网络输出的路径,以该路径为所述目标产品的推荐路径。
7.根据权利要求6所述的产品推荐路径生成方法,其特征在于,所述蒙塔卡洛策略梯度表示为:
其中, 是梯度计算符; 是随机策略的参数, 是对 的期望值; 是在时刻t采取的路径动作; 是在时刻t路径上的节点状态信息;a是所有路径动作的集合; 为预设的奖励函数。
8.一种产品推荐路径生成装置,其特征在于,包括:确定模块,用于构建目标产品对应业务数据的知识图谱,根据所述知识图谱确定所述目标产品对应业务流程的状态向量;
选择模块,用于根据所述状态向量,从所述目标产品对应业务数据在业务流程中经过的各个业务节点中选择出目标业务节点;
构建模块,用于构建目标路径的马尔科夫策略网络,基于所述目标业务节点构建所述马尔科夫策略网络中的随机策略;
更新模块,用于利用梯度下降算法更新所述马尔科夫策略网络的参数,直至所述马尔科夫策略网络输出所述目标产品的推荐路径。
9.一种产品推荐路径生成设备,其特征在于,包括:存储器和处理器;
所述存储器用于存储计算机程序;
所述处理器,用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至7中任一项所述的产品推荐路径生成方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7中任一项所述的产品推荐路径生成方法的步骤。