1.一种基于深度强化学习的消息推送策略优化方法,其特征在于,所述方法包括:对智能体的静态属性,观测序列及选择标识进行联合编码,得到所述智能体的决策状态向量及动作特征集,包括:将所述智能体的用户画像特征作为所述静态属性,将所述智能体的消息交互记录作为所述观测序列,将所述智能体的可操作消息类型集作为所述选择标识;
将所述静态属性映射至所述智能体的全连接层,得到所述智能体的第一特征向量;
对所述观测序列进行时序编码,得到所述智能体的序列依赖特征;
将所述第一特征向量与所述序列依赖特征进行拼接,得到所述智能体的决策状态向量;
对所述选择标识进行嵌入查找,得到所述智能体的动作特征集;
将所述决策状态向量与动作特征库集的嵌入向量进行点积运算,得到所述智能体的初步价值标量;
对所述初步价值标量进行归一化处理,得到所述智能体的策略概率分布,并基于所述策略概率分布确定所述智能体的待执行动作标识;
根据所述待执行动作标识检索所述智能体的环境交互数据,得到所述智能体的多维反馈向量;
基于所述多维反馈向量更新所述智能体的状态表征权重,并结合所述待执行动作标识的特征,构建所述智能体的预测向量,包括:基于所述多维反馈向量中的即时奖励对所述智能体的长期回报估计值进行差分计算,得到所述智能体的策略评估误差,所述智能体的长期回报估计值是由智能体内部的价值网络根据当前决策状态向量计算出的一个标量数值;
依据所述策略评估误差对所述智能体的状态表征网络权重进行梯度调整,得到所述智能体的即时表征权重;
将所述即时表征权重与所述待执行动作标识对应的动作特征向量进行融合,得到预测向量;
根据所述预测向量迭代所述智能体中的策略参数,得到所述智能体的优化指标。
2.如权利要求1所述的基于深度强化学习的消息推送策略优化方法,其特征在于,所述将所述决策状态向量与动作特征库集的嵌入向量进行点积运算,得到所述智能体的初步价值标量,包括:按特征维度对齐所述决策状态向量与所述动作特征库集的嵌入向量,得到所述智能体的投射状态向量与投射动作向量;
将所述投射状态向量与所述投射动作向量按对应元素位置逐位相乘,得到所述智能体的交互向量;
对所述交互向量中的元素进行求和运算,得到所述智能体的初步价值标量。
3.如权利要求1所述的基于深度强化学习的消息推送策略优化方法,其特征在于,所述对所述初步价值标量进行归一化处理,得到所述智能体的策略概率分布,并基于所述策略概率分布确定所述智能体的待执行动作标识,包括:对所述初步价值标量进行指数缩放,得到所述智能体的偏好强度值;
聚合所述偏好强度值,得到所述智能体的调整因子;
将所述初步价值标量投影至所述调整因子,得到所述智能体的概率分布;
基于所述概率分布对所述选择标识进行随机采样,得到所述智能体的待执行动作标识。
4.如权利要求1所述的基于深度强化学习的消息推送策略优化方法,其特征在于,所述根据所述待执行动作标识检索所述智能体的环境交互数据,得到所述智能体的多维反馈向量,包括:根据所述待执行动作标识对应的消息类型向所述智能体推送消息;
采集所述智能体在预设时间窗口内对所述推送消息产生的行为特征;
依据所述行为特征对应的类别为所述智能体分配数值奖励信号;
按反馈顺序拼接将所述奖励信号得到所述智能体的多维反馈向量。
5.如权利要求4所述的基于深度强化学习的消息推送策略优化方法,其特征在于,所述依据所述行为特征对应的类别为所述智能体分配数值奖励信号,包括:解析所述行为特征中的持续时间参数与操作深度参数;
根据所述持续时间参数与所述操作深度参数所在的数值区间,确定所述行为特征在对应类别中的细化等级;
基于所述细化等级对所述智能体中的奖励参数进行前向传播计算,得到所述智能体的数值奖励信号。
6.如权利要求1所述的基于深度强化学习的消息推送策略优化方法,其特征在于,所述策略评估误差的计算公式,包括:其中,为所述策略评估误差,为所述即时奖励,为折扣因子,为在下一时刻的估计值,为原始价值估计,为离散时间步索引。
7.如权利要求1所述的基于深度强化学习的消息推送策略优化方法,其特征在于,所述根据所述预测向量迭代所述智能体中的策略参数,得到所述智能体的优化指标,包括:对所述预测向量进行解耦,得到所述智能体的预期回报值;
以所述预期回报值为起点,逆向遍历所述智能体的策略网络,得到所述智能体的参数梯度集;
基于所述参数梯度集中的特征梯度分量按比例调整所述智能体中的策略参数值,得到所述智能体的优化指标。
8.一种基于深度强化学习的消息推送策略优化系统,用于实现权利要求 1-7任一项所述的一种基于深度强化学习的消息推送策略优化方法,其特征在于,所述系统包括:特征提取模块,对智能体的静态属性,观测序列及选择标识进行联合编码,得到所述智能体的决策状态向量及动作特征集,包括:将所述智能体的用户画像特征作为所述静态属性,将所述智能体的消息交互记录作为所述观测序列,将所述智能体的可操作消息类型集作为所述选择标识;
将所述静态属性映射至所述智能体的全连接层,得到所述智能体的第一特征向量;
对所述观测序列进行时序编码,得到所述智能体的序列依赖特征;
将所述第一特征向量与所述序列依赖特征进行拼接,得到所述智能体的决策状态向量;
对所述选择标识进行嵌入查找,得到所述智能体的动作特征集;
初步价值标量模块,将所述决策状态向量与动作特征库集的嵌入向量进行点积运算,得到所述智能体的初步价值标量;
待执行动作模块,对所述初步价值标量进行归一化处理,得到所述智能体的策略概率分布,并基于所述策略概率分布确定所述智能体的待执行动作标识;
多维反馈数据模块,根据所述待执行动作标识检索所述智能体的环境交互数据,得到所述智能体的多维反馈向量;
预测向量模块,基于所述多维反馈向量更新所述智能体的状态表征权重,并结合所述待执行动作标识的特征,构建所述智能体的预测向量,包括:基于所述多维反馈向量中的即时奖励对所述智能体的长期回报估计值进行差分计算,得到所述智能体的策略评估误差,所述智能体的长期回报估计值是由智能体内部的价值网络根据当前决策状态向量计算出的一个标量数值;
依据所述策略评估误差对所述智能体的状态表征网络权重进行梯度调整,得到所述智能体的即时表征权重;
将所述即时表征权重与所述待执行动作标识对应的动作特征向量进行融合,得到预测向量;
优化指标模块,根据所述预测向量迭代所述智能体中的策略参数,得到所述智能体的优化指标。