1.一种智能决策模型的训练方法,其特征在于,所述方法包括:
获取机器人在目标环境中采集到的外部信息,所述外部信息包括外部环境信息和交互信息,所述外部环境信息为所述机器人观察所述目标环境得到的信息,所述交互信息为所述机器人与所述目标环境中的其他机器人进行交互得到的信息;
将所述外部信息输入所述机器人的智能决策模型,由所述智能决策模型的分布式执行者模型基于所述外部信息进行预测,输出所述机器人的多个动作分支,所述动作分支为所述机器人在所述目标环境中可能执行的动作;
基于所述外部信息和所述多个动作分支,确定各个所述动作分支的奖励值分布;
所述基于所述外部信息和所述多个动作分支,确定各个所述动作分支的奖励值分布包括:将所述外部信息和所述多个动作分支输入奖励值估计模型,通过所述奖励值估计模型基于所述外部信息和所述多个动作分支进行奖励值分布估计,输出各个所述动作分支的奖励值分布;
对在各个所述动作分支的奖励值分布中采样得到的采样奖励值进行奖励聚合,得到混合奖励和集成奖励;
所述对在各个所述动作分支的奖励值分布中采样得到的采样奖励值进行奖励聚合,得到混合奖励和集成奖励包括:对各个所述动作分支的奖励值分布进行采样,得到各个所述动作分支的采样奖励值;对所述各个动作分支的采样奖励值进行策略加权融合,得到所述混合奖励;对各个所述动作分支的采样奖励值进行全局平均、局部平均以及直接选取中的任一项,得到所述集成奖励;
基于所述混合奖励、所述集成奖励以及所述外部信息,对所述机器人的智能决策模型进行训练;
所述基于所述混合奖励、所述集成奖励以及所述外部信息,对所述机器人的智能决策模型模进行训练包括:基于所述外部信息训练所述智能决策模型的奖励值估计模型;基于所述混合奖励、所述外部信息和所述智能决策模型的评论家模型,获取所述多个动作分支的动作优势值,所述评论家模型用于基于所述外部信息对所述多个动作分支进行评价;基于所述动作优势值和所述集成奖励,对所述智能决策模型的分布式执行者模型进行训练;
所述基于所述混合奖励、所述外部信息和所述智能决策模型的评论家模型,获取所述多个动作分支的动作优势值包括:基于所述混合奖励和所述外部信息训练所述智能决策模型的评论家模型;将所述外部信息和所述多个动作分支输入所述评论家模型,由所述评论家模型输出所述多个动作分支的动作优势值。
2.根据权利要求1所述的方法,其特征在于,所述由所述智能决策模型的分布式执行者模型基于所述外部信息进行预测,输出所述机器人的多个动作分支包括:由所述智能决策模型的分布式执行者模型对所述外部信息进行全连接、卷积以及注意力编码中的至少一项,得到所述外部信息的外部信息特征;
由所述智能决策模型的分布式执行者模型对所述外部信息特征进行全连接和归一化,输出所述机器人的多个动作分支。
3.根据权利要求1所述的方法,其特征在于,所述基于所述动作优势值和所述集成奖励,对所述智能决策模型进行训练包括:基于所述动作优势值和所述集成奖励,构成所述分布式执行者模型的损失函数;
基于所述损失函数,采用梯度下降法对所述分布式执行者模型进行训练。
4.一种智能决策模型的训练装置,其特征在于,所述装置包括:
外部信息获取模块,用于获取机器人在目标环境中采集到的外部信息,所述外部信息包括外部环境信息和交互信息,所述外部环境信息为所述机器人观察所述目标环境得到的信息,所述交互信息为所述机器人与所述目标环境中的其他机器人进行交互得到的信息;
动作预测模块,用于将所述外部信息输入所述机器人的智能决策模型,由所述智能决策模型的分布式执行者模型基于所述外部信息进行预测,输出所述机器人的多个动作分支,所述动作分支为所述机器人在所述目标环境中可能执行的动作;
奖励值预测模块,用于基于所述外部信息和所述多个动作分支,确定各个所述动作分支的奖励值分布;
所述奖励值预测模块,用于将所述外部信息和所述多个动作分支输入奖励值估计模型,通过所述奖励值估计模型基于所述外部信息和所述多个动作分支进行奖励值分布估计,输出各个所述动作分支的奖励值分布;
奖励值聚合模块,用于对在各个所述动作分支的奖励值分布中采样得到的采样奖励值进行奖励聚合,得到混合奖励和集成奖励;
所述奖励值聚合模块,用于对各个所述动作分支的奖励值分布进行采样,得到各个所述动作分支的采样奖励值;对所述各个动作分支的采样奖励值进行策略加权融合,得到所述混合奖励;对各个所述动作分支的采样奖励值进行全局平均、局部平均以及直接选取中的任一项,得到所述集成奖励;
训练模块,用于基于所述混合奖励、所述集成奖励以及所述外部信息,对所述机器人的智能决策模型进行训练;
所述训练模块,用于基于所述外部信息训练所述智能决策模型的奖励值估计模型;基于所述混合奖励、所述外部信息和所述智能决策模型的评论家模型,获取所述多个动作分支的动作优势值,所述评论家模型用于基于所述外部信息对所述多个动作分支进行评价;基于所述动作优势值和所述集成奖励,对所述智能决策模型的分布式执行者模型进行训练;
所述训练模块,用于基于所述混合奖励和所述外部信息训练所述智能决策模型的评论家模型;将所述外部信息和所述多个动作分支输入所述评论家模型,由所述评论家模型输出所述多个动作分支的动作优势值。
5.一种计算机设备,其特征在于,所述计算机设备包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条计算机程序,所述计算机程序由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求3任一项所述的智能决策模型的训练方法。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条计算机程序,所述计算机程序由处理器加载并执行以实现如权利要求1至权利要求3任一项所述的智能决策模型的训练方法。