1.基于自蒸馏算法优化的MAAC多目标跟踪方法,其特征在于,包括:将智能体与环境进行交互,生成交互经验回放,利用结构相同的教师网络和学生网络通过双策略循环模式进行学习,完成有限视野智能体的多目标跟踪,所述智能体为与环境互动并采取行为的实体;
其中,所述双策略循环模式为所述教师网络通过与环境交互生成第一经验和第二经验,训练集中式评论家网络并指导行动家网络更新;所述学生网络在蒸馏阶段通过平滑L1损失和逆KL散度学习所述教师网络的价值函数与动作分布,最终覆盖教师网络参数实现多目标跟踪优化;
利用结构相同的教师网络和学生网络通过双策略循环模式进行学习包括:分别初始化所述教师网络和所述学生网络;
将初始化后的教师网络与环境交互生成交互经验,根据预设的奖励机制评估交互表现,将交互经验存储至优先经验回放池,其中,所述预设的奖励机制包括距离奖励、防触碰奖励和边界奖励;
从所述优先经验回放池中按优先级顺序分别提取基于时序差分误差的第一经验和基于奖励值的第二经验;
利用所述第一经验和所述第二经验训练教师评论家网络,并通过软更新策略更新教师策略的目标评论家网络;
基于教师评论家网络的输出,指导各智能体的行动家网络进行策略梯度更新;
在蒸馏阶段,所述学生网络通过平滑L1损失学习所述教师网络的价值函数,并通过逆KL散度学习教师网络的动作分布;
当蒸馏阶段结束时,将学生网络的参数覆盖教师网络的参数,完成双策略循环迭代;
通过下式(2)对距离奖励进行设置:
(2);
其中,为当前智能体的追踪奖励,为智能体的有限视野检测范围,为智能体和追踪目标的欧几里得距离;
通过式(3)对防触碰奖励进行设置:
(3);
其中,为防触碰奖励,为定义的安全距离,为智能体和智能体的欧几里得距离;
通过式(4)对边界奖励进行设置:
(4);
其中,为边界奖励,为安全距离阈值,为智能体到达边界的最近距离。
2.根据权利要求1所述的基于自蒸馏算法优化的MAAC多目标跟踪方法,其特征在于,所述优先经验回放池中设置有基于时序差分误差的权重以及基于奖励值的权重;
其中,所述时序差分误差的权重为:
;
;
式中,为奖励值,为折扣因子,为当前网络的评估价值函数,为下一时刻的评估价值函数,为第i个样本的时序差分误差,为第i个样本的经验权重;
所述基于奖励值的权重为:
;
式中,表示所有智能体的平均奖励值,表示当前经验的奖励值权重,N为智能体总数,为智能体j的独立奖励值。
3.根据权利要求1所述的基于自蒸馏算法优化的MAAC多目标跟踪方法,其特征在于,利用所述第一经验和所述第二经验训练所述教师评论家网络包括:分别训练基于时序差分误差的第一经验和基于奖励值的第二经验,获得时序差分目标与动作价值函数;
通过所述时序差分目标与动作价值函数分别计算不同交互经验的策略梯度损失、高奖励值经验损失,将所述策略梯度损失、所述高奖励值经验损失进行求和,将求和结果作为教师评论家网络的损失函数。
4.根据权利要求3所述的基于自蒸馏算法优化的MAAC多目标跟踪方法,其特征在于,所述教师评论家网络的损失函数为:;
式中,为当前时刻教师评论家网络的损失函数,为优先经验回放池,为标准的价值损失,为正奖励的额外损失。
5.根据权利要求1所述的基于自蒸馏算法优化的MAAC多目标跟踪方法,其特征在于,所述软更新策略为:;
式中,为目标critic网络的参数,为更新因子,为当前critic网络的参数。
6.根据权利要求1所述的基于自蒸馏算法优化的MAAC多目标跟踪方法,其特征在于,所述学生网络通过平滑L1损失学习所述教师网络的价值函数为:;
式中,为当前时刻教师网络的Q值;为当前时刻学生策略的Q值估计,为切换平方和线性损失的阈值;为学生策略评论家网络的损失函数。
7.根据权利要求6所述的基于自蒸馏算法优化的MAAC多目标跟踪方法,其特征在于,通过逆KL散度学习教师网络的动作分布为:;
其中,为放大系数,为教师策略的动作概率分布,为学生策略的动作概率分布,为学生策略行动家网络的损失函数。
8.根据权利要求1所述的基于自蒸馏算法优化的MAAC多目标跟踪方法,其特征在于,将所述学生网络的参数覆盖教师网络的参数方法为:;
式中,为学生策略的参数,为教师策略参数。
9.根据权利要求1所述的基于自蒸馏算法优化的MAAC多目标跟踪方法,其特征在于,所述方法应用于分布式部分可观测马尔可夫决策过程框架。