1.一种移动多智能体协同目标搜索方法,其特征在于,包括以下步骤:
步骤1,给定目标操作域O并将其均匀地划分成相同大小的m×n个栅格区域,每一块栅格的坐标使用其所在区域的中心坐标来表示,设置N个智能体在这m×n个栅格中开始进行搜索,目标数量为S;
步骤2,获取随机的噪声函数Ψ,用θ={θ1,...,θi,...,θN}表示N个智能体的策略参数,且令所有智能体的策略集合为π={π1,...,πi,...,πN},动作集合为a=(a1,...,ai,...,aN),环境状态向量集合为s=(s1,...,si,...,sN);则根据各个智能体的Actor网络的输出,有ai=πi(si,θi);
步骤3,通过计算每个智能体的确定性策略来更新各个智能体的Actor网络及其目标网络,具体步骤如下:步骤3.1,智能体i的目标收益为J(θi)=E[Ri],则其策略梯度公式为:其中,Ri表示智能体i的目标收益数量总和,θi、ai、πi、si分别表示智能体i的策略参数、π动作、策略以及观测到的状态信息,p表示状态分布, 表示第i个智能体集中式的状态-动作函数,也就是智能体i的Critic网络对Actor网络的实时动作反馈函数;
步骤3.2,接收初始状态s,随机选择执行动作a,根据步骤3.1中的策略梯度公式进行计算判断当前选择的动作a是否为Critic当前评估最优策略,如果是则将其设置为确定性策略动作,用 来表示,如果不是则重新选择动作再代入步骤3.1中的策略梯度公式进行计算直到获取到确定性策略动作步骤4,结合DQN中TD与目标网络思想更新各个智能体的Critic网络及其目标网络,具体步骤如下:步骤4.1,执行确定性策略动作 获取新的目标收益函数策略梯度更新公式:其中,D={s,s′,a1...ai...aN,r1...ri...rN}是一个经验重放缓冲池,包含着所有智能体的历史经验,s′=(s1′,...,sN′)表示采取动作a之前更新的状态向量,ri表示智能体i采取动作ai后获得的即时目标奖励值, 表示采用确定性策略 情况下第i个智能体集中式的状态-动作值函数;
步骤4.2,在经验缓冲池D进行采样获取 表示第i个智
能体集中式的状态-动作值对应经验池函数,其用到的参数是从经验池中取出的,故是采取当前最新动作之前的,属于延迟参数,所述γ是折扣因子,决定了未来奖励的重要程度,为具有延迟更新的参数θ′i的目标策略集合,ai'、μi'、si'分别表示智能体i延迟更新的动作、策略以及观测信息;
步骤4.3,通过最小化损失函数来更新步骤4.1中的目标收益函数策略梯度得到全局最优策略,更新规则为:其中,r={r1,...,ri,...,rN}表示所有智能体采取动作a后获得的即时目标奖励集合;
步骤5,获取到全局最优策略之后,各智能体独立执行搜索任务,具体步骤如下:步骤5.1,在更智能体进行独立搜索的过程中,时刻计算各个智能体目标收益值总和值,J(μi)表示智能体i采取确定性策略μi时所获取到的最佳收益值;
步骤5.2,将步骤5.1中计算获取得到的目标收益值总和 与目标数量S进行比较,若该值大于或者等于S,则表示搜索成功,否则表示搜索失败,返回步骤4重复往下进行直到搜索成功为止。
2.根据权利要求1所述移动多智能体协同目标搜索方法,其特征在于:步骤3.2中确定性策略动作 是当时实际采取的动作ai加上了噪声函数Ψ而得到的。
3.根据权利要求1所述移动多智能体协同目标搜索方法,其特征在于:步骤4.2中第i个智能体集中式的状态-动作值对应经验池函数Q'为通过多次采样获取的平均值。
4.根据权利要求1所述移动多智能体协同目标搜索方法,其特征在于:步骤4.2中折扣因子γ取值为0.8。