1.基于博弈论的非稳定环境下智能体策略协同方法,其特征在于,包括以下步骤:步骤1,获取智能体状态值和收益;
步骤2,根据动态差分规划方法,得到智能体期望收益,并根据马氏性公式,得到智能体最优收益;
步骤3,根据当前时刻的状态值和智能体期望收益,获得智能体最期望的动作选择;
步骤4,当智能体处于动态环境中时,获取智能体期望收益随时间的变化,并根据变化后的期望收益,获得最优动作选择。
2.根据权利要求1所述的方法,其特征在于,步骤1包括:设定智能体的状态为,初始动作值为,得到初始化后的收益为。
3.根据权利要求2所述的方法,其特征在于,步骤1中,采用如下公式计算期望收益:,
其中,为期望收益,为智能体的数量,为第i个智能体在一个状态下采取一个策略的概率,为第i个智能体在一个状态下的收益。
4.根据权利要求3所述的方法,其特征在于,步骤1中,智能体将期望收益与初始化后的收益进行比较,如果期望收益与初始化后的收益之间的差值小于或等于设定的最优阈值,智能体的状态保持不变,此时,智能体的状态值不发生更新,维持为当前状态值,状态更新公式表示为:,
其中表示当前状态;
如果期望收益与初始化后的收益之间的差值大于最优阈值,说明当前状态未能达到最优状态,需要进行状态更新,此时,智能体根据期望收益更新状态值,新的状态值为期望收益所对应的状态,更新后的状态值为:。
5.根据权利要求4所述的方法,其特征在于,步骤2包括:每个智能体的期望收益计算公式如下:,
其中,表示第i个智能体的期望收益;,分别表示第i个智能体的状态与动作;,分别表示第j个智能体的状态与动作;表示第j个智能体在状态和动作下的联合概率;表示第j个智能体的状态集,表示第j个智能体的动作集;是第i个智能体在状态和动作下,基于第j个智能体的状态和动作所获得的收益。
6.根据权利要求5所述的方法,其特征在于,步骤2还包括:设定当前时刻的状态集为,下一个时刻的状态集为,第i个智能体当前时刻的状态集为,动作集为,采用如下公式计算在动态规划中智能体的期望收益:,
其中,为第i个智能体在状态下的价值函数;为第i个智能体在状态下执行动作所获得的即时收益;γ为折扣因子;表示从当前状态和动作转移到下一个状态的概率。
7.根据权利要求6所述的方法,其特征在于,步骤2还包括:采用如下公式计算第i个智能体的最优收益:。
8.根据权利要求7所述的方法,其特征在于,步骤3包括:设定第i个智能体当前状态为,动作为,转移到下一个状态的收益为,根据马氏性公式,第i个智能体从当前状态转移到下一个状态时的期望收益表示为:,
其中表示第i个智能体从当前状态转移到下一个状态的条件概率;
智能体的最优收益选择公式为:
,
其中,为最优收益。
9.根据权利要求8所述的方法,其特征在于,步骤4包括:设定在时刻t时,第i个智能体的最优动作选择为,对应的期望收益为,通过如下公式计算第i个智能体在t时刻的期望收益:,
其中,是智能体在状态下执行动作获得的即时收益,表示从状态执行动作转移到状态的概率,为状态下的价值,S表示状态集。
10.根据权利要求9所述的方法,其特征在于,步骤4还包括:当时间进程推移至t+1时,智能体根据当前时刻的期望收益,利用马氏性公式预测未来状态转移带来的收益,从而更新期望收益,根据马尔科夫性质,智能体从当前状态转移到下一个状态的期望收益为:,
设定第i个智能体在时刻t的价值函数Q的值为,第i个智能体的期望收益表示为:,
动态环境中的最优收益更新:每次在状态转移后,智能体都会计算当前时刻的期望收益,并根据当前时刻的期望收益更新其最优收益,最优收益的更新公式为:,
其中,表示第i个智能体在状态下的最优收益,智能体通过比较不同动作选择的收益,选择最大化的动作;
状态转移与行为决策:设定第i个智能体的状态转移矩阵为,则第i个智能体在不同状态下的行为决策表示为:,
其中,为第i个智能体在状态下选择动作的概率,表示智能体处于状态的情况下,转移到下一个状态的概率。