1.一种基于动态奖励的强化学习深空探测器自主任务规划方法,其特征在于:包括:S1、定义深空探测器任务规划强化学习参数;
S2、构建智能体交互环境;
S3、构建策略网络;
S4、训练策略网络;
S5、利用训练好的策略网络执行任务规划;
所述定义深空探测器任务规划强化学习参数,包括:
定义1、任务;任务用公式(1)表示:
F={IF,NF,EFL,EFP,tFES,tFLE} (1)式中:F代表深空探测器可执行的科学任务;IF代表任务F的编号;NF代表任务F的名称;EFL代表任务F的任务价值;EFP代表任务F的优先级;tFES代表任务F最早开始时间;tFLE代表任务F最晚开始时间;
定义2、资源集;资源集表示深空探测器在执行动作的时候会用到的资源所组成的集合;用R表示,如公式(2)表示:R={r1,r2,...,ri,...,r|R|} (2)式中:ri表示第i种资源;|R|表示集合R的元素个数,即表示资源的种类数量;代表第i种资源的编号;代表第i种资源的名字;代表第i种资源的剩余量;代表该第i种资源的类型,即该资源为可再生资源还是为不可再生资源;
定义3、深空探测器状态集;用S来表示深空探测器的状态集,假设探测器一共有N个子系统;第j个子系统的状态集用Sj表示,其状态有|Sj|种;Sj表示为式(4),S可表示为式(5),具体为:Sj={sj1,sj2,...,sjk,...,Sj|Sj|}(4)S=S1∪S2∪...Sj...∪SN(5)
式中:sjk表示第j个子系统的第k个状态;|Sj|表示集合Sj的元素个数,即第j个子系统的状态个数;Sj表示第j个子系统的状态集;
定义4、可执行动作;可执动作即为深空探测器可以执行的动作;用ajh表示,代表第j个子系统的第h个可执行动作,如公式(6)所示:式中:代表动作ajh的编号;代动作ajh动持续时长;代表动作ajh消耗的资源集合;R代表深空探测器的资源集,是R的子集;
定义5、深空探测器可执行动作集;用A来表示深空探测器可执行动作集;第j个子系统的可执行动作集用Aj表示,其种类有|Aj|种;Aj表示为式(8),A表示为式(9):A=A1∪A2∪...Aj...∪AN(9)
式中:|Aj|表示集合的元素个数,即第j个子系统的可执行动作数;Aj表示第j个子系统的可执行动作集;
定义6、深空探测器状态转换集;
构建三元组为G=(S,A,S);其中,G表示深空探测器状态与动作的状态转换集合,S表示深空探测器状态集,该集合中有|S|种状态;A表示深空探测器可执行动作集,该集合有|A|种可执行动作;三元组的基本形式是(sjk,ajh,sjk+1),其中sjk表示第j个子系统的第k个状态,sjk+1表示第j个子系统执行了动作ajh后到达的第k+1个状态;三元组G中的第一个元素sjk来自S,第二个元素ajh来自A,第三个元素sjk+1来自S;
所述构建智能体交互环境,包括:深空探测器状态空间库、深空探测器动作空间库、深空探测器状态转移空间库;
所述构建智能体交互环境,包括:
深空探测器状态空间库:将深空探测器看成一个智能体,智能体的状态定义为深空探测器中各子系统的状态,即智能体状态来自由深空探测器各子系统状态组成的深空探测器状态空间库State,其中State=S;
深空探测器动作空间库:深空探测器的每个子系统都有可执行动作集,第j个子系统的可执行动作集为Aj,如公式(8)所示,该集合中的可执行动作ajh能使该子系统从状态sjk到达sjk+1;当状态为sjk的情况下智能体可执行动作集为Aj的子集Ajv,共有|Ajv|种,如公式(10)和(11)所示,深空探测器动作空间库定义为Action如公式(12)所示:式中:Ajv表示第j个子系统在第v个状态时可执行的动作集,Aj表示第j个子系统的可执行动作集;由于Ajv是Aj的子集,所以Ajv中的元素来自Aj,|Ajv|表示第j个子系统在第v个状态时可执行动作的个数,表示第j个子系统在第v个状态时的第|Ajv|个可执行动作;Ajv表示第j个子系统的第v个状态下的可执行动作集,深空探测器一共分为N个子系统,其中第N个子系统有|SN|种状态;
深空探测器状态转移空间库;
用三元组来定义深空探测器状态转移空间库Transfer,该库中包含的状态转移是指智能体执行某个动作后会从当前状态转移到另一个状态,Transfer用公式(13)表示:Transfer={(s11,a11,s12),...,(sjk,ajh,sjk+1),...}(13);
所述构建策略网络,包括;
结合构建的智能体交互环境,定义一个4层的MLP策略网络结构;其中网络的输入层是深空探测器智能体当前的状态,用2个参数表示,隐含层共2层,每层40个节点,输出是输入层状态下深空探测器智能体采取每个动作的概率;
融合时间约束、资源约束与时序约束的损失函数的定义:
时间约束:建立动作时间消耗矩阵T,如公式(14)、(15)所示,该矩阵保存了各个子系统的可执行动作的时间消耗情况,以满足规划过程中的时间约束;
M=Max{|A1|,|A2|,...,|Aj|,...,|AN|}(14)式中:|Aj|是深空探测器的第j个子系统的可执行动作数;M为深空探测器的N个子系统对应的可执行动作数中最大的动作数;T为动作时间消耗矩阵,tju为第j个子系统的第u个可执行动作所需要消耗的时间;对于任意一个子系统下,可执行动作不足M时,则对应所需要消耗的时间为-1;
资源约束:建立动作资源消耗矩阵L,如公式(16)所示,该矩阵保存了各个子系统的可执行动作的资源消耗情况,以满足规划过程中的资源约束;
式中:rxy为第x个子系统的第y个可执行动作所需要消耗的资源;
时序约束:对于深空探测器任务规划中存在时序约束问题定义动作ajh的前序动作集合为前序动作集合包含了该动作被执行以前必须先执行的动作,如公式(17)所示:式中:为A的子集;
综合以上资源、时间和时序约束,采用动态奖励策略,即时奖励Ym的计算如公式(19)所示:式中:E表示深空探测智能体在进行一个Episode时候已规划出的动作序列,Ym表示E中第m个动作为ajh时的即时奖励,tjh、rjh分别表示第j个子系统的第h个可执行动作消耗的时间、消耗的资源;
由此,当前选取的可执行动作的期望回报Gm定义如下:
式中:γ为折扣因子,0<γ≤1,anm表示当前需要计算的Episode中可执行动作的总个数;
根据策略梯度下降方法构造如公式(21)所示的损失函数;
式中:agh为当前选取的动作,πθ(ajh|sjk)为动作预测的策略;
所述训练策略网络,包括:
从智能体交互环境中的深空探测器状态空间库中定义任务的终止状态sow;其中,sow表示第o个子系统的第w个状态;
从智能体交互环境中的深空探测器状态空间库中随机生成一个初始状态spq,然后利用构建的策略网络规划得到一组Episode,将一组Episode作为输入,依据定义的公式(21)对策略网络进行更新;直到策略网络收敛,得到训练完成的策略网络;其中,spq表示第p个子系统的第q个状态。
2.根据权利要求1所述的基于动态奖励的强化学习深空探测器自主任务规划方法,其特征在于:所述利用训练好的策略网络执行任务规划,包括:依据需要执行的科学任务F输入初始状态、终止状态,利用训练完成的策略网络进行规划,直到智能体到达终止状态结束规划;将规划结果绘制成深空探测器各子系统的任务甘特图。
3.一种用于执行权利要求1所述方法的基于动态奖励的强化学习深空探测器自主任务规划系统,其特征在于:包括:定义单元,用于定义深空探测器任务规划强化学习参数;
第一构建单元,用于构建智能体交互环境;
第二构建单元,用于构建策略网络;
训练单元,用于训练策略网络;
执行单元,用于利用训练好的策略网络执行任务规划。
4.一种处理器,其特征在于:所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至2中任意一项所述的基于动态奖励的强化学习深空探测器自主任务规划方法。
5.一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其特征在于:在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至2中任意一项所述的基于动态奖励的强化学习深空探测器自主任务规划方法。