1.一种基于模仿与强化学习的医药机器人自主避障方法,其特征在于,包括:步骤1:设置医药机器人医药搬运场景;
步骤2:令医药机器人在步骤1中设置的医药搬运场景中进行移动,获取环境状态与医药机器人动作策略构成的专家演示二元组数据;
步骤3:采用模仿学习网络和强化学习网络,分别构建基于模仿学习、强化学习的医药机器人移动控制模型;
以所述专家演示二元组数据,对基于模仿学习的医药机器人移动控制模型,进行训练;
以训练好的基于模仿学习的医药机器人移动控制模型的参数对基于强化学习的医药机器人移动控制模型的参数进行初始化;
所述基于模仿学习的医药机器人移动控制模型和所述基于强化学习的医药机器人移动控制模型中的价值网络均采用基于图注意模块的价值网络结构;
步骤4:基于医药搬运场景设置移动步数,令医药机器人与医药搬运场景进行交互,训练所述基于强化学习的医药机器人移动控制模型,获得累计奖励最高的基于强化学习的医药机器人移动控制模型;
步骤5:以步骤4得到的所述基于强化学习的医药机器人移动控制模型,对医药机器人进行自主控制。
2.根据权利要求1所述的方法,其特征在于,所述基于模仿学习的医药机器人移动控制模型和基于强化学习的医药机器人移动控制模型中的价值网络均采用基于图注意模块的价值网络结构,具体如下:令节点i表示当前医药机器人,当前医药机器人的输入特征向量为 , ;节点j为当前医药机器人可测量半径内的某一障碍物或者智能体,其输入特征向量为 , ,则节点i和节点j之间的注意力系数 为:其中, 为采用的注意力机制网络权重, , 为每个节点输出的特征数;||为拼接操作,LeakyReLU为激活函数,W为每个节点的权重, ,F为每个节点输入的特征数;
对当前医药机器人周围所有的智能体和障碍物计算注意力系数,得到进行归一化后的某一障碍物或者智能体对当前医药机器人的影响系数 :其中, 为节点i的所有相邻节点;
对当前医药机器人可测量半径内所有智能体和障碍物均计算出影响系数 ,并基于多组注意力机制并进行拼接,得到当前医药机器人的输出特征向量 :其中,||为拼接操作,K为注意力机制的个数, 为非线性激活函数。
3.根据权利要求1所述的方法,其特征在于,所述基于模仿学习的医药机器人移动控制模型,以所述专家演示二元组数据进行训练时,是采用行为克隆算法进行模仿学习,具体过程如下:步骤A1:在给定的专家演示数据集 中进行均
匀随机抽样,得到 , 依次表示第一个时刻到第n个时刻的环境状态,依次表示在环境状态 下的动作策略;
步骤A2:当前基于模仿学习的医药机器人移动控制模型参数为 ,初始值为随机取值,将 输入基于模仿学习的医药机器人移动控制模型,进行反向传播计算梯度,然后利用梯度更新基于模仿学习的医药机器人移动控制模型参数;
基于模仿学习的医药机器人移动控制模型的损失函数如下:
表示基于模仿学习的医药机器人移动控制模型在参数为 和环境状态为s时做出的动作策略,为给定的专家演示数据集D中与s对应的动作策略;
梯度更新公式如下:
其中, 为更新后的模型参数, 为当前的模型参数,β为行为克隆学习率;
步骤A3:对上述步骤进行迭代直至所述损失函数收敛,获得训练好的基于模仿学习的医药机器人移动控制模型参数θ。
4.根据权利要求1所述的方法,其特征在于,医药机器人在医药搬运场景中移动时,依据最优互补避碰策略确定动作策略,具体如下:设D1为以p为圆心,r为半径的圆,q为圆内的一点:
医药机器人A对于医药机器人B的τ时间内有碰撞速度集合为:
其中, 和 分别为医药机器人A和医药机器人B的当前位置, 和 分别为医药机器人A和医药机器人B所占据的最大圆半径,表示等比符号,表示医药机器人A的移动速度,t表示医药机器人的移动时刻,τ为大于0的时间常量;
则医药机器人A对医药机器人B在τ时间内最优互补避碰的速度集合为:其中,是以 为起点,指向最接近 边界上的点的向量,
为医药机器人A对于医药机器人B的τ时间内有碰撞速度集合 的边界,其计算公式为:n是以 边界上的点 为起点向外延伸作的法线,其计算公
式为:
医药机器人A对于其它所有医药机器人τ时间内最优互补避碰的速度集合为:其中, 为医药机器人A的最大速率;
确定的动作策略为医药机器人A的移动策略速度:
。
5.根据权利要求1所述的方法,其特征在于,所述基于强化学习的医药机器人移动控制模型训练时,采用double DQN算法,具体如下:以训练好的基于模仿学习的医药机器人移动控制模型的参数对采用double DQN算法的基于强化学习的医药机器人移动控制模型的参数进行初始化;
医药机器人获得当前医药搬运场景即环境状态 ,利用初始化后的采用double DQN算法的基于强化学习的医药机器人移动控制模型输出相应的动作策略 ,当医药机器人根据采用double DQN算法的基于强化学习的医药机器人移动控制模型的在线价值网络做出的动作策略 移动一步后,获得医药搬运场景对应的环境对该动作策略执行后的反馈奖励 ,医药机器人与医药搬运场景对应的环境交互得到下一个时刻的环境状态 ,进而得到探索经验 ,并将其存放至经验回放池中;
进入到下一个时刻的环境状态 的医药机器人再根据所述在线价值网络得到相应的动作策略 ,进而控制医药机器人移动,再次得到探索经验;当经验回放池中的探索经验足够多时,采用double DQN算法的基于强化学习的医药机器人移动控制模型开始利用经验回放池中的探索经验进行误差反向传播,对采用double DQN算法的基于强化学习的医药机器人移动控制模型的参数进行更新,反复从经验回放池中取出经验数组对采用double DQN算法的基于强化学习的医药机器人移动控制模型的参数进行学习直至奖励最大,则采用double DQN算法的基于强化学习的医药机器人移动控制模型训练完毕。
6.根据权利要求5所述的方法,其特征在于,所述采用double DQN算法的基于强化学习的医药机器人移动控制模型中的奖励函数计算公式如下:其中, 为医药机器人A的当前位置, 为医药机器人A要到达的目标位置, 表示衡量医药机器人与医药搬运场景中的其他智能体和障碍物碰撞的危险程度,取值为医药机器人A与离它最近的其他智能体的距离。
7.一种基于模仿与强化学习的医药机器人自主避障系统,其特征在于,包括:场景设置单元:设置医药机器人医药搬运场景;
专家数据构建单元:令医药机器人在设置的医药搬运场景中进行移动,获取环境状态与医药机器人动作策略构成的专家演示二元组数据;
模型构建与初始化单元:构建基于模仿学习和强化学习的医药机器人移动控制模型;
以所述专家演示二元组数据,对基于模仿学习的医药机器人移动控制模型,进行训练;
以训练好的基于模仿学习的医药机器人移动控制模型的参数对基于强化学习的医药机器人移动控制模型的参数进行初始化;
所述基于模仿学习的医药机器人移动控制模型和基于强化学习的医药机器人移动控制模型中的价值网络均采用基于图注意模块的价值网络结构;
训练单元:基于医药搬运场景设置移动步数,令医药机器人与医药搬运场景进行交互训练,训练所述基于强化学习的医药机器人移动控制模型,获得累计奖励最高的基于强化学习的医药机器人移动控制模型;
控制单元:以训练单元的所述基于强化学习的医药机器人移动控制模型,对医药机器人进行自主控制。
8.根据权利要求7所述的系统,其特征在于,基于模仿学习的医药机器人移动控制模型和基于强化学习的医药机器人移动控制模型中的价值网络均采用基于图注意模块的价值网络结构,是指通过图注意模块建立空间特征图处理智能体和障碍物数目不定的场景,并将医药机器人所观察到的医药搬运场景中的智能体和障碍物的距离作为特征输入图注意模块中,医药机器人以及周围场景中的智能体和障碍物分别为基于医药搬运场景建立的智能体和障碍物的空间特征图的一个节点。
9.根据权利要求7所述的系统,其特征在于,所述基于模仿学习的医药机器人移动控制模型,是采用行为克隆算法进行模仿学习;
所述基于强化学习的医药机器人移动控制模型,是采用double DQN算法进行强化学习;
采用double DQN算法的基于强化学习的医药机器人移动控制模型中的奖励函数计算公式如下:其中, 为医药机器人A的当前位置, 为医药机器人A要到达的目标位置, 表示衡量医药机器人与医药搬运场景中的其他智能体和障碍物碰撞的危险程度,取值为医药机器人A与离它最近的其他智能体的距离。
10.一种计算机存储介质,包括计算机程序,其特征在于,所述计算机程序指令被处理终端执行时使所述处理终端执行权利要求1至6任一项所述的方法。