1.一种基于通信协作的智能仓储AGV群路径规划方法,其特征在于:包括如下步骤:S1:对要求解的智能仓储二维空间使用栅格地图法进行划分,将自动引导车AGV群移动的现实空间转化为数据结构;
S2:自动引导车AGV使用自身传感器信息进行定位,以自身为中心,对周围环境进行观测空间信息感知,所述观测空间信息包括其它自动引导车AGV位置和障碍物位置,并设计奖励函数、动作空间和神经网络;
S3:在时间步长等于1时,将S2中获得的观测空间信息输入至深度神经网络进行预处理,由输出头生成下一个时间步长使用的消息,自动引导车AGV在当前时间步长的策略由强化学习方法NoisyNet-Duel ing计算得出;
S4:在时间步长大于等于2时,对于某个自动引导车AGV,其通信范围内其它的自动引导车AGV前一个时间步长输出的消息,作为自动引导车AGV当前时间步长通信模块的输入,经过多个计算块,自动引导车AGV在通信后得到由通信融合的消息;自动引导车AGV经过通信后得到的消息与自动引导车AGV经过预处理得到的自身的观测空间信息进行连接,得到最终消息;最后,由输出头输出自动引导车AGV当前时间步长的策略和消息;
S5:直到规划时间小于等于最大时间步长时,每个自动引导车AGV由S4得到当前时间步长的策略,使得自动引导车AGV完成从起始位置到目标位置的移动,从而完成对自动引导车AGV群的路径规划。
2.根据权利要求1所述的一种基于通信协作的智能仓储AGV群路径规划方法,其特征在于:所述步骤S1中对智能仓储二维空间进行划分的具体步骤为:S11:使用栅格地图法对智能仓储环境进行建模,根据智能仓储系统的复杂环境,对其中的物体分类定义为自动引导车AGV、障碍物以及自由网格;
S12:栅格地图法把自由网格标记为1,把被障碍物占据的栅格标记为0。
3.根据权利要求1所述的一种基于通信协作的智能仓储AGV群路径规划方法,其特征在于:所述步骤S2中观测空间、奖励函数和动作空间具体为:在智能仓储的场景下,设计整个路径规划方法的观测空间、奖励函数和动作空间;
其中,观测空间包括自动引导车AGV有限视野内位置、障碍物位置、自动引导车AGV目标位置、启发式通道以及自动引导车AGV指向目标位置的方向向量,具体信息记录在栅格化地图的栅格中;
奖励函数为组合奖励,其中包括内在奖励与外在奖励相加;
外在奖励设计如下:
若自动引导车AGV每移动一步,则得到奖励值-0.5;
若自动引导车AGV保持静止,且该位置为目标位置,则得到奖励值0;
若自动引导车AGV保持静止,且该位置不是目标位置,则得到奖励值-0.5;
若自动引导车AGV发生了碰撞,则得到奖励值-3;
若自动引导车AGV引起了阻塞,则得到奖励值-2;
若自动引导车AGV到达了目标位置,则得到奖励值+20;
内在奖励为:每个自动引导车AGV有一个独立的缓冲区,其容量为K,在每回合的开始时为空;缓冲区的存储位置表示自动引导车AGV已经熟悉的位置;
首先对栅格地图建立直角坐标系,用坐标(x,y)表示当前位置,在每一步中,每个偏离目标的自动引导车AGV首先分别计算其当前位置与缓冲区中所有存储位置之间的欧式距离;如果最大距离大于阈值τ,则自动引导车AGV产生一个内在奖励;
其中,ri表示内在奖励;τ检查自动引导车AGV是否在当前事件中走出了目前位置它所熟悉的定性区域;a的值取决于任务奖励的规模,而b的值决定内在奖励的符号,c是预定义的超参数,c的值决定内在奖励的符号;最终奖励计算为内在奖励与外在奖励之和;在计算任何内在奖励后,每个自动引导车AGV确定其当前最大距离大于或等于阈值τ,则将当前位置坐标(x,y)添加到缓冲区中,如果缓冲区处于满容量K,且当前元素要进入缓冲区,则缓冲区中的随机元素将被当前元素替换;
动作空间为5个方向,包括前、后、左、右四个基本方向以及保持静止。
4.根据权利要求1所述的一种基于通信协作的智能仓储AGV群路径规划方法,其特征在于:所述步骤S3中预处理的具体步骤为:S31:自动引导车AGV有限视野内位置、障碍物位置、自动引导车AGV的目标位置、启发式通道,此7×7×7张量的观测值通道矩阵经过3个卷积层和1个最大池化层,然后,该过程再进行一次,最后经过1个卷积层;
S32:同时,自动引导车AGV指向目标位置的方向向量通过1个全连接层传递;
S33:然后,将S31和S32这两部分观测值编码的结果串接,再经过2个全连接层;
S34:最后,S33的观测值编码结果与上一时间步的隐藏状态输入到LSTM中,赋予每个自动引导车AGV整合过去信息的能力,完成观测值编码,即预处理过程。
5.根据权利要求1所述的一种基于通信协作的智能仓储AGV群路径规划方法,其特征在于:所述步骤S3中自动引导车AGV在当前时间步长生成策略的具体方法为:NoisyNet-Dueling在原始的Dueling DQN的线性全连接层上增加噪声的方法来为每个自动引导车AGV生成策略,参数增加噪声的方法如下:原始的线性全连接层,全连接层的前向计算公式为y=wx+b,其中,w为权重,b为偏置;而加入噪声的线性层表示为其中,qw+kw⊙vw代替w,qb+kb⊙vb替b;
该方法在参数上增加噪声,每次训练后需要重置Noise,即需要重置随机值vw和vb,噪声计算方式如下:其中,f所表示的函数为qw,kw,qb,kb是可学习的,vw和vb为噪声随机变量,vi表示输入噪声,vj表示输出噪声;
在训练过程中,输出策略的损失函数为:
其中,是自动引导车AGV的总回报,是自动引导车AGV在t时刻收到的奖励,st,at是自动引导车AGV在t时刻的状态和动作,为目标网络的参数,μ为在线参数,γ为折扣因子,评估t时刻动作的价值,MSE为均方误差。
6.根据权利要求1所述的一种基于通信协作的智能仓储AGV群路径规划方法,其特征在于:所述步骤S4中自动引导车AGV得到通信融合的消息的具体步骤为:S41:将通信范围内所有自动引导车AGV的上一个时间步长输出的消息输入Embedding,来增强每个自动引导车AGV专属的信息;
S42:将经过Embedding的消息输入计算块,首先,消息经过层归一化方法,然后,在改进的Transformer编码器中使用多头注意力机制对消息之间的动态相互关系进行编码,接着,消息依次经过门控循环单元、层归一化方法、前馈神经网络、门控循环单元,最后,得到自动引导车AGV的中间消息S43:自动引导车AGV将通信后的消息编码为图神经网络中的节点特征和边缘特征来构建通信连接,再对通信连接进行采样,对于中每一条消息进行移除,判断该消息对自动引导车AGV的决策有无影响,使用KL-散度来估计消息对自动引导车AGV的影响D=DKL(P(ai|a-i,o)||P(ai|a-i,o,e));
其中,o为联合观测值,ai为自动引导车AGV自身的动作,a-i为除自动引导车AGV以外的联合动作,D越小表示消息的影响越小;如果该消息不影响最后的决策,那么将自动引导车AGV上与之对应的通信连接标记为冗余,对该消息进行去除,反之,则保留该消息;
S44:将通信机制S42、S43重复计算2次,自动引导车AGV在通信作用下得到的最终消息为
7.根据权利要求1所述的一种基于通信协作的智能仓储AGV群路径规划方法,其特征在于:所述步骤S6中完成对AGV群的路径规划的具体步骤为:S61:由S5决策出每个自动引导车AGV在每个时间步长的策略,每个自动引导车AGV进行一步移动或静止;
S62:所有自动引导车AGV完成各自路径规划任务时,AGV群路径规划结束,其中,由于碰撞导致自动引导车AGV的损坏,无法移动,算作该自动引导车AGV路径规划任务结束,若超过规划的最大时间步长,则结束AGV群路径规划任务。