1.一种高铁车身平面喷涂全覆盖路径规划方法,其特征在于,包括:
步骤1:选定待规划的高铁平面车体,确定喷涂区域;选定合适的喷枪,搭建用于路径规划的栅格地图;
步骤2:不同灰度值表示不同栅格单元的状态、重复程度及Agent实时位置,并构成灰度状态矩阵;定义Agent行动方向;
步骤3:构建多层级特征聚合网络模型,作为Rainbow强化学习框架中的Agent结构;
步骤4:Agent当前位置周围可行动栅格单元的灰度值经过计算转换为方向概率矩阵,并作用于Agent的网络输出;
步骤5:综合环境覆盖程度及栅格单元重复程度,制定奖励函数和路径质量评价指标;
步骤6:在构建的喷涂环境中训练多层级特征聚合网络模型,根据路径质量评价指标,选择最优路径。
2.根据权利要求1所述的高铁车身平面喷涂全覆盖路径规划方法,其特征在于,所述的步骤1具体为:步骤1.1、选定待规划的高铁平面车体,确定车体表面上喷涂位置;
步骤1.2、选定扇幅尺寸为d的喷枪,根据高铁车体平面尺寸H×C和障碍物位置,建立路径规划栅格地图,栅格地图的边缘填充一圈障碍物,栅格地图中的栅格单元为正方形,边长为一个单位长度,栅格地图的尺寸为:其中,H为车体的竖直方向的长度,C为车体的水平方向的长度,GridH为栅格地图竖直方向上栅格单元的数量,GridC为栅格地图水平方向上栅格单元的数量。
3.根据权利要求1所述的高铁车身平面喷涂全覆盖路径规划方法,其特征在于,所述的步骤2具体为:步骤2.1、用灰度值g表示不同栅格单元的状态、重复次数以及Agent的实时位置,栅格地图中每个栅格单元都会被赋予一个灰度值,由此构成灰度状态矩阵:其中,g为灰度值,N为栅格单元重复次数,σ为灰度值衰减幅度;
步骤2.2、Agent行动方向包括上、下、左、右共四个方向,且步长为1个栅格单元,行动时,Agent不可以行动至障碍物区域。
4.根据权利要求1所述的高铁车身平面喷涂全覆盖路径规划方法,其特征在于,所述的步骤3具体为:步骤3.1、构建多层级特征聚合网络模型作为Rainbow强化学习框架中的Agent结构,包括输入处理模块、两个基础模块、两个跟踪模块、聚合模块、展平层、优势价值全连接层和动作价值全连接层;
步骤3.2、输入处理模块包括步长为1的3×3卷积层、层归一化以及ReLU激活函数层;
步骤3.2.1、步骤2.1计算的灰度状态矩阵经过输入处理模块,输出特征为A,特征图尺寸保持不变,提取特征信息,同时保留空间位置信息;
步骤3.3、基础模块包括两个由3×3卷积层、层归一化、ReLU激活函数层、3×3卷积层和层归一化组成的卷积块以及一个由3×3卷积层和层归一化组成的通道调整层;
步骤3.3.1、步骤3.2.1的输出特征A经过第一个基础模块中的第一个卷积块,特征图尺寸减半,输出特征B1;特征A经过第一个基础模块中的通道调整层,特征图尺寸减半,输出特征B2;二者输出合并B1+B2=B3,特征B3经过Relu激活函数层,并经过第一个基础模块中的第二个卷积块处理,特征图尺寸不变,输出特征B4;残差连接合并B3+B4=B5,特征B5再经过ReLU激活函数层,得到激活特征B6;
步骤3.3.2、特征B6经过第二个基础模块中的第一个卷积块,特征图尺寸不变,通道数升为两倍,输出特征C1;特征B6经过第二个基础模块中的通道调整层,特征图尺寸不变,通道数升为两倍,输出特征C2;二者输出合并C1+C2=C3,特征C3经过ReLU激活函数层,并经过第二个基础模块中的第二个卷积块处理,特征图尺寸不变,通道数不变,输出特征C4;残差连接合并C3+c4=C5,特征C5再经过ReLU激活函数层,得到激活特征C;
步骤3.4、第一个跟踪模块包括两个由3×3卷积层、层归一化和ReLU激活函数层组成的卷积块、一个由3×3卷积层和层归一化组成的通道调整层以及一个由3×3卷积层和ReLU激活函数层组成的提取层;第二个跟踪模块包括两个由3×3卷积层、层归一化和ReLU激活函数层组成的卷积块以及一个由3×3卷积层和ReLU激活函数层组成的提取层;
步骤3.4.1、将步骤3.3.2的输出特征C经过第一个跟踪模块中的第一个卷积块,特征图尺寸不变,输出特征D1;残差连接合并C+D1=D2,特征D2再经过第一个跟踪模块中的第二个卷积块,特征图尺寸不变,输出特征D3;残差连接合并D2+D3=D4,特征D4经过第一个跟踪模块中的提取层,特征图尺寸减半,通道数升为两倍,输出特征D5;特征C经过第一个跟踪模块中的通道调整层,特征图尺寸减半,通道数升为两倍,输出特征D6;二者输出合并D5+D6=D7,得到特征D7;
步骤3.4.2、特征D7经过第二个跟踪模块中的第一个卷积块,特征图尺寸不变,通道数不变,输出特征E1;残差连接合并D7+E1=E2,特征E2再经过第二个跟踪模块中的第二个卷积块,特征图尺寸不变,通道数不变,输出特征E3;残差连接合并E2+E3=E4,特征E4经过第二个跟踪模块中的提取层,特征图尺寸不变,通道数不变,输出特征E5;残差连接合并E5+D7=E,得到特征E;
步骤3.5、聚合模块包含两个由3×3卷积层和上采样层组成的合成块;
步骤3.5.1、步骤3.4.2的输出特征E经过第一个合成块,特征图尺寸升为两倍,通道数减半,输出特征F1;特征F1与步骤3.3.2的输出特征C进行残差连接合并,即C+F1=F2,得到特征F2;
步骤3.5.2、特征F2经过第二个合成块,特征图尺寸不变,通道数减半,输出特征F3;特征F3与步骤3.3.1的输出特征B6进行残差连接合并,即F3+B6=F4,得到特征F4;
步骤3.6、特征F4经过展平层进行展平操作后,分别经过优势价值全连接层和动作价值全连接层处理,得到优势值Advantage和动作值Value,二者经过公式(3)的处理后得到Agent的输出O:其中,表示Advantage的平均值,O表示初始Q值数组。
5.根据权利要求1所述的高铁车身平面喷涂全覆盖路径规划方法,其特征在于,所述的步骤4具体为:步骤4.1、在当前的灰度状态矩阵中,找到Agent当前的位置,即灰度值为170的栅格单元,将其上、下、左、右四个邻近栅格单元的灰度值添加至数组Pixel中;
步骤4.2、数组Pixel中的元素根据公式(4)的规则修改为相应的值:
其中,Pixel[i]表示Pixel数组中第i个元素的值;
步骤4.3、Pixel数组经过SoftMax函数处理变为方向概率数组Action Mask;
步骤4.4、按照公式(5)的方法进行如下操作:Action Mask作用于步骤3.6的Agent的输出O,得到修正后的Q值数组,并将修正后的Q值数组中值为0的元素替换为-∞:
6.根据权利要求1所述的高铁车身平面喷涂全覆盖路径规划方法,其特征在于,所述的步骤5具体为:步骤5.1、制定奖励函数,根据Agent不同的行为,给予其不同的奖励值,将Agent的动作量化成具体的数值:其中,si表示第i步行动产生的回报,i表示第i步,Vf表示有效行动步奖励基数,α表示有效行动步数的折扣因子,Vn表示有效行动步次数,i is Valid Step表示第i步是有效步骤,If表示无效行动步奖励基数,β表示栅格单元重复次数的折扣因子,Gr表示栅格重复次数,iis Invalid Step表示第i步是无效步骤,EPR表示全覆盖完成奖励,Cover Ratio表示覆盖率;
步骤5.2、制定路径评价指标,路径评价指标包括环境覆盖率c、路径重复率r和路径总回报R,环境覆盖率c达标是完成任务的前提,路径重复率r和路径总回报R是覆盖路径最优解的评判依据:R=∑sn (9);
其中,Nc是已覆盖栅格单元数,N是环境中需覆盖的栅格单元总数,S是覆盖路径消耗的步数,Sn是第n步行动产生的回报。
7.根据权利要求1所述的高铁车身平面喷涂全覆盖路径规划方法,其特征在于,所述的步骤6具体为:步骤6.1、构建步骤1.2的喷涂环境,定义强化学习的训练参数;
步骤6.2、重置喷涂环境、Agent起点、路径奖励及Reply Buffer,Reply Buffer用于存放过往的行动信息;
步骤6.3、将步骤2.1的灰度状态矩阵记为State,State作为步骤3构建的多层级特征聚合网络的输入,网络输出O;
步骤6.4、按照步骤4的方法将Action Mask作用于O,得到修正后的Q值数组,并将修正后的Q值数组中值为0的元素替换为-∞;Agent选取修正后的Q值数组中最大的元素对应的动作a并执行;
步骤6.5、Agent行动后,灰度状态矩阵更新为State′,环境根据奖励函数反馈单步行动奖励si、任务完成标志d、当前的覆盖率c、重复率r和路径总回报R;
步骤6.6、(State,a,si,State′,d)作为一次完整的行动过程被存放进Reply Buffer;
步骤6.7、若Reply Buffer中的经验数量达到预设值,则从中抽取Batch Size个经验,用于训练Agent,训练完成后,执行步骤6.8;若Reply Buffer中的经验数量未达到预设值,直接执行步骤6.8;
步骤6.8、若任务完成标志d为True或者Agent行动次数达到最大次数,则中止任务,跳转至步骤6.2,继续循环;
否则,将当前的灰度状态矩阵记为State,State作为最新的多层级特征聚合网络的输入,网络输出O,执行步骤6.4;
步骤6.9、若步骤6.2-步骤6.8的迭代轮数达到最大轮数,则退出任务,根据路径评价指标,选出最优的覆盖路径并绘图。
8.一种高铁车身平面喷涂全覆盖路径规划系统,其特征在于,包括:
喷涂环境搭建模块,用于根据高铁车体平面尺寸、喷枪喷涂扇幅尺寸和障碍物位置,搭建用于路径规划的栅格地图;
状态行动空间构建模块,用于构建Agent的灰度状态矩阵以及行动空间;
多层级特征聚合网络模块,用于构建多层级特征聚合网络模型,并将多层级特征聚合网络模型作为Rainbow强化学习框架中的Agent模型结构;
动作掩码模块,用于将Agent当前位置周围可行动栅格单元的灰度值经过计算转换为方向概率矩阵,并作用于Agent的网络输出;
奖励与指标模块,用于综合环境覆盖程度及栅格单元重复程度,制定奖励函数和路径质量评价指标;
模型训练模块,用于在构建的喷涂环境中训练多层级特征聚合网络模型,根据路径质量评价指标,选择最优路径。