1.一种由注意力融合三特征的机器人场景识别与解析方法,其特征在于:包括如下步骤:
步骤1,检测图片以进行物品识别,对已检测出的物品提取特征图,将其送入全连接层网络一,全连接层网络一输出向量中最大值对应的索引为该场景中物品的标签;全连接层网络一的结构为(512,126,68);
步骤2,检测图片以进行物品识别,对已检测出的物品提取特定卷积层上的特征图,构造物品单体描述信度,基于由物品单体描述信度构成的物品向量来描述图像涉及的物品整体特征;
步骤2中,包括如下分步骤:
步骤2.1,用特征图卷积法得到物品单体描述信度;对于物品识别算法,找到其捕捉物品特征的卷积层,对已检测出的物品提取该卷积层上的特征图,将卷积层上该物品的特征图用与特征图相同深度的卷积核进行卷积,并将所有的卷积结果求和,将所得值作为物品单体描述信度;
步骤2.2,利用物品单体描述信度构造的物品向量结构如下所示:
其中 表示物品类Oi的第j个物品单体描述信度,元素所处的位置隐含了物品类别的信息,对于第k类物品设检测器实际输出物品数量为N'k,首先依照物品识别算法给出的置信度从大到小的顺序将对应的物品单体描述信度放置在该物品向量类Ok所属的位置若N'k为0,则将Ok中各个元素全部设为0;若N'k大于Nk,则取N中前Nk个数据,若N'k小于Nk,则将不足Nk的部分补0;将O1到Ok进行拼接,得到物品向量;
步骤3,对卷积神经网络VGG的全连接层网络进行改造,并记为全连接层网络二,向网络中输入图片,将全连接层网络二的倒数第二层的输出作为全局特征;全连接网络二的结构为(25088,4096,286,15);
步骤4,对于卷积神经网络VGG卷积层的最后一层的输出形式整理并求其格拉姆矩阵,设计全连接层网络三,将格拉姆矩阵作为输入,输出相应的风格特征;全连接层网络三的结构为(1225,286);
步骤5,通过全连接层网络四结合注意力机制,将物品特征、全局特征与风格特征进行融合,得到该场景的融合注意力向量;全连接层网络四的结构为(27,12,3);
步骤5,包括如下分步骤:
步骤5.1,对于某一场景类别数量为X个,每一张场景图片的全局向量的长度为R维,物品特征为T维,风格特征为J维,则首先对该场景类别的三种特征分别进行堆叠,得到的结果为大小为(X,R)的场景全部全局特征、大小为(X,T)的场景全部物品向量和大小为(X,J)的场景全部风格特征;
步骤5.2,设置LSTM记忆步长为S,将场景全部全局特征与全部风格特征中连续的S个向量继续进行堆叠,形成结构为(X‑S,S,R)的全局特征与结构为(X‑S,S,J)的全部风格特征;
步骤5.3,将全局特征送入LSTM网络一,并取网络最后一个时间步长的输出,寻找输出向量中前N个最大的值,并将其作为全局注意力向量;将风格特征送入LSTM网络二,并取网络最后一个时间步长的输出,寻找输出向量中前L个最大的值,并将其作为风格注意力向量;同时寻找物品向量前M个最大值对应的索引并除以该物品特征向量的长度,并将其作为物品注意力向量,将三个注意力向量进行拼接,形成融合特征;
步骤5.4,提出了全连接层网络四,将融合特征送入全连接层网络四,全连接层网络四的输出维度为3,并对出输出值归一化,得到3个归一化输出,分别对应于全局特征的权重、风格特征的权重与物品特征的权重,分别将其与原全局特征、风格特征相乘,得到加权后的三特征向量;将3个加权特征向量进行拼接,得到融合注意力向量;
步骤6,通过全连接网络五,将步骤(5)得的融合注意力向量输入,输出的向量中最大值对应的索引为预测场景的对应标签;全连接层网络五的结构为(1024,512,126,15);
步骤7,整理步骤1和步骤6的输出,最终得到该场景的物品标签与该场景的标签。
2.根据权利要求1所述的一种由注意力融合三特征的机器人场景识别与解析方法,其特征在于:步骤1中,对于采用的物品识别算法,找到其捕捉物品特征的卷积层,对已检测出的物品提取该卷积层上的特征图,对其进行flatten操作并送入全连接层网络一,全连接层网络输出向量最大值的索引为物品标签。
3.根据权利要求1所述的一种由注意力融合三特征的机器人场景识别与解析方法,其特征在于:步骤3中,令卷积神经网络CNN的最后一层全连接层网络神经元数量等于要识别的场景数量,并指定标签,令倒数第二层的全连接层网络神经元个数等于物品向量维数,并将该层的输出作为该场景全局特征。
4.根据权利要求1所述的一种由注意力融合三特征的机器人场景识别与解析方法,其特征在于:步骤4中,包括如下分步骤:步骤4.1,将卷积层输出进行形状整理,并用以求解出格拉姆矩阵;
步骤4.2,对于形式上为对角阵的格拉姆矩阵,以对角线为划分保留其右上角部分,将其进行flatten操作,并将结果送入后续全连接层网络三;
步骤4.3,将全连接层网络三输出作为该图片的风格特征。