1.一种基于触觉振动信号与视觉图像融合的抓取物识别方法,其特征在于,包括以下步骤:S1,收集22种物体的视觉和触觉数据集;
S2,将S1中收集到的触觉数据绘制成彩色图片;
S3,将S1中获取的视觉图像和S2中获取的触觉图像进行尺寸变换;
S4,对尺寸变换完成的视觉图像和触觉图像进行通道拼接;
S5,输入卷积神经网络,卷积神经网络的全连接层进行分类输出,最终输出识别结果。
2.根据权利要求1所述的基于触觉振动信号与视觉图像融合的抓取物识别方法,其特征在于:所述S1中,收集数据的设备包括kinova六自由度机械臂,机械臂末端腕部安装有RealSense深度相机,相机可以采集深度图向和彩色图像,在机械臂末端夹爪安装有NumaTac触觉传感器,触觉传感器可以采集压力信号和微振动信号,机器人设备与计算机相连,该机器人基于ros系统运行,计算机运行的是ubuntu18.04系统。
3.根据权利要求1所述的基于触觉振动信号与视觉图像融合的抓取物识别方法,其特征在于:所述S1中,视觉数据的收集为通过安装在kinova机械臂末端腕部的RealSense相机拍摄获得彩色图像,在视觉图像的采集过程中为提高数据的可信度,对同一个物体从不同的方向和角度进行拍摄,拍摄过程中开启机械臂的力控功能,用手拖动机械臂至不同位置进行拍摄,图像的获取方式是通过RealSense Viewer保存的,图像的分辨率是1280*720,每个物体从不同方向角度拍摄20张图片。
4.根据权利要求1所述的基于触觉振动信号与视觉图像融合的抓取物识别方法,其特征在于:所述S1中,触觉数据的收集为通过机械臂末端的触觉传感器获得,机械臂运动至被抓取物顶部,然后实施抓取,夹住保持1.5秒,然后松开,对于每次抓取截取三秒触觉振动信号共6600个数据,对每个物体实施20次抓取操作。
5.根据权利要求1所述的基于触觉振动信号与视觉图像融合的抓取物识别方法,其特征在于:所述S2的将S1中收集到的触觉数据绘制成彩色图片的具体步骤为,将触觉数据导入matlab软件中,使用22维振动信号作为触觉数据,提取22维振动信号,使用matlab中resize()函数将其重新整形回一维6600个数据点,然后将一维数据点再次使用resize()函数,将其正形成66*100的矩阵,再使用matlab中的imagesc()函数将矩阵中的元素按数值大小转化成不同的颜色,形成彩色图片。
6.根据权利要求1所述的基于触觉振动信号与视觉图像融合的抓取物识别方法,其特征在于:所述卷积神经网络使用Densnet169模型,并将该模型输入层卷积核的通道数改为6。
7.根据权利要求1所述的基于触觉振动信号与视觉图像融合的抓取物识别方法,其特征在于:所述S1中收集到的视觉和触觉数据集,以8:2的比例分为训练集和测试集,训练过程中使用训练集训练,测试过程中使用测试集测试,训练集和测试集之间没有重复。