欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020114000271
申请人: 齐鲁工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 手动工具;轻便机动工具;手动器械的手柄;车间设备;机械手
更新日期:2026-03-04
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于触觉振动信号与视觉图像融合的抓取物识别方法,其特征在于,包括以下步骤:S1,收集22种物体的视觉和触觉数据集;

S2,将S1中收集到的触觉数据绘制成彩色图片;

S3,将S1中获取的视觉图像和S2中获取的触觉图像进行尺寸变换;

S4,对尺寸变换完成的视觉图像和触觉图像进行通道拼接;

S5,输入卷积神经网络,卷积神经网络的全连接层进行分类输出,最终输出识别结果。

2.根据权利要求1所述的基于触觉振动信号与视觉图像融合的抓取物识别方法,其特征在于:所述S1中,收集数据的设备包括kinova六自由度机械臂,机械臂末端腕部安装有RealSense深度相机,相机可以采集深度图向和彩色图像,在机械臂末端夹爪安装有NumaTac触觉传感器,触觉传感器可以采集压力信号和微振动信号,机器人设备与计算机相连,该机器人基于ros系统运行,计算机运行的是ubuntu18.04系统。

3.根据权利要求1所述的基于触觉振动信号与视觉图像融合的抓取物识别方法,其特征在于:所述S1中,视觉数据的收集为通过安装在kinova机械臂末端腕部的RealSense相机拍摄获得彩色图像,在视觉图像的采集过程中为提高数据的可信度,对同一个物体从不同的方向和角度进行拍摄,拍摄过程中开启机械臂的力控功能,用手拖动机械臂至不同位置进行拍摄,图像的获取方式是通过RealSense Viewer保存的,图像的分辨率是1280*720,每个物体从不同方向角度拍摄20张图片。

4.根据权利要求1所述的基于触觉振动信号与视觉图像融合的抓取物识别方法,其特征在于:所述S1中,触觉数据的收集为通过机械臂末端的触觉传感器获得,机械臂运动至被抓取物顶部,然后实施抓取,夹住保持1.5秒,然后松开,对于每次抓取截取三秒触觉振动信号共6600个数据,对每个物体实施20次抓取操作。

5.根据权利要求1所述的基于触觉振动信号与视觉图像融合的抓取物识别方法,其特征在于:所述S2的将S1中收集到的触觉数据绘制成彩色图片的具体步骤为,将触觉数据导入matlab软件中,使用22维振动信号作为触觉数据,提取22维振动信号,使用matlab中resize()函数将其重新整形回一维6600个数据点,然后将一维数据点再次使用resize()函数,将其正形成66*100的矩阵,再使用matlab中的imagesc()函数将矩阵中的元素按数值大小转化成不同的颜色,形成彩色图片。

6.根据权利要求1所述的基于触觉振动信号与视觉图像融合的抓取物识别方法,其特征在于:所述卷积神经网络使用Densnet169模型,并将该模型输入层卷积核的通道数改为6。

7.根据权利要求1所述的基于触觉振动信号与视觉图像融合的抓取物识别方法,其特征在于:所述S1中收集到的视觉和触觉数据集,以8:2的比例分为训练集和测试集,训练过程中使用训练集训练,测试过程中使用测试集测试,训练集和测试集之间没有重复。