欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2024113607590
申请人: 南京晓庄学院
专利类型:发明专利
专利状态:已下证
专利领域: 手动工具;轻便机动工具;手动器械的手柄;车间设备;机械手
更新日期:2025-05-29
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于机器视觉的机器人运动轨迹监测方法,其特征在于:包括:(S1)获取机器人运动轨迹数据信息数据;并将获取到的数据信息通过窄带物联网模块NB-IoT模块传输;

在本步骤中,设立多个摄像机通过相互投影的方式进行交叉采集机器人运动图像3D与2D光学标记,计算出成像视差快速实现机器人运动图像采集过程;

(S2)采集数据后经过云端服务器直接传输到无线基站,

应用NB-IoT模块通过串口得到机器人关节的角位移、角速度、角加速度、力和力矩数据信息,对数据进行处理,若数据异常则本地直接报警,并进行数据打包;

在本步骤中,通过双目立体机器视觉技术对机器人运动图像进行识别,通过多个摄像机视野中的机器人光学标记的三维坐标,数据处理由无线或电缆连接的外部数据处理单元执行,依据摄像机坐标系与机器人在空间中的真实坐标点重合情况下的透视变换公式求解机器人空间点的三维坐标,进而实现运动轨迹进行边缘化监测;

(S3)通过采样机器人运动图像信息进行运动轨迹特征点细节化检测,图像信息的采集过程之后输入到计算机进行图像预处理,通过混合边缘检测的机器视觉识别算法,直方图均衡算法通过对采样数据的灰度分布,利用累计分布函数提高图像的清晰度,提高语段轨迹特征点检测精度;同时,机器人运动轨迹检测系统设置多个故障复位指令,保证在系统运行中产生故障问题能够及时停机复位;

在本步骤中,通过透视变换函数实现机械手轨迹跟踪;

(S4)输出监测结果。

2.根据权利要求1所述的一种基于机器视觉的机器人运动轨迹监测方法,其特征在于:NB-IoT模块的控制器硬件采用ARM+FPGA的控制方式,主控制器使用STC12C5A60S2单片机,内部集成了64K的程序存储器和四个十六位定时器。

3.根据权利要求2所述的一种基于机器视觉的机器人运动轨迹监测方法,其特征在于:FPGA模块包含XC7K325T-2FFG900C芯片,具有16个高速收发机,每个数字通道有两个高速收发器。

4.根据权利要求1所述的一种基于机器视觉的机器人运动轨迹监测方法,其特征在于:图像数据处理方法为:构建透视变换函数实现摄像机坐标系与机器人在空间中真实坐标点重合情况下的透视变换,透视变换函数中三维空间点Mj的X轴坐标表示为:(1)

式(1)中,X1和Z1分别表示三维空间点在实际空间中的X轴和Z轴的坐标,在另一台摄像机上,Mj点在X轴的坐标表示为X2;Mj表示机器人运动某个光学标记的3D坐标;j表示非零比例因子;i表示摄像机数目;(xCi,yCi,zCi)表示本地摄像机参考帧CCS中投影中心Ci的坐标;(uij,vij)表示局部摄像机参考帧WCS投影平面中相应图像点Pij的2D坐标;lf表示焦距;三维空间点Mj在两台摄像机上Z轴对应的坐标点则为:(2)

式(2)中,B表示两个摄像头光心的距离,通过简化得到简化函数为:(3)

式(3)中,Z表示三维空间的点与成像平面之间的距离,和 表示其它摄像头在三维空间中对应的坐标点,表示摄像头焦距,D表示视差。

5.根据权利要求1所述的一种基于机器视觉的机器人运动轨迹监测方法,其特征在于:混合边缘检测的机器视觉识别算法方法为:步骤一、对采集到的图像进行预处理;

步骤二、通过改进Canny算法对采集到的图像数据信息进行边缘计算;

改进Canny算法消除边缘漏检和出现伪点现象时,通过改进型3×3的8领域算法,计算x、y、45°和135°方向的机器人运动图像梯度矩阵,8领域算法公式为:(5)

式(5)中,Hx、Hy、H45、H135分别表示x、y、45°和135°方向的机器人运动图像梯度矩阵,通过这些矩阵确定机器人运动轨迹检测节点(x,y)的位置M与方向θ:(6)

步骤三、利用Hough变换方法实现图像数据信息的处理;

使用直方图均衡算法对采样数据的灰度分布,

机器人运动图像灰度级的累积分布函数c定义为:

(7)

式(7)中,k表示灰度程度变量,最大为L级,p表示机器人运动有效区域,i表示序数;

步骤四、通过定位轨迹点确定运动方向,进而确定运动有效区域,对运动轨迹进行识别;

通过对比两种边缘检测算法的机器人运动轨迹点和运动方向,得到高精度的运行轨迹检测数据;混合边缘检测的机器视觉识别算法返回至数据库,然后使用直方图均衡算法对采样数据的灰度分布,利用累计分布函数提高图像的清晰度,确定机器人运动有效区域。

6.根据权利要求5所述的一种基于机器视觉的机器人运动轨迹监测方法,其特征在于:通过改进Canny算法对采集到的图像数据信息进行边缘计算时,通过卷积神经网络对边缘计算的结果进行评估,卷积神经网络计算的方法为:采用加权softmax损失函数来处理重采样段的剩余不平衡,对于Canny算子进行边缘检测结果的训练集记作{x’’, y’’}p,通过损失函数评价各性能参数类型的权重β:(8)

式(8)中,P为Canny算法在计算后性能参数类别总数,表示每次计算后的消耗的能量值,加权softmax损失函数loss计算函数为:(9)

式(9)中,sum’为Canny算法计算结果的样本总和。