欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024117582268
申请人: 吉林大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于3d视觉的挖掘机位姿识别方法,其特征在于,包括以下步骤:步骤S1、选取关键点,根据关键点建立实际挖掘机数据集和合成图像数据集;

步骤S2、使用YOLOv8x-pose-p6作为预训练模型进行训练;

步骤S3、对挖掘机进行运动学建模,得到投影3d坐标;

步骤S4、将投影3d坐标进行坐标变换,获得关键点的投影2d坐标;

步骤S5、对估计2d坐标进行预处理;

步骤S6、建立优化目标函数;

步骤S7、结合全局优化算法和局部优化算法,计算挖掘机最佳3d位姿;

步骤S8、对3d位姿进行平滑处理,使挖掘机位姿变化连续;

所述步骤S6的具体过程如下:

将关键点的投影2d坐标和估计2d坐标之间的误差最小化作为目标,优化得到中的位姿变量;关键点包括动臂铰点、斗杆铰点、铲斗铰点、铲斗尖点、动臂油缸铰点、斗杆油缸铰点和铲斗油缸铰点,位姿变量包括回转中心轴到地面的交点在相机坐标系下的坐标、回转角、动臂关节转角、斗杆关节转角、铲斗关节转角和倾斜角这八个变量;建立投影误差函数,将变量求解问题转换为优化问题:首先将与之间距离差的加权和作为目标函数:

;

其中,为第个关键点对应的和坐标差绝对值的权值,始终保持;

然后使用和计算动臂铰点和斗杆铰点间的估计长度、投影长度,斗杆铰点和铲斗铰点间的估计长度、投影长度,铲斗铰点和铲斗尖点间的估计长度、投影长度,并将各估计长度与投影长度之差的和作为目标函数:;

其中,为相邻点之间的估计长度;为相邻点之间的投影长度;

最终目标函数为:

;

最后对和进行归一化和无量纲化,设定为动态权值;

所述步骤S7的具体过程如下:

使用全局优化算法对目标函数进行优化,得到最佳的投影2d坐标及3d位姿变量;

引入早停机制,当优化迭代次数>50次且适应度函数变化<1时,优化停止;同时,利用视频前后帧中挖掘机运动连续、位置接近的特点,即时间信息,将上一帧优化的结果作为初始值,使用局部优化算法缩小搜索范围并加快运算速度;

基于挖掘机的运动学特性和物理约束设计全局优化和局部优化的执行条件:a.每60帧执行1次全局优化;

b.当帧与帧中关键点的2d坐标值差大于阈值时,认为局部优化错误,执行全局优化;

c.当帧中优化后的点和真实点坐标值差大于阈值时,调用全局优化;

在其他情况下选择局部优化。

2.根据权利要求1所述的基于3d视觉的挖掘机位姿识别方法,其特征在于,所述步骤S1的具体步骤如下:步骤S11、选择关键点并设计标签;

选取七个关键点:动臂铰点、斗杆铰点、铲斗铰点、铲斗尖点、动臂油缸铰点、斗杆油缸铰点和铲斗油缸铰点;

设计关键点标签,包含一个挖掘机包围框和七个关键点,其中、分别代表横、纵坐标;代表可见性,0为超出视图、1为遮挡、2为可见;

步骤S12、建立实际挖掘机数据集和合成图像数据集;

建立实际挖掘机数据集:通过在土方作业现场拍摄挖掘机,并进行手动标签标注,然后进行离线增强;

建立合成图像数据集:利用Blender建立挖掘机虚拟模型,模拟环境并随机化参数合成不同图片,同时提取挖掘机关键点的3d坐标,并将其投影为2d坐标,生成对应的标签文件。

3.根据权利要求2所述的基于3d视觉的挖掘机位姿识别方法,其特征在于,所述步骤S2的具体过程为:使用YOLOv8x-pose-p6作为预训练模型,对实际挖掘机数据集和合成图像数据集进行训练,以识别挖掘机的关键点和包围框。

4.根据权利要求3所述的基于3d视觉的挖掘机位姿识别方法,其特征在于,所述步骤S3的具体过程如下:通过标准D-H法建立挖掘机运动学模型,得到相邻连杆i-1到i间的坐标变换矩阵:;

其中,代表从第i-1个连杆的坐标系到第i个连杆的坐标系的变换矩阵;为沿轴方向,轴到轴的距离;为绕轴,轴到轴的旋转角度;为沿轴方向,轴到轴的距离;为绕轴,轴到轴的旋转角度,为回转角;为动臂关节转角;为斗杆关节转角,为铲斗关节转角;为旋转矩阵,表示第i个关节相对于第i-1个关节的旋转;为平移矩阵,表示从第i个关节相对于第i-1个关节的平移;

利用坐标变换矩阵,求出所选七个关键点在挖掘机坐标系下的3d坐标,其中下标为关键点序号,上标为所在坐标系的序号;

将各点的笛卡尔坐标乘以倾斜角相关的旋转矩阵,得到考虑地面不平整的挖掘机运动学模型;

;

;

其中,为加入倾斜角后关键点的新的投影3d坐标;为加入倾斜角后回转中心轴与地面的交点的新的投影3d坐标;为回转中心轴与地面的交点坐标;

在建立挖掘机运动学模型并计算其关键点的3d坐标时涉及的位姿变量包括回转中心轴到地面的交点在相机坐标系下的坐标、回转角、动臂关节转角、斗杆关节转角、铲斗关节转角和倾斜角这八个变量。

5.根据权利要求4所述的基于3d视觉的挖掘机位姿识别方法,其特征在于,所述步骤S4的具体过程如下:将关键点的投影3d坐标转换到像素坐标系中的2d坐标(,),表示为:;

其中,为像素坐标系中的2d坐标;T为转置操作;为内参矩阵;为外参矩阵;为第个关键点在相机坐标系下的坐标;

对关键点坐标进行畸变矫正,经畸变矫正后,关键点在像素坐标系下的投影2d坐标为:;

其中,为畸变矫正后的像素坐标系下关键点的投影2d坐标;,为由相机标定确定的畸变参数,为第个关键点原始坐标值到图像中心的距离。

6.根据权利要求5所述的基于3d视觉的挖掘机位姿识别方法,其特征在于,所述步骤S5的具体过程如下:选定第一帧中挖掘机在图像中的位置,并依次检测后一帧中与其位置最相近的挖掘机,以剔除其他挖掘机,同时利用挖掘机包围框的面积大小作为辅助判据以排除其他挖掘机;当发生遮挡时,对每一帧中每个2d点坐标进行离群值检测和拟合修补。

7.根据权利要求1所述的基于3d视觉的挖掘机位姿识别方法,其特征在于,所述步骤S8的具体过程如下:在重构出完整的挖掘机位姿后,使用快速傅里叶变换分解出位姿曲线的不同频率;采用低通滤波器去除位姿曲线中的高频部分,保留低频的部分;最后使用移动窗口法将曲线平滑,使挖掘机位姿变化连续。