欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2018112823972
申请人: 江苏大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-09-26
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于彩色图像和深度图像的重叠颗粒物分层计数方法,其特征在于,包括以下步骤:1)采集同一场景下颗粒物目标的彩色图像和深度图像;2)目标图像预处理操作;3)彩色图像和深度图像的配准;4)彩色图像的处理:包括基于改进的K‑means聚类算法获取颗粒物目标区域,颗粒物的摆放类型的分类和识别,利用圆形度和基于格雷厄姆凸壳算法的颗粒物摆放类型的识别,以及通过插值算法对边缘颗粒物轮廓进行重建和平均面积法完成底层颗粒物的计数;5)深度图像的处理即对其进行阈值分割完成上层目标的提取和分类计数;6)数目汇总完成颗粒物的计数;

步骤4)中,彩色图像的处理中提取目标区域的部分,通过利用基于改进的K‑means聚类算法获取颗粒物目标区域的具体步骤如下:(k)

5.1,随机选取N值,作为初始聚类中心μ ,这里的N是聚类数,k是聚簇索引,k=1,...,N;

5.2,运用下面两个公式分别计算所有数据点的初始协方差矩阵和到聚类中心的距离:

(p) (k) (p) (k) T ‑1 (p) (k) 1/2

D(x ,μ )=((x ‑μ ) ∑ (x ‑μ ))

其中,∑ij是数据点(i,j)的协方差矩阵, 和 是第p个数据点的第i个和第j个分(k)量,μi是全局平均值的第i个分量,μ 是k次簇的聚类中心;

(k)

5.3,计算每个聚类中心的协方差矩阵∑ ,统计簇中的点到其他点的协方差距离之(k)

和,将最小值作为新的聚类中心μ ;

(k)

5.4,重复执行步骤5.3,直至μ 不再发生变化;

5.5,对获取的颗粒物目标图像进行颗粒物轮廓提取。

2.根据权利要求1所述基于彩色图像和深度图像的重叠颗粒物分层计数方法,其特征在于,采集同一场景下核桃目标的彩色图像和深度图像具体方法是:利用Kinect相机,同时获得同一场景下彩色图像和深度图像,深度图像的像素强度对应于距离相机的远近,通过调整拍摄距离获取效果最佳的目标图像。

3.根据权利要求1所述基于彩色图像和深度图像的重叠颗粒物分层计数方法,其特征在于,目标图像预处理操作的具体过程为:将原始深度图像进行灰度变换增强,然后提出一种基于多帧改进的中值滤波方法来修复深度图像,算法步骤:

3.1,在拍摄图片时连续保存多帧图像;3.2,将第一帧图像视为目标图像,并以孤立噪声点和黑洞位置为中心点确定M*N的邻域;3.3,求取多帧图像的相同位置的深度值D的平均值Dave,当深度值D=0时表明该点为黑洞点,视该点为无效点;3.4,对邻域内的Dave取中值Dm,并利用Dm填充黑洞点;3.5,重复执行步骤3.2‑3.4直至目标图像中的全部噪声点及黑洞均被填充。

4.根据权利要求1所述基于彩色图像和深度图像的重叠颗粒物分层计数方法,其特征在于,彩色图像和深度图像的配准操作的具体过程为:针对Kinect的结构造成的彩色图像与深度图像之间的位置误差,会对后续的计数处理造成影响,利用经典的棋盘标定法和Matlab标定包计算出摄像头的内参从而完成RGB摄像头和红外摄像头的标定,根据摄像头标定结果,按照如下方法对深度图像和彩色图像进行配准:设p_d(xd,yd,zd)为深度摄像头坐标系下某点的空间坐标,其中xd,yd单位为像素,将该点转化为真实世界坐标系中对应坐标p_w(xd1,yd1,zd1),转化关系如下:xd1=(xd‑cxd)·zd1/fxd                      (3)yd1=(yd‑cyd)·zd1/fyd                  (4)

2 2

其中c0,c1为深度摄像头内部参数,c为代价函数,δc为彩色相机测量误差的方差,δd 为深度相机测量误差的方差,zd, 分别为原始的视差值和视差的重投影值,pc, 分别为所取点和重投影位置的距离,fxd,fyd为深度摄像头的焦距,cxd,cyd为深度摄像头偏移量;通过式(5)消除深度图像与彩色图像之间的的偏移和旋转的误差值,将p_w(xd1,yd1,zd1)转换到RGB摄像头坐标即p_r(xc,yc,zc),最后利用式(6)、(7)将p_r转化到彩色图像上对应的平面点p_l(x,y),完成图像的配准:p_r=Rp_w+T                                   (5)x=xc.fxc/zc+xc                                    (6)y=yc.fyc/zc+yc                                 (7)其中R为旋转矩阵,T为偏移矩阵,fxc、fyc为彩色摄像头的焦距。

5.根据权利要求1所述基于彩色图像和深度图像的重叠颗粒物分层计数方法,其特征在于,步骤4)中,颗粒物的摆放类型的分类和识别部分,根据颗粒物的形状特征和轮廓特点包括凸点和像素零值,对其进行摆放类型的分类识别,具体描述如下:将目标颗粒物摆放分为单目标颗粒,串粘连类型A,并粘连类型B和重叠类型C几个类型;据目标区域的像素零值将重叠类型C分为底层无完全遮挡的重叠类型C1和底层完全遮挡的重叠类型C2,设定临界阈值T,对配准后的深度图像进行阈值分割并将提取出的目标区域对应至彩色图像以确定重叠类型C,根据目标区域有无像素零值来区分串粘连类型A和并粘连类型B。

6.根据权利要求5所述基于彩色图像和深度图像的重叠颗粒物分层计数方法,其特征在于,所述颗粒物为核桃,考虑到核桃形状为类圆形,且以往常用的连通区域标记的方法只能统计目标个数而无法区分是否为单个颗粒物,利用圆形度来识别和统计单个颗粒物数量,采用双线性轮廓插值算法完成对部分遮挡的串粘连类型A,并粘连类型B和重叠类型C颗粒物轮廓进行重建。

7.根据权利要求6所述基于彩色图像和深度图像的重叠颗粒物分层计数方法,其特征在于,利用圆形度和基于格雷厄姆凸壳算法的颗粒物摆放类型的识别,以及通过插值算法对边缘颗粒物轮廓进行重建和平均面积法完成底层颗粒物的计数的具体描述如下:

8.1,利用格雷厄姆凸壳算法对目标颗粒区域进行外部轮廓凹陷处凸点检测,规定目标的外部轮廓与相邻顶点间连线围成的区域即为外部轮廓凹陷处,并且以两顶点之间连线为一条边在外部凹陷处轮廓上寻找一点使其内接三角形面积最大,则该点即为凹区域上凸点;

8.2,将上述核桃轮廓凸点处像素值赋零值进行断开得到分离后的轮廓;

8.3,由于分离后的核桃轮廓并不是完整的,考虑到处理速度和插值效果,对其进行双线性插值运算,完成核桃轮廓重建,再对其进行填充完成重叠核桃目标的重建,由此可直接得到串粘连类型A,并粘连类型B和底层无完全遮挡的重叠类型C1核桃目标数量;

8.4,对于底层有被完全遮挡的情况即提取不到轮廓的核桃无法进行重建,利用重建的边缘核桃估算单个核桃平均像素点数Ai,根据重叠核桃区域总像素点数Am且规定当Am>

0.5Ai时,核桃数量加1,从而得出底层有完全遮挡的重叠类型C1核桃目标数量;

8.5,将各个类型的核桃数量进行汇总,得到目标区域底部单层核桃的全部数量。

8.根据权利要求1所述基于彩色图像和深度图像的重叠颗粒物分层计数方法,其特征在于,深度图像处理操作,其特征在于:步骤5)具体过程如下:由于深度图像只含有深度信息,将配准后的深度图像进行阈值分割可以提取出重叠区域的上层核桃目标,将重叠区域目标计数转化为单层颗粒物的计数,对提取到的核桃目标区域进行轮廓提取及上述介绍的分类计数,得到上层核桃目标的数量。

9.根据权利要求1所述基于彩色图像和深度图像的重叠颗粒物分层计数方法,其特征在于,数目汇总完成核桃的计数,其特征在于:步骤6)具体过程如下:将由彩色图像处理后得到的底部单层核桃目标的数量与由深度图像处理后得到的上层核桃目标的数量进行汇总,从而完成整个目标区域核桃的计数。