欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 201910693936X
申请人: 江南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-10-10
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于颜色和三维几何信息的水果点云分割方法,其特征在于,所述方法包括:获取自然场景下的果树的彩色图像、深度图像和三维点云数据;

对于每个像素,在所述彩色图像中提取所述像素的HSV颜色特征,利用所述三维点云数据存储的法向量信息在所述深度图像中提取所述像素的法线方向直方图特征;

对每个像素的所述HSV颜色特征和法线方向直方图特征进行特征融合得到特征向量,利用预先训练的分割模型对所述特征向量进行分类得到初步分割区域,所述分割模型基于支持向量机训练得到;

将所述初步分割区域对应的彩色图像和深度图像处理为三维点云数据,记为预分割点云数据,利用各个所述预分割点云数据的位置信息对所述预分割点云数据进行欧式聚类为若干个点云团;

提取每个所述点云团的视点特征直方图,分别利用预先训练的第一判断模型和第二判断模型根据所述每个点云团的视点特征直方图判断所述点云团是否属于水果点云团,所述水果点云团是包括水果的点云团,所述第一判断模型基于k近邻算法训练得到,所述第二判断模型基于随机森林算法训练得到;

根据所述第一判断模型和第二判断模型的判断结果筛选出所有点云团中的水果点云团。

2.根据权利要求1所述的水果点云分割方法,其特征在于,利用所述三维点云数据存储的法向量信息在所述深度图像中提取所述像素的法线方向直方图特征,包括:利用所述三维点云数据包括的每个像素在空间坐标系的x、y、z通道的坐标值计算各个像素处的法向量的坐标值,各个像素处的法向量的坐标值存储在所述三维点云数据中;

对于所述深度图像中的每个像素,利用所述三维点云数据存储的各个像素处的法向量的坐标值计算每个像素的法向量与所述像素的3邻域内其余8个像素的法向量之间的夹角的余弦值;

将计算得到的8个余弦值按从小到大的顺序排列形成所述像素的法线方向直方图特征。

3.根据权利要求2所述的水果点云分割方法,其特征在于,所述利用所述三维点云数据包括的每个像素在空间坐标系的x、y、z通道的坐标值计算各个像素处的法向量的坐标值,包括:

根据每个像素的z通道的坐标值Z(i,j)构建图像在像素p(m,n)处的z通道的积分图Iz,表示为 i,j为参数;

计算像素p(m,n)处的水平向量vph=(vphx,vphy,vphz)和垂直向量vpv=(vpvx,vpvy,vpvz),计算公式为:

其中,表达式X()表示像素的x通道的坐标值,表达式Y()表示像素的y通道的坐标值,表达式S()表示需要平滑的矩形区域的像素均值,r是需要平滑的矩形区域的内径,其中表达式S()的通用计算公式为:

根据所述水平向量和所述垂直向量计算所述像素p(m,n)处的法向量的坐标值为np=vph×vpv,符号×表示外积。

4.根据权利要求1所述的水果点云分割方法,其特征在于,将所述初步分割区域对应的彩色图像和深度图像处理为三维点云数据,包括:利用所述彩色图像为引导将所述深度图像中除所述初步分割区域之外的区域的像素的值置零得到初步分割的深度图像;

按照如下公式将所述初步分割的深度图像中的每个像素p(m,n)转换到三维空间:其中,g为所述初步分割的深度图像中像素p(m,n)的灰度值,camera_f为参数且取值与g的单位对应,camera_cx和camera_cy为图像的中心位置,camera_fx和camera_fy为深度相机的内部参数。

5.根据权利要求1所述的水果点云分割方法,其特征在于,所述提取每个所述点云团的视点特征直方图,包括:

根据所述点云团的视点和中心点确定视点方向为Vp-Pc,其中,Vp为所述点云团的视点,Pc为所述点云团的中心点;

对于所述点云团上任一点Pi,计算所述视点方向与该点Pi的法向量ni之间的夹角为βi=arccos;

对于所述点云团上任一点Pi,计算所述点云团的中心点与该点Pi的平移角α、倾斜角φ、偏航角θ和距离d,计算公式为:α=V·ni;

θ=arctan(W·ni,U·ni);

d=||Pi-Pc||2;

其中,U、V、W是一组标准正交基,U=nc、V=(Pi-Pc)×U、W=U×V,nc为中心点Pc的法向量;

统计所述视点方向与所有点的法向量之间的夹角并分为128个区间,将所述中心点与所有点的平移角、倾斜角、偏航角和距离分别分为45个区间,总共得到308维的特征直方图即为所述视点特征直方图。

6.根据权利要求1-5任一所述的水果点云分割方法,其特征在于,所述利用各个所述预分割点云数据的位置信息对所述预分割点云数据进行欧式聚类为若干个点云团,包括:对于任意一个所述预分割点云数据,计算所述预分割点云数据与每一个邻近点之间的欧氏距离D为: (x1,y1,z1)是所述预分割点云数据的位置信息,(x2,y2,z2)是邻近点的位置信息;

若所述预分割点云数据与邻近点之间的欧式距离小于距离阈值,则确定所述预分割点云数据与所述邻近点属于同一个点云团,否则确定所述预分割点云数据与所述邻近点属于不同的点云团;

遍历空间内所有预分割点云数据完成聚类,将所有预分割点云数据划分为若干个点云团。

7.根据权利要求1-5任一所述的水果点云分割方法,其特征在于,所述方法还包括:选取训练图片,获取各个所述训练图片的彩色图像、深度图像和三维点云数据;

人工选取各个所述训练图片中的水果区域像素和非水果区域像素,所述水果区域像素是所述训练图片中水果所在的区域的像素,所述非水果区域像素是所述训练图片中不包含水果的区域的像素;

根据各个所述训练图片的彩色图像、深度图像和三维点云数据提取各个所述训练图片中每个像素的HSV颜色特征和法线方向直方图特征;

基于支持向量机,采用十折交叉验证寻优,利用各个所述训练图片中的水果区域像素和非水果区域像素及各自对应的HSV颜色特征和法线方向直方图特征训练得到所述分割模型。

8.根据权利要求7所述的水果点云分割方法,其特征在于,所述方法还包括:利用所述分割模型对各个所述训练图片进行初步分割,并将初步分割的彩色图像和深度图像处理为三维点云数据进行欧式聚类为若干个点云团;

提取各个所述训练图片中各个点云团的视点特征直方图;

人工将各个点云团分为水果点云团和非水果点云团,所述非水果点云团是不包括水果的点云团;

基于k近邻算法,利用各个所述训练图片中的水果点云团和非水果点云团及各自对应的视点特征直方图训练得到所述第一判断模型;

基于随机森林算法,利用各个所述训练图片中的水果点云团和非水果点云团及各自对应的视点特征直方图训练得到所述第二判断模型。