欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022104202806
申请人: 江苏大学
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2025-07-25
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于特征融合图神经网络的茶叶嫩梢检测方法,其特征在于,包括如下步骤:步骤(1):数据的获取,使用光阱获得待检测目标的点云及RGB图像;

步骤(2):使用卷积神经网络CNN对二维图像进行特征提取;

步骤(3):对点云应用关键点检测算法,检测关键点;

步骤(4):将图像特征与点云特征相融合;

步骤(5):建立图结构,使用步骤(3)检测到的关键点作为顶点并建图;

步骤(6):使用图神经网络对于茶叶嫩梢位置进行预测;

步骤(7):生成预测框;

步骤(8):soft-NMS算法生成最佳预测框;

步骤(1)具体包括:

设计了一个由四个平面镜组成的倒金字塔型的光阱,倒金字塔的底部敞开,以便让足够多的光线可以进入到光阱中,在光阱上方以斜45°放置另一面平面镜,使用TOF传感器向平面镜发射光束,将被观测物体放置在倒金字塔的底部,光束经过多次反射可覆盖物体表面99%以上的面积,并且得到所有点的三维坐标:dtotal表示从ToF传感器位置出发到触碰到目标物体表面光线走过的总路程,dk表示在两次反射之间光线走过的距离,d表示光束最后一次触碰到镜面到被测物体表面的距离;

dmeans是由ToF传感器测量到的总距离,由于光的反射定理,光束会沿着原路径返回传感器,所以实际距离是所测量到的距离的一半,其中dk也可被计算为光束与下一次镜面反射的位置减去上一次镜面反射位置,即dk=pk+1-pk,其中pk是光线在镜面第k次反射的反射点位置,而pk+1可由计算所得,是沿着光束反射方向的单位方向向量,由斯涅耳定律计算得到nk是镜面的法线方向,当知道ToF的初始位置p0和初始入射光线的方向向量r0即可递归的计算出所有k∈[1...K]的pk和由此便可得到被测物体的三维坐标,并进一步得到被测物体的三维点云。

2.根据权利要求1所述的一种基于特征融合图神经网络的茶叶嫩梢检测方法,其特征在于,步骤(2)的具体过程为:将二维图像输入预训练的resnet50网络进行图像特征的提取,Resnet50包括一个identity_block和一个conv_block,最后得到一个深度为2048的特征向量。

3.根据权利要求1所述的一种基于特征融合图神经网络的茶叶嫩梢检测方法,其特征在于,步骤(3)具体包括:使用一种基于点云显著性的关键点提取算法,包括一个显著性计算模块和关键点生成模块;将显著性定义为预训练描述符特定层上的特征激活信号和同一层相对于输入点云的梯度的组合,利用预先训练好的描述符网络直接从3D数据生成鲁棒的关键点;然后将显著性投影到输入点云的球坐标系中,提取信息量最大的区域,将这些区域与原始描述符的特征相结合,以提取鲁棒且可重复的关键点;关键点检测算法通过将点云显著性方法、每点原始特征以及点云上下文特征得到的特征向量融合后输入进两个全连接层来得到最终的关键点的预测。

4.根据权利要求1所述的一种基于特征融合图神经网络的茶叶嫩梢检测方法,其特征在于,步骤(4)的具体过程为:利用resnet50得到的二维图像特征与点云特征通过concatenate函数融合在一起,得到新的特征向量,并把融合得到的新的特征向量作为后续图结构的初始特征。

5.根据权利要求1所述的一种基于特征融合图神经网络的茶叶嫩梢检测方法,其特征在于,步骤(5)的具体过程为:一个图结构包括了边和顶点两个元素,即G=(V,E),其中V表示图结构的顶点V={v1,v2,…,vn},将步骤(2)检测到的关键点作为顶点vi;E是由顶点相互连接得到的边,可以依据一定的条件来得到它:E={(vi,vj)|||xi-xj||2<r}

式中xi与xj分别为不同顶点的横坐标,r为两个顶点之间的距离,每个顶点的特征不仅包含了先前融合得到的初始特征还包含了与之相关联的边的特征,即顶点的特征由Vi=V0更新为Vi=[V0,V1,V2,…,V128]V0,V1,V2,...,V128为与顶点相关联的其余顶点,Vi是更新后的顶点,通过不断地更新顶点的特征,可以根据顶点来判断局部区域物体的类别。

6.根据权利要求1所述的一种基于特征融合图神经网络的茶叶嫩梢检测方法,其特征在于,步骤(6)的具体过程为:a)首先对所采集到三维点云中的茶叶嫩梢以进行手工标定目标框,使得目标框能够刚好包围我们所需要的对象;

b)将得到的图结构作为网络的输入,图神经网络通过聚合边的特征来实现顶点特征的更新,在t+1次迭代后,顶点和边的特征分别更新为其中和分别是顶点和边经过t次迭代后的特征,ft(.)函数计算了两个顶点之间边的特征,ρ(.)将边的特征聚合给顶点,gt(.)计算聚合了边的特征后的顶点特征,随后为每一个顶点关联一个特征提取函数MLP,可以得到:经过t次迭代后,可以用得到的顶点特征来预测目标的类别并获得目标的回归框。

7.根据权利要求1所述的一种基于特征融合图神经网络的茶叶嫩梢检测方法,其特征在于,生成预测框为:通过预测一个四自由度的向量b=(x,y,z,l,h,w,θ)来得到预测框,(x,y,z)坐标是回归框的中心坐标,而(h,w,θ)为预测包围框的长宽以及角度,在初步分类中,顶点被分为前景点和背景点,在前景点中包含着我们所需要的信息,如果顶点落在前景点中,那么它就会被送入负责位置预测的MLPloc,应用Huber Loss预测出回归框,由于同一对象上可能有多个顶点,所以对于同一对象也会生成多个预测框,下一步将使用算法以获得最佳的预测框。

8.根据权利要求1所述的一种基于特征融合图神经网络的茶叶嫩梢检测方法,其特征在于,步骤(8)的具体过程为:利用soft-NMS算法去除产生的多余的预测框,NMS算法是通过计算预测框BoundingBox与真实值Ground Truth的IoU来迭代的筛选最合适的预测框:Soft-NMS引入惩罚系数λ,通过降低置信度的方式筛选最合适的预测框:式中Bi,Bj分别为不同的检测框,Threshold是超参数,经过计算可以得到最终的预测结果。