1.基于机器视觉与深度学习的类圆对象识别计数检测算法,其特征在于:包括以下步骤:步骤一、采用工业相机对所要统计的滤棒对象的垂直截面图像进行采集;
步骤二、从获得的垂直截面图像中利用自适应阈值二值化和FindContours()函数获得滤棒对象的感兴趣区域,大小为l×w;
步骤三、将获得的感兴趣区域切成a个A*A像素子图;
步骤四、将获得的a个A*A像素子图放入改进的SAA-unet模型中进行分割;
步骤五、将训练完的a个A*A像素子图进行复原,重新获得感兴趣区域;
步骤六、再将重新获得的感兴趣区域进行滤棒对象的统计计数。
2.根据权利要求1所述的基于机器视觉与深度学习的类圆对象识别计数检测算法,其特征在于:步骤二中通过自适应阈值二值化算法将获得的图像转换为二值化图像,再采用FindContours()函数通过设置参数对二值化图像进行轮廓检测,选择最大的外轮廓区域,作为感兴趣区域;所述参数为image、contours、hierarchy、int mode、int method、Point偏移量;且int mode设置为CV_RETR_CCOMP建立两个等级的轮廓,CV_RETR_TREE建立一个等级树结构的轮廓;int method设置为CV_CHAIN_APPROX_NONE存储所有的轮廓点,相邻的两个点的像素位置差不超过1。
3.根据权利要求2所述的基于机器视觉与深度学习的类圆对象识别计数检测算法,其特征在于:步骤2中通过自适应阈值二值化算法将获得的图像转换为二值化图像,具体算法如下:自适应阈值二值化方法获得二值图
将未经任何处理的垂直截面图像,通过自适应二值化算法获得的二值图,算法如下:用P(n)来表示第n个点的灰度值,T(n)来表示二值化后的值.用fs(n)来表示第n个点之前s个点的灰度值的和,就是其中s表示第n个点之前的累积点数;
用s和另一个变量t,其中t表示一个常数,就可以简单的说明P(n)应该是0还是1了,这个公式就是根据大量现场实验结果来看,这里的s和t最佳的取值范围是s=image.width/8,而t=
15的时候效果最好,且1为黑(背景),0为白(前景);
现在定义T(n)的时候,用的是平均值,也就是说之前扫描过的若干点对于当前点的影响或者说权重是一样的;
所以这里改进成离当前点越近的像素对当前点的影响越大,越远则越小,用距离加权公式g(n)代替T(n);公式如下:颜色计算依赖的扫描顺序一般都是水平扫描的;像素值实际上取决于水平位置上的邻接点的灰度值,竖直方向的像素可以维护前面依次水平扫描产生的g(n)序列,在某个g(n)被使用之前,可以让其和前一个g(n)取一个平均值,这样的话,可以获得这个最终的值;
另外由于需要给定一个初始的迭代值,取g(n)=127*s,127是灰度0~255的中间值。
4.根据权利要求2所述的基于机器视觉与深度学习的类圆对象识别计数检测算法,其特征在于:步骤2中再采用FindContours()函数通过设置参数对二值化图像进行轮廓检测,选择最大的外轮廓区域,作为感兴趣区域,具体方法如下;
采用FindContours()函数获得滤棒对象的感兴趣区域
将经自适应二值化处理后的图像通过FindContours()函数获得滤棒对象的感兴趣区域;先从findContours()函数原型设置参数:findContours(InputOutputArray image,OutputArrayOfArrays contours,OutputArray hierarchy,int mode,int method,Pointoffset=Point());
输入图像image必须为一个2值单通道图像;contours参数为检测的轮廓数组,每一个轮廓用一个point类型的vector表示;hiararchy参数和轮廓个数相同,每个轮廓contours[i]对应4个hierarchy元素hierarchy[i][0]~hierarchy[i][3],分别表示后一个轮廓、前一个轮廓、父轮廓、内嵌轮廓的索引编号,如果没有对应项,该值设置为负数;
通过mode轮廓的检索模式:CV_RETR_CCOMP建立两个等级的轮廓,上面的一层为外边,里面的一层为内孔的边界;如果内孔内还有一个连通物体,这个物体的边界也在顶层;CV_RETR_TREE建立一个等级树结构的轮廓;
通过method轮廓的近似办法:CV_CHAIN_APPROX_NONE存储所有的轮廓点,相邻的两个点的像素位置差不超过1,即max(abs(x1-x2),abs(y2-y1))==1;对二值图像中找出的轮廓,并要在自适应二值化处理后的图像中进行分析获得感兴趣区域。
5.根据权利要求1所述的基于机器视觉与深度学习的类圆对象识别计数检测算法,其特征在于:步骤三中a为80,A*A像素子图为128*128像素子图,并记录切割时子图左上点在原图上坐标生成子图位置序列,保存在txt文件中。
6.根据权利要求1所述的基于机器视觉与深度学习的类圆对象识别计数检测算法,其特征在于:步骤四中,SAA-unet模型训练在采样时采用one-stage目标检测,融合self attention argument模块,并通过focalloss损失函数降低简单的负样本在训练中所占的权重,同时抑制有严重畸变、粘连的滤棒对象目标;
Self-Attention机制流程表示为:
7.根据权利要求6所述的基于机器视觉与深度学习的类圆对象识别计数检测算法,其特征在于:步骤四中:为了加强深层网络中紧凑特征的学习能力,通过SAA-Unet网络在第D1层到第D2层网络部署了Self-Attention Argument模块,其他层保留传统卷积操作;在Self-Attention基础上,通过独立添加相对宽(W)和相对高(H)实现二维相关自注意力;对于像素i=(ix,iy)关于像素j=(jx,jy)的a维Attention计算方式如下所示:qi表示对于i的查询矢量,也就是Q的第i行,也就是长为Dk的矢量;
kj表示对于j的查询矢量,也就是K的第j行,也就是长为Dk的矢量;
和 表示对于相对宽度jx-ix和相对高度jy-iy学习到的嵌入表示,各自均为Dk长度的矢量,对应于r组成的参数矩阵rW和rH是(2W-1,Dk)和(2H-1,Dk);输出的包含位置信息的注意力权重矩阵如下所示:Self Attention Argument模块;采用e×e卷积核对SAA模块得到的编码特征进行组合拼接;最后将输入项通过一个标准f×f卷积得到的feature map和拼接好的编码特征组合成一个新的feature map作为输出结果,以代替常规卷积操作,由于Self Attention Argument均为矩阵操作,所以在计算复杂度方面仅有少量增加;
同时对SAA-unet模型中得损失函数进行专项设计:
8.根据权利要求1所述的基于机器视觉与深度学习的类圆对象识别计数检测算法,其特征在于:步骤五中,将训练完的后的h个A*A像素子图进行图像复原,拼接成被切割前的图片,重新获得感兴趣区域,通过读取子图序列txt文件,读取子图在原图的相对位置,完成原图的重建。
9.根据权利要求1所述的基于机器视觉与深度学习的类圆对象识别计数检测算法,其特征在于:步骤六中,对重新获得的感兴趣区域进行滤棒对象的统计计数包括以下步骤:
1)定位初始滤棒对象:
通过以(l/2,w/2)为中心1.5r为半径,统计像素值大于v的有效点确定起始滤棒位置坐标;参数r为滤棒生产标定半径值,参数v为滤棒生产标定横截面积值,以上变量取值均来自国家烟草产品标准规定;
2)结构元定位圆心;
多个滤棒堆叠满足“圆相切”几何规律,即每个滤棒最多被i个滤棒包围,且近似按照α°/滤棒分布;只要确定一个滤棒的圆心即可推断出相邻滤棒的位置;圆心定位算法流程如下:在图像中央m×m感兴趣区域按匹配寻找第一个结构元位置;该结构元满足所有像素均为n;
对已检测到的结构元按照α1°,α2°,α3°和α4°四个方向进行逐像素移动,当满足结构元出现L像素时停止移动;即确定将结构元移动到边缘位置;
通过对β°/β1°垂直方向和β2°/β3°水平方向上结构元的中心连线取中垂线,其交点可近似确定为滤棒中心;
3)基于隐马尔可夫的圆相切搜索策略;
根据圆相切几何关系,当确定了一个圆心后,相邻的p个圆会出现在方向范围内;只需要确定合适的搜索步长d,即可搜索到p1个方向上相邻圆内的结构元,通过基于隐马尔可夫得圆相切搜索策略,能够有效搜索到滤棒目标;
4)滤棒对象目标统计计数
使用结构元填充与圆相切位置检测算法分别完成滤棒目标的识别与计数,以此完成滤棒对象目标统计计数。
10.根据权利要求9所述的基于机器视觉与深度学习的类圆对象识别计数检测算法,其特征在于:所述3)基于隐马尔可夫的圆相切搜索策略;具体算法如下:根据圆相切几何关系,当确定了一个圆心后,相邻的6个圆会出现在方向O1:30°、O2:
90°、O3:150°、O4:210° O5:270° O6:330°范围内;需要确定合适的搜索步长d,即可搜索到6个方向上相邻圆内的结构元;
根据相切原理,步长d具有一个可变范围:d_min为历史滤棒半径累计平均值r_avg,d_max为3r_avg;为了使6个方向上的圆心定位更准确,通过基于高斯分布来观测搜索步长d大小;
其中μ=2r_avg,σ2=r_avg;
搜索步长d即为高斯分布中观测随机数;
考虑到结构元确定的圆心为近似圆心,且滤棒受到挤压造成形变导致获得的也是近似的圆相切模型;如果能够预测出更优化的搜索步长d与搜索角度O,即可及时释放误差累计,提高整体检测精度;因此,采用隐马尔科夫模型(Hidden Markov Model,HMM)对搜索步长d和搜索角度O进行优化预测;以下称搜索步长缩放比例与搜索角度构成的叠加状态为比例-角度状态;
将搜索步长缩放比例与搜索角度作为待预测值作为HMM的隐藏链,而从圆心出发,向六个方向到边缘的距离xi,其中i=1:6记为HMM的观测链,HMM预测流程;
比例-角度隐藏链状态表示公式,如下所示:
S={S1,S2,...,Sm},m=9
其中缩放比例范围定为±10%,其代表着基于x来缩放搜索步长d;搜索角度O也同时满足±15°阈值范围,即有缩放比例-角度状态序列S,S1=-10%,-15°
S2=-10%,15°
S9=10%,15°;
通过HMM计算,每个xi将对应一个概率最大状态序列Sm,并通过极大似然法计算概率;
滤棒各比例-角度初始概率公式,如下所示:
π={π1,π2,...,πm},m=9
其中πi表示状态Si的初始概率;
经过统计分析可以得出任意的状态Si出现的次数为Ni,经过一步转移的匹配的状态Si到另一状态Sj,则状态转移概率公式,如下所示:将所有滤棒匹配比例-角度状态Si的一步转移概率以矩阵的形式列出,则会得到一个9×9的一步转移概率矩阵:由此可以确定隐藏的马尔科夫链,其状态转移过程;
实验发现,状态Si和xi服从高斯分布;状态Si所对应的xi个数记为N′i;
因为xi与Si存在一一对应的关系,所以Ni=N′i;xi的高斯密度函数的均值μi和方差为:由于不同方向状态Si对应的距离x计算得到的均值μi和方差 不同,所以在同一距离xk对应不同比例-角度Si发生概率也不同;给定距离xk,其发生概率为:根据Viterbi算法,只需要使
概率最大,即可实现xi对应的比例-角度Si概率预测;
通过上述几何关系,设计了一种可以实现快速识别定位。