1.一种基于嘴部区域的猪只饮水行为和多特征融合的身份识别方法,其特征在于,包括以下步骤:
步骤1,采集视频,对视频分帧并筛选出关键帧作数据集,将数据集划分为训练集、验证集和测试集;利用提出的基于统计分配多阈值的网格点连通分割算法SAM-GPSA对猪图像进行分割;
步骤2,在猪图像上标定饮水口框,并提取其轮廓作为轮廓模板;当轮廓相似性小于95%,初步判断存在饮水行为;再对存在饮水行为的图像,利用改进的Pig-YOLO网络检测嘴部框,当饮水口框与嘴部框的重合度达99%,精确判断存在饮水行为;
步骤3,对分割后饮水猪图像利用局部二值模式中0和1的跃变次数初步选取关键点;再利用提出的均匀网格块非极值剔除算法筛选关键点;然后利用提出的描述符向量融合算法进行关键点特征提取,即利用改进的旋转不变的BRIEF描述符向量和MLBP描述符向量生成旋转不变的均匀关键点二维特征;
步骤4,将分割后的饮水猪图像和关键点二维特征输入多尺度双通道识别网络;利用改进的基于三期动量的步进更新算法对上述网络中的特征融合超参数ε和损失融合超参数γ进行优化选取,获得最优识别网络,实现饮水猪的身份识别;
步骤1中利用提出的基于统计分配多阈值的网格点连通分割算法SAM-GPSA对猪图像进行分割具体包括:
1.1)对图像进行灰度化处理并分块,将分块的四个边的交点作为网格点,便于后续利用网格点进行连通操作;
1.2)根据整张图像的灰度直方图,按背景和前景灰度的峰值位置左右各浮动5%,选取背景灰度值区间和前景灰度值区间,作为整体标准,对每一分块的直方图进行统计,计算在整体标准下的背景和前景灰度值区间内所包含的像素点个数的比例,比例按照四舍五入的方式取整,此时每一比例都会对应一个阈值;通过不同比例下阈值的自适应学习,寻求不同比例对应的最优阈值;利用网格点连通分块中达到阈值的邻接像素点,生成对应的连通块,将连通块合并为连通域,对分割后的图像进行漫水填充和反转漫水填充,消除过分割孔洞;重复执行上述操作,直至达到最佳分割效果;
所述步骤2具体包括:
2.1)在猪图像上标定饮水口区域,获取饮水口框坐标,提取饮水口轮廓作为轮廓模板,提取待识别的图片中饮水口坐标区域内的图片,与轮廓模板进行差分,计算出轮廓相似性;当其相似性小于95%时,认为此时轮廓相似性不足,饮水器不完全处于外露状态,猪只可能发生饮水行为;
2.2)对可能存在饮水行为的图像利用Pig-YOLO网络检测嘴部框,根据饮水口框与嘴部框的重合度来识别饮水行为,若饮水口框与嘴部框重合度达99%,此时饮水口处于猪只嘴部区域中,猪只发生饮水行为;
所述利用Pig-YOLO网络检测嘴部框具体包括:将YOLOv3网络改进为Pig-YOLO网络作为嘴部区域检测网络;
1)在特征提取网络Darknet-53的卷积层后引入批归一化BN层,改善网络反向传播的梯度质量;
2)将非线性激活层改用Leaky Relu层,增强网络的非线性表达能力,保证反向传播的梯度不会消失;
3)调整输出层的锚框参数为(0/1,x,y,w,h),其中1为锚框中有目标,0为锚框中没有目标,(x,y)为锚框左上角的点坐标,w和h分别为锚框的长和宽,调整后的锚框参数适应单目标检测的要求,并且可以有效提升识别速度;
4)调整输出层的目标框为26*26*15、52*52*15和104*104*15,其中26、52、和104为目标框尺寸,15=3*5为目标框的深度,3代表每个目标框位置对应原图的3个锚框,5代表上述锚框5个参数,缩小目标框中每一像素点所对应的原图感受野区域,符合嘴部区域的小目标检测的要求;
所述步骤3中改进的旋转不变的BRIEF描述符具体包括:
a)对关键点邻接的24个像素点进行符合高斯分布的点配对(b,d),并把100个高斯随机配对点作差,按照差的大小排序,选取前8个配对点的差作为8维的特征描述符,并对描述符进行归一化;
b)计算所有关键点的灰度质心点的坐标,选取所有分块中位于中心位置的分块,利用该分块中的关键点作为起始点,将该关键点指向灰度质心点的方向作为主方向,对关键点按照主方向进行相应特征描述符的排列,得出旋转不变的稳定二进制特征BRIEF描述符,灰度质心的计算公式如(1)、(2)、(3)所示:θ=atan2(n01,n10) (3)
其中,nbd为高斯邻域的矩,n00、n01和n10分别为关键点以及其左右邻近点的矩;(b,d)为符合高斯分布规律的随机选值;x和y取值区间均为[-2,2],(x,y)代表以关键点为原点的24个邻接像素点坐标;I(x,y)为邻域内的灰度值;O为质心的坐标;θ为方向角;
所述步骤3中,生成旋转不变的均匀关键点二维特征具体包括:
利用旋转不变的BRIEF描述符向量和旋转不变的MLBP描述符向量生成旋转不变的均匀关键点二维特征,将旋转不变的BRIEF描述符向量按照X方向排列,旋转不变的MLBP描述符向量按照Y方向排列,在对应位置将X方向的值和Y方向的值相加,生成二维特征。
2.根据权利要求1所述基于嘴部区域的猪只饮水行为和多特征融合的身份识别方法,其特征在于,所述步骤3中,初步选取关键点具体包括:遍历分割后的饮水猪图像上所有像素点,当像素点的局部二值模式描述符的0-1与1-0的跃变次数达到两次,即此时中心像素点与周围像素点表现出较大差异性,将该点记录为初步选取的关键点。
3.根据权利要求1所述基于嘴部区域的猪只饮水行为和多特征融合的身份识别方法,其特征在于,所述步骤3中利用提出的均匀网格块非极值剔除算法筛选关键点具体包括:该算法先对原图像均匀分块;再对分块中的关键点进行筛选,保留网格块中最显著的关键点;筛选方式如下:1)当分块中存在关键点个数小于或者等于一个的情况,则不需要剔除该关键点;2)当分块中存在关键点个数大于一个的情况,对关键点的局部二值模式描述符的跃变次数进行由大到小的排序,仅保留跃变次数最大的作为关键点;考虑到跃变次数相同的情况,计算关键点与周围八个点的差值并求和,再进行由大到小排序,仅保留和值最大的作为关键点。
4.根据权利要求1所述基于嘴部区域的猪只饮水行为和多特征融合的身份识别方法,其特征在于,所述步骤3中,改进的旋转不变的MLBP描述符具体包括:A)针对原LBP(Local Binary Pattern)描述符不具备旋转不变性,通过计算对应4个角的像素差,并对差值求和,再将和值由大到小排序,将排序后的4个角点像素与中心关键点像素进行比较,得到4维二进制描述符;
B)针对原LBP描述符只关注关键点与周围像素点的关系,忽略了8个邻接像素点之间的关系,通过对左上角开始的角像素点按照顺时针方向与其后像素点比较,得出4维二进制描述符,按照上述A)中的方式排序;
C)将上述A)与B)的二进制描述符级联,生成8维的旋转不变的多维度局部二值特征MLBP描述符。
5.根据权利要求1所述基于嘴部区域的猪只饮水行为和多特征融合的身份识别方法,其特征在于,所述步骤4中多尺度双通道识别网络具体包括:
4.1)利用最后三个偶数卷积层直接输出到最后一层进行各阶段特征的学习;
4.2)利用关键点二维特征提取局部关键点特征,饮水猪图像通过卷积提取全局特征,引入的权重超参数对上述两种特征进行融合,提高识别的准确率,其公式如式(4)所示:其中,GOPC为双通道融合后输出的矩阵;GI1为关键点二维特征输出的矩阵;GI0为分割后的饮水猪图像输出的矩阵;γ为权重超参数,取值范围为0到1,通常取0.2为起始阈值;
4.3)利用交叉熵损失函数和PN损失函数联合的损失函数,其中PN损失函数更关注偏离值大小,可以自适应的调节学习率,有利于提升训练速度,公式如式(5)、(6)、(7)所示:L=εH(p,q)+(1-ε)LPN(p,q) (7)
其中,H(p,q)为交叉熵损失函数;c为类别数,与对应的猪只个数一致;p(xi)为i类别时的真实概率,通常取0或1;q(xi)为i类别时的预测概率;LPN(p,q)为PN损失函数;L为总的损失函数,ε为权重超参数,取值范围为0到1,通常取0.8为起始阈值;
所述基于三期动量的步进更新算法TM-SUA对超参数优化选取具体包括:对利用训练集训练完成的模型,通过验证集选取最优超参数,获得最优模型,超参数选择算法如下:
11)超参数ε、γ的起始阈值设为0.2与0.8;
22)按照当前参数下预测概率值和真实值之间的差值构造指引参数,指引参数公式如式(8)、(9)所示:其中,q(xj,n)为该验证集下的预测概率值的平均值;n为验证集的样本数;j为超参数个数,选取ε、γ两个超参数,j为2;q(xj,l)为对应样本下的预测概率值;Wk,j为不同步进阶段的指引参数;p(xj)为真实值;k为阶段数,高、中和低三阶段的k分别取1、2和3;
33)在迭代初期,按照指引参数获取的高速动量(k=1)进行全局遍历,取前三个最优峰值;在迭代中期,按照指引参数获取的中速动量(k=2)对前三个最优峰值前后各3%的区域进行遍历,取此阶段最优和次优峰值;在迭代后期,按照指引参数获取的低速动量(k=3)对最优和次优峰值前后各2%的区域进行遍历,获得全局最优值;三期动量选择公式如式(10)、(11)所示:Xj(t+1)=Xj(t)+Mj(t+1) (11)
其中,Mj(t)为第j个超参数在t时刻的动量值;Mj(t+1)为第j个超参数在t+1时刻的动量值;d1与d2均为防扰动项的系数,常取0.001;Xpbj(t)为第j个超参数直至t时刻的最小值;Xgbj(t)为第j个超参数直至t时刻的最大值;Xj(t)为在t时刻的第j个超参数;Xj(t+1)为在t+1时刻的第j个超参数;
44)当完成三期动量更新时,保留相关超参数ε、γ。