1.一种基于视觉显著性的攻击行为猪的识别方法,其特征在于,包括以下步骤:步骤1,采集猪圈中带有攻击事件的彩色俯视群养猪视频;
步骤2,对猪舍中的群养猪目标图像利用基于金字塔分层的Lucas-kanada光流法进行光流信息的提取;
步骤3,猪的攻击事件判断的处理:
步骤3.1,猪的相邻帧间光流方向差分图的构建;
步骤3.2,根据猪的相邻帧间光流方向差分图和光流面积对猪的攻击事件进行判断;
步骤4,空间域显著图的处理:
步骤4.1,超级像素的形成;
步骤4.2,确定超像素的颜色值和显著性值,形成空间域显著图;
步骤5,时间域显著图的处理:
步骤5.1,攻击区域的确定;
步骤5.2,将攻击区域的光流值映射到灰度图形成时间域显著图;
步骤6,将空间域显著图与时间域显著图融合为时空显著图的处理;
步骤7,识别出发生攻击行为的猪。
2.根据权利要求1所述的一种基于视觉显著性的攻击行为猪的识别方法,其特征在于:所述步骤1具体为:利用灰点工业相机,使用6.0mm镜头,其分辨率为1760*1840像素,捕捉猪圈内的图像信息,其所占像素为1374*1491,所拍猪圈长2米,宽2米,相机位于猪圈上方,离地面高度为2.8米;该相机捕获群养猪的俯视RGB颜色图像后,使用软件将相机连接到计算机,并将视频记录在MJPEG中。
3.根据权利要求1所述的一种基于视觉显著性的攻击行为猪的识别方法,其特征在于:步骤2具体为:通过使用基于金字塔分层的Lucas-kanada光流法,先缩小图像的尺寸来减少图像中物体的运动位移,避免了两帧之间物体的运动位移较大时,算法可能会出现较大的误差情况,再计算每个点在下一帧同一位置处的邻域内的匹配误差和的最小处,构成方向向量完成光流信息的提取。
4.根据权利要求1所述的一种基于视觉显著性的攻击行为猪的识别方法,其特征在于:步骤3.1具体为:当猪在正常行走时,相邻帧间光流的幅值和方向的变化是缓慢的,当猪圈中发生攻击行为时,猪会因为愤怒、惊吓等原因而快速移动,此时相邻帧间光流的方向和速度会产生剧烈的变化,构建相邻帧间光流方向差分图包括:步骤3.1.1,将0-360度的空间方向化分成12等分,每个方向区间为30度,从水平0度开始;
步骤3.1.2,利用基于金字塔分层的lucas-kanada光流法对视频中的每帧图像提取的光流信息将光流点分布到对应的方向区间;光流点的角度θ及幅值|d|的计算公式如下:其中,dx和dy表示点(x,y)处光流在水平和垂直方向上的分量,θ(x,y)表示该点光流方向与水平方向的夹角度数,|d|表示该点光流的幅值;建立一个12维方向向量V,包含12个角度区间分量Vi(i=1,2,…,12),每个区间30度,如区间i=1,相应的区间分量V1就表示从水平0度到30度区间中光流点的个数,计算出任一光流点(x,y)在水平和垂直方向上速度的大小dx和dy,就可以得到θ的值,进而确定该点所属的方向区间Vi;
步骤3.1.3,对于前后相邻帧的光流区间分布Vi和Vi+1,Vi表示在第i帧光流的12维方向向量V,做差后求绝对值,便得到相邻帧间光流方向差分图DOH,其计算公式如下:DOHi=|Vi-Vi+1| (3)。
5.根据权利要求1所述的一种基于视觉显著性的攻击行为猪的识别方法,其特征在于:步骤3.2具体为:当猪发生剧烈地运动时有两种情况;
第1种情况:突发性地非攻击运动如跑动,此时,猪虽然在相邻帧间速度变化的幅度很大,但是这种情况下的突然运动是单一方向的运动,即在一个方向区间上幅值变化很大;
第2种情况:发生攻击事件,当攻击行为产生后,由于猪的肢体发生了剧烈碰撞,因此在连续帧间猪的运动方向会产生变化,在DOH上表现出来的是在多个方向区间上有明显的幅m m值变化;根据Vi的12个区间的幅值变化,设置一个嫌疑性幅值阈值V,选取最小阈值V ,发生攻击事件时最少参与猪是2只,产生最小光流变化的攻击行为是头-头攻击,最极端的情况下是一只猪的头部呈直线型攻击了另一只猪的头部,因此在5分帧有限的时间下的连续帧图像中,攻击事件发生的方向变化在90度范围内,所以只需要在DOH图中有三个连续的方向m区间的幅值和大于猪头面积即可,当存在Vi-1+Vi+Vi+1>=V时,即相邻帧间光流在i和i±1方向区间上幅值和的变化大于等于Vm时,该连续帧被判为有攻击嫌疑,其中,Vi-1、Vi及Vi+1为光流方向差分图上三个相邻方向区间上光流点的个数,当i=0时,V0=V12,表示区间分量V12为从水平330度到360度区间中光流点的个数;当没有找到一组连续三个区间上的幅值和大于Vm时,与上述情况正好相反,表示猪只正常活动。
6.根据权利要求1所述的一种基于视觉显著性的攻击行为猪的识别方法,其特征在于:步骤4具体为:考虑到图像的相邻像素之间在色彩,纹理上会因相似性而在一定区域内出现聚集的特征,因此根据像素之间的颜色相似性以及空间位置上的接近程度,对判断为包含猪的攻击事件的图像用简单线性迭代聚类法进行超线性像素分割,将像素聚类,然后对形成的超级像素所包含的像素求颜色值的平均值作为其颜色值,再逐个计算每个超级像素与整个图像中其它所有超级像素在颜色上的距离之和作为该超级像素的显著性值,最后形成空间域显著图;包括:步骤4.1,先将图像由RGB色彩空间转换到Lab色彩空间,然后用简单线性迭代聚类法通过将像素的L、a、b值和其对应的X、Y坐标所构成的5维特征向量构造距离度量标准,其中L表示亮度,a和b表示颜色对立维度,最后图像进行局部聚类,形成超级像素;
步骤4.2.1,对每个超级像素内包含的所有像素的颜色值求平均值作为该超级像素的颜色值;
步骤4.2.2,确定超级像素的显著性值;
定义一幅图像中第i个超级像素Ci和第j个超级像素Cj间的颜色距离度差异Dr(ci,cj)为:其中,Li、Lj分别为超级像素Ci、Cj的亮度值,ai、aj和bi、bj分别为超级像素Ci、Cj两种不同的颜色对立维度;
对每个超级像素Ck,通过测量它与图像中其它超像素的颜色值的对比度来计算它的显著性值Sp(ck):其中,ci为超像素的颜色值,n为图像中超像素所含颜色总数,W(ci)为ci在在图像中出现的概率;
步骤4.2.3,空间域显著图的形成空间加权对比度:加入空间信息以增加区域的空间影响效果。较近的区域增大影响,较远的区域减小影响。对任意的超像素Ck,基于空间加权区域对比度的显著性定义为:超像素Ck和Ci的空间距离Ds(ck,ci)定义为两个区域中心的欧氏距离为:其中,(xk,yk)和(xi,yi)分别为两个区域中心的坐标,σs表示空间权值强度,其值越大代表较远区域的对比度会对当前区域的显著性值做出较大的贡献,σs2取0.4,像素坐标归一化到[0,1]区间。
7.根据权利要求1所述的一种基于视觉显著性的攻击行为猪的识别方法,其特征在于:步骤5具体为:考虑到当群养猪中发生攻击事件时,发生攻击行为的猪具有较大的光流值并且附近的光流点出现了聚集现象,将出现多处聚集的连通区域定义为事件区域,结合事件区域的面积因素和光流幅值因素选取攻击区域,屏蔽非攻击区域,最后将攻击区域光流的幅值映射到灰度图,形成时间域显著图;具体包括:步骤5.1,利用得到的光流信息对包含猪的攻击事件的连续帧图像进行事件区域的分割后选取攻击区域,忽略非攻击区域;
步骤5.1.1,按照速度从大到小的顺序,对光流点依次排序,从速度最大的点开始分割,对其邻域进行生长直到光流点速度大小为0,该区域记为一个事件区域;对第二大速度的光流点进行上述操作,若该点已被划分到事件区域,则对剩下的点依次重复上述操作,直到结束;
步骤5.1.2,将所划分的事件区域按照面积从大到小依次排序;对待选取的攻击区域分别求其光流点速度值的平均值,选取速度平均值最大的区域作为攻击区域;
步骤5.2,令非攻击区域速度值为0,攻击区域内的速度值映射到图像的灰度值[0,255]区间形成时间域显著图;则其对应的灰度值G为:其中,速度值的最大值为Emax,最小值为Emin。
8.根据权利要求1所述的一种基于视觉显著性的攻击行为猪的识别方法,其特征在于:步骤6具体为:
时空显著图的处理,是利用时间域显著图攻击事件区域的确定性和空间域显著图同一超像素内颜色值的连续性,将二者融合起来的方法;考虑到猪圈中有阴暗和明亮的环境差异,猪有黑色、白色和花色不同的颜色特征,猪有全部和部分身体参与的攻击方式,难以仅利用时间域显著图很好地检测出参与攻击事件的猪,所以充分利用时间域显著图和空间域显著图的特点将二者融合起来,以达到检测效果;包括:步骤6.1,先判断时间域显著图S2上某点(i,j)处的灰度值S2(i,j)是否为0,若不为0,判断空间域显著图S1上某点(i,j)处的灰度值S1(i,j)是否为0,若为0,此时点(i,j)在攻击的黑猪身上或者在攻击猪的边缘处,这种情况下是因为猪只在运动时它的周围地面也会产生光流信息,而它们所处的地面在空间域显著值为0,这两种情况下空间域上的灰度信息不能提供判断依据;
令融合后的显著图S上(i,j)处的灰度值S(i,j)=S2(i,j);若不为0,说明此时该点是处在发生在攻击区域的白猪身上,此时灰度值取S(i,j),此时的显著图既能同时包含着时空信息,又能使得在同一超像素内保持很好地空间连续性;
步骤6.2,若S2(i,j)为0,则点(i,j)在未发生攻击的事件区域,或者在只有部分身体参与攻击的猪只上未参与攻击的身体部位处;
此时只要判断该点所处的超级像素内其它点的时间域显著值是否为0,若全为0则说明该点极有可能在未发生攻击的事件区域,则令S(i,j)为0;
若该点所处的超级像素内其它点的时间域显著值不全为0,则说明这个点是处在只有部分身体参与攻击的猪只上未参与攻击的身体部位处,因为S1的每个点的颜色值等于它所处的超级像素区域内的所有点颜色值,除非整个超级像素内的点都恰好全部落在未参与攻击的身体部位处,这种概率是极其低的,此时该点的显著值S(i,j)取同一超像素内时间域显著值非0的距离它最近点的显著值。
步骤6.3,融合后的时空显著图上某点的显著值S(i,j)用到的是归一化相加融合的方法:S(i,j)=w1S1(i,j)+w2S2(i,j) (9)其中S1是空间域显著图,S2是时间域显著图, diff=max(S2
(i,j))-median(S2(i,j)),w为常量,取值范围是0.3~0.5,现在将w取0.5,w1、w2及diff为中间变量,max(S2(i,j))为当前时间域显著图中的灰度值的最大值,median(S2(i,j))为当前时间域显著图中灰度值的中值;当diff值较大时即说明运动特征具有明显的对比度。
9.根据权利要求1所述的一种基于视觉显著性的攻击行为猪的识别方法,其特征在于:步骤(7)所述内容,具体描述如下:将融合后的时空显著图的坐标对应到原图坐标中,从而检测出发生攻击行为的猪。