欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2011102890216
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于全方位视觉的动物行为检测方法,包括如下步骤:

(1)读取视频图像,用于通过网络接口读取全方位视觉传感器所拍摄的全景图像,并将读取的全景图像提交给步骤(2)展开和存储视频图像;

(2)展开和存储视频图像,将全景图像进行柱状展开,再将展开后的全景柱状图像提交给步骤(6);

(3)定义空间位置,定义和命名在全景图像中动物活动的环境空间位置;

(4)输入环境元素,将所述的步骤(3)中所定义的空间位置与环境元素建立映射关系;

(5)建立环境元素与空间位置关系数据库,用于存放环境中各元素与空间位置的映射关系;

(6)检测前景对象,检测在全景柱状展开图像中存在的前景动物对象,具体采用MHI算法来计算前景动物对象,然后在柱状展开图像上用矩形框框住前景动物对象,并将矩形框提交给步骤(7);

(7)跟踪动物对象,根据步骤(6)所提交的矩形框采用增强的Camshift算法对动物对象进行跟踪;

所述的增强的Camshift算法如下:

(7.1):以步骤(6)检测前景对象中检测出的动物对象目标为基础,设定目标跟踪的ROI;

(7.2):计算ROI内的目标颜色概率密度分布;

(7.3):迭代Mean Shift直到收敛,记录其位置 和零阶矩

(7.4):对下一帧图像,以 为搜索窗中心位置,并根据 的函数确定搜索窗大小,根据动物对象目标外接矩形确定ROI大小,转步骤(7.2);

在所述增强的Camshift算法的步骤(7.2)中,采用Bayesian概率法则获得目标在图像中的颜色概率密度分布,计算方法如公式(4)所示:式中:C为像素点在HSV空间的颜色值,即像素点的(H,S)值;O为目标,B为背景,P(O)+P(B)=1,P(O)为目标对象面积和除目标对象外的背景面积的比值;P(C/O)和P(C/B)可分别从目标对象和背景的直方图获得;按公式(4)获得目标对象在图像中的颜色概率密度分布,再按公式(5)把概率分布区间从[0,max(P(O/C))]归一化到[0,255]区间中,从而获得最终进行Mean Shift迭代的颜色概率密度分布图像P′(O/C);

式中,P′(O/C)为归一化的目标对象颜色概率密度分布,P(O/C)为目标对象颜色概率密度分布;

在所述增强的Camshift算法的步骤(7.4)中,根据上一帧跟踪结果的零阶矩 的函数确定新的搜索窗的大小s,以适应目标在视频图像中的尺度变化,如公式(6)所示;

式中,s为搜索窗的大小,K为常数,本发明中选择K∈[230,240];

根据动物对象目标运动的空间连续性,在动物对象目标实时跟踪中,动物对象目标在下一帧的位置位于前一帧中同一动物对象目标位置附近,因此定义适当位置和适当大小的ROI,动物对象目标跟踪在ROI内完成;

(8)解析动物的姿势,根据步骤(7)的结果采用动物模型算法估算出动物目前的姿势,并将当前的时刻、空间的位置和姿势的分析结果写入动物姿势、动作数据库中;

(9)解析动物的动作,根据动物姿势、动作数据库中前几帧中动物的姿势和当前动物的姿势分析得到动物的动作;

(10)建立动物姿势、动作数据库,存放某一时间、空间内的动物的姿势元素编码、动作元素编码和环境元素编码;

(11)分析动物的行为,根据动物姿势、动作数据库中某一时间、某一空间内动物的一系列姿势和动作的变化,利用PAE编码来分析与判断动物的行为;

(12)建立动物行为数据库,存放动物行为编码,动物行为编码用PAE编码系统来表达;

所述PAE编码系统是针对动物行为的三个要素并适用于计算机处理的三位编码系统:依动物的姿势、动作和环境建立P码、A码和E码,将P码、A码和E码组合,可以描述任意一种动物行为;PAE编码为分解、标识和描述动物行为多样性提供了手段;这里设B、P、A、E分别为研究对象的行为、姿势、动作和环境的集合,某一种动物行为用公式(1)来表示,bi=pi∩ai∩ei (1)式中,pi、ai和ei分别是集合P、A、E的元素或子集;从公式(1)可以知道,要准确分析和检测动物的各种行为就必须准确地检测出动物的各种姿势元素pi、各种动作元素ai和各种环境元素ei;

所述的步骤(6)关于前景对象的检测,采用基于MHI的背景更新模型,利用YCbCr与亮度图像分别分割然后进行综合得到运动前景图像,最后利用后处理实现动物的分割与定位;

所述的基于MHI的背景更新模型,MHI的更新方式如公式(2)所示:

式中,mhi为运动历史图像,ts为当前时间,sih为图像的掩模,动物运动发生的地方取非零值,dur为运动跟踪的最大持续时间;

用公式(3)将图像由RGB空间转换到YCbCr空间,滤除Y分量,用Cb、Cr颜色来分割得到前景图像;

利用YCbCr与亮度图像分别分割然后进行综合得到运动前景图像的实现算法如下:Step1:用较大的和较小的亮度阈值分别对背景减除的结果图像进行二值化,分别记为ImgL和ImgS;

Step2:利用背景减除之后的Cr和Cb图像分别进行二值化,分别记为ImgCr和ImgCb,得到的前景都去除了阴影,Cr得到的是红色色差分量,Cb得到的是蓝色色差分量,将两个色差结果取或得到去阴影的结果图像,记为ImgC=ImgCr OR ImgCb,得到色差分割结果;

Step3:由于只靠色差分量得到的目标容易丢失没有颜色信息的目标,需要融合其亮度分量;取亮度阈值较大的二值化图像与色差二值化图像作或运算,记为Img1=ImgC OR ImgL;

Step4:上述处理得到的结果容易有噪声,将ImgS作膨胀记为ImgS’,然后将Img1与ImgS’取与运算得到最终结果图像,Img=Img1AND ImgS’,由此得到的目标作为最终的运动目标前景;并将运动目标前景对象的中心位置和大小自动递交给步骤(7)中增强的CamShift算法以实现时而静止时而运动的动物对象的稳定跟踪;

(13)发现新的动物行为,根据所述的步骤(11)分析动物行为中在动物行为数据库中没有找到相匹配的动物行为时,然后通过所保存的动物姿势元素、动作元素以及环境元素经人机界面的确认方式来发现是否是新的动物行为,如有新的动物行为,则将新的动物行为保存到所述动物行为数据库。

2.如权利要求1所述的基于全方位视觉的动物行为检测方法,其特征在于:所述的步骤(7)中所述的跟踪动物对象中,根据所述的步骤(6)所述的检测前景对象中所提交的矩形框采用所述的增强的Camshift算法对动物对象进行跟踪;

CamShift算法过程如下:

1):在颜色概率分布图中选取范围为R的搜索窗W;

2):计算x和y的零阶矩、一阶矩、二阶矩,计算方法如公式(7)、(8)、(9)所示;

3):计算搜索窗的质心位置计算方法由公式(10)所示,

4):重新设置搜索窗的范围R;

5):如果不收敛且循环次数小于预设值,则返回2),否则结束;

算法中的收敛条件为:质心位置偏移量小于预定义阈值;

另外,被跟踪目标长轴方向角用公式(11)计算,

则得到被跟踪对象的长轴、短轴的长度用公式(12)、(13)计算,

3.如权利要求1或2所述的基于全方位视觉的动物行为检测方法,其特征在于:所述的步骤(3)中所述的定义空间位置中,对监控环境的空间进行网格化处理,从获取的全景图像上定义和命名环境空间的网格,作为一种简单的定义和命名方式是采用大小相近的网格将可视范围内的环境空间进行分割,命名采用两位英文字母,从全方位视觉传感器的中心从内圈向外圈逆时针开始顺序编排,第一位英文字母表示相距全方位视觉传感器中心的距离,第二位英文字母表示环境元素所处的方位。

4.如权利要求1或2所述的基于全方位视觉的动物行为检测方法,其特征在于:所述的步骤(4)中所述的输入环境元素步骤中,表1为位置空间编号与环境元素对应表,如表1所示,表1。

5.如权利要求1或2所述的基于全方位视觉的动物行为检测方法,其特征在于:步骤(11)所述的分析动物行为,是根据动物姿势、动作数据库中记录的某个动物个体的姿势元素、动作元素以及环境元素的组合来进行分析的,组合的方式由公式(1)表示,bi=pi∩ai∩ei (1)式中,pi、ai和ei分别是集合P、A、E的元素或子集;动物的各种行为是由动物的各种姿势元素pi、各种动作元素ai和各种环境元素ei组合而成;

将动物行为分为三大类,即生存行为、繁殖行为和社会行为;在生存行为中再分为六小类,即摄食行为、排遗行为、调节温度行为、休息行为、运动行为和杂项行为;在繁殖行为中再分为四小类,即发情行为、交配行为、分娩行为和育幼行为;在社会行为中再分为三小类,即对抗行为、通讯行为和分群行为;每一种行为都可以归纳为姿势元素、动作元素以及环境元素的不同组合;将目前已经解明的某种动物各种行为编码以矩阵的方式B′i存放在动物行为数据库中,在所述的步骤(11)中计算所得到的行为编码以矩阵的方式B表示,然后将B与B′i进行相减得到差分矩阵,得到差分矩阵D(B,B′i);接着用Frobenious范数表示步骤(11)中所述的分析动物行为中计算所得到的行为编码和动物行为数据库中动物某一行为编码的距离,计算公式由(14)表示,T

dis(B,B′i)=trace((D(B,B′i))D(B,B′i)) (14)式中,dis(B,B′i)为Frobenious范数,如果dis(B,B′i)小于所规定的值F,我们就认为目前检测的动物行为和数据库中动物某一行为是一致的。