欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2012102068175
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 锁;钥匙;门窗零件;保险箱
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于全方位计算机视觉的人行自动门安全和节能控制装置,其特征在于:所述基于全方位计算机视觉的人行自动门安全和节能控制装置,包括用于获取自动门周围全景视频信息的具有网络接口无死角的全方位视觉传感器、用于检测自动门状态和行人行为的微处理器、用于控制自动门开闭或者转动的控制器、用于进行安全提示的语音播放器和用于建筑开口部位的人员通行的自动门;所述全方位视觉传感器简称ODVS;

所述的ODVS通过网络与所述的微处理器连接,所述的微处理器与所述的控制器连接,所述的控制器控制自动门电机的动作,所述的语音播放器通过语音接口与所述的微处理器连接;所述的ODVS安置在所述的自动门顶部的中间;

所述的微处理器包括:

全景图像读取单元,用于通过网络接口读取ODVS所拍摄的全景图像,并将读取的全景图像提交给全景图像展开单元;

全景图像展开单元,用于将全景图像按建筑物内外,即自动门内外进行二分屏柱状展开,全景图像的中心部位的广角成像图不进行展开处理,通过展开后的图像分成为三个部分,一个部分是自动门外的场景、一个部分是自动门内的场景、一个部分是自动门下的场景,经处理后得到的这三个部分的图像提交给行人对象检测单元;

自动门周围环境定制单元,用于对于平移自动门按自动门内外进行二分屏柱状展开定制,分为近距离、中距离和远距离,对于旋转自动门首先按入口处和出口处进行定制,然后分为近距离、中距离和远距离行人对象检测单元,用于检测和跟踪在全景二分屏柱状展开图像中存在的行人目标对象;

行人高度检测单元,用于判断在自动门附近是否有小孩玩耍或者小孩独自经过自动门,依照所述的行人对象检测单元中检测得到的区域框的大小并结合行人与ODVS的距离进行判断;

行人运动轨迹检测单元,用于为判断行人的行为提供数据,在所述的行人对象检测单元中每次循环计算得到感兴趣区域的质心坐标值,将质心坐标值以时间序列进行记录就能得到行人运动轨迹;

行人行为检测单元,用于检测在自动门前是否有拥挤、抢行和携带大型物品造成安全事故的行为,并检测行人是路过自动门还是想通过自动门的行为;

自动门位置检测单元,用于检测自动门当前的开启位置状态;

安全状态判断单元,用于检测和判断行人通过自动门时的安全状态;在自动门的闭合区域内根据所述的自动门位置检测单元对自动门开启状态的检测结果,以及感兴趣区域框的大小来判断行人的安全状态。

2.如权利要求1所述的基于全方位计算机视觉的人行自动门安全和节能控制装置,其特征在于:所述的行人对象检测单元中,用一种Motion History or Energy Images算法,以下简称MHoEI算法,用目标对象的运动历史和能量图像来提取和跟踪目标对象;在所述的全景图像展开单元中将一幅全景视频图像展开为自动门内外的二幅展开图和自动门下的场景图,分别启动三个线程分别对三个视频图像进行行人对象检测;在三个线程中都采用MHoEI算法对目标对象的运动历史和能量图像来提取和跟踪目标对象,用公式(18)表示:式中,S为目标对象的运动速度,τ为持续时间,D(x,y,t)为运动区域的二进制图像序列,Hτ(x,y,t-1)为非运动区域的二进制图像序列,持续时间τ需要根据目标对象运动速度S进行动态调整。

3.如权利要求2所述的基于全方位计算机视觉的人行自动门安全和节能控制装置,其特征在于:所述的行人对象检测单元中,为在进行帧差法过程中利用阴影与非阴影区域区别的某些特征来消除阴影,主要依据阴影区域中像素的色度与背景像素色度相比几乎相等的特征,将原图像的RGB色彩空间转化成HSI色彩空间,然后再进行帧差法运算就能消除阴影,RGB色彩空间转化成HSI色彩空间的式中,RGB色彩空间转化成HSI色彩空间的计算方法如公式(19)所示,式(19)中,R是RGB色彩空间中的红色分量,G是RGB色彩空间中的绿色分量,B是RGB色彩空间中的蓝色分量;H为HSI色彩空间中的色调,用角度表示,反映了颜色最接近什么样的光谱波长;S为HSI色彩空间中的饱和度,表征颜色的深浅程度;色调H与饱和度S合起来称色度;

对于距离ODVS的远处的目标对象,分别在H分量和S分量上进行帧差法处理,其计算公式如(20)所示,

式中,IPL,HImage(i,j)为当前输入全景图像帧中的上部H颜色分量的坐标为(i,j)点的检测结果,IPL,SImage(i,j)为当前输入全景图像帧中的上部S颜色分量的坐标为(i,j)点的检测结果,用二值图表示,1表示前景运动目标,0表示背景,PixH,t(i,j)和PixH,t-3(i,j)分别表示全景视频图像的上部H颜色分量在第t时刻和第t-3时刻图像帧中坐标为(i,j)点的像素值,PixS,t(i,j)和PixS,t-3(i,j)分别表示全景视频图像的上部S颜色分量在第t时刻和第t-3时刻图像帧中坐标为(i,j)点的像素值,Threshold1是相应的判断阈值,这里取值为45;

对于距离ODVS的中远处的目标对象,分别在H分量和S分量上进行帧差法处理,其计算公式如(21)所示,

式中,IPM,HImage(i,j)为当前输入全景图像帧中的中部H颜色分量的坐标为(i,j)点的检测结果,IPM,SImage(i,j)为当前输入全景图像帧中的中部S颜色分量的坐标为(i,j)点的检测结果,用二值图表示,1表示前景运动目标,0表示背景,PixH,t(i,j)和PixH,t-2(i,j)分别表示全景视频图像的中部H颜色分量在第t时刻和第t-2时刻图像帧中坐标为(i,j)点的像素值,PixS,t(i,j)和PixS,t-2(i,j)分别表示全景视频图像的中部S颜色分量在第t时刻和第t-2时刻图像帧中坐标为(i,j)点的像素值,Threshold2是相应的判断阈值,这里取值为45;

对于距离ODVS的近处的目标对象,分别在H分量和S分量上进行帧差法处理,其计算公式如(22)所示,

式中,IPN,HImage(i,j)为当前输入全景图像帧中的下部H颜色分量的坐标为(i,j)点的检测结果,IPN,SImage(i,j)为当前输入全景图像帧中的下部S颜色分量的坐标为(i,j)点的检测结果,用二值图表示,1表示前景运动目标,0表示背景,PixH,t(i,j)和PixH,t-1(i,j)分别表示全景视频图像的中部H颜色分量在第t时刻和第t-1时刻图像帧中坐标为(i,j)点的像素值,PixS,t(i,j)和PixS,t-1(i,j)分别表示全景视频图像的中部S颜色分量在第t时刻和第t-1时刻图像帧中坐标为(i,j)点的像素值,Threshold3是相应的判断阈值,这里取值为45;

最后,对于分割后的目标对象拼合整理处理;一方面,由于色度主要由色调H与饱和度S两个部分构成,这里需要进行或运算处理;另一方面,在P4、P5和P6处理过程中将整幅全景图像分割为上、中、下三个部分,这里也需要进行或运算处理;经过这样处理得到整幅全景图像上的运动目标对象的分割图像,处理方法如公式(23)所示,式中,D(x,y,t)为当前输入全景图像帧中坐标为(i,j)点的检测结果,

IPN,HImagei(j,)为当前输入全景图像帧中的下部H颜色分量的坐标为(i,j)点的检测结果,IPN,SImage(i,j)为当前输入全景图像帧中的下部S颜色分量的坐标为(i,j)点的检测结果,IPM,HImage(i,j)为当前输入全景图像帧中的中部H颜色分量的坐标为(i,j)点的检测结果,IPM,SImage(i,j)为当前输入全景图像帧中的中部S颜色分量的坐标为(i,j)点的检测结果,IPL,HImage(i,j)为当前输入全景图像帧中的上部H颜色分量的坐标为(i,j)点的检测结果,IPL,SImage(i,j)为当前输入全景图像帧中的上部S颜色分量的坐标为(i,j)点的检测结果。

4.如权利要求1~3之一所述的基于全方位计算机视觉的人行自动门安全和节能控制装置,其特征在于:所述微处理器还包括:输出单元,用于输出各种不同的警示语音信息、用于控制自动门电机的动作,检测自动门是否与行人已经相接触或者在入口处从俯视的角度来看行人的外形面积接近于自动门开口的大小值,即检测是否有门夹人事件;检测自动门闭合处是否存在着超过一定阈值范围大小的静止物体,如果有上述情况存在停止自动门的电机动作。

5.如权利要求2或3所述的基于全方位计算机视觉的人行自动门安全和节能控制装置,其特征在于:所述的行人对象检测单元中,在采用MHoEI算法提取和跟踪目标对象时,得到每个运动目标对象的ROI,计算第i个ROIi的质心坐标ROIi,m(x,y,t),然后利用上一个循环中得到第i个ROIi的质心坐标ROIi,m(x,y,t-1)来计算第i个运动目标对象的速度,计算方法如公式(24)所示,式中,ROIi,m(x,y,t)为当前处理帧中第i个ROIi的质心坐标,ROIi,m(x,y,t-1)为上一个处理帧中第i个ROIi的质心坐标,Δt为两帧间隔时间,Si(t)为当前处理帧中第i个ROIi的运动速度;

所述的行人对象检测单元中,由公式(24)计算得到的目标对象运动速度Si(t)作为计算持续时间τi,M的依据;计算方法如公式(25)所示,τi,M=k/Si(t) (25)

式中,τi,M为第i个目标对象的持续时间,Si(t)为第i个目标对象的移动速度,k为某一常数;

对于距离ODVS远近不同的目标对象,τi,M值也需要适当调整,对于同样的运动速度的目标对象,距离ODVS近的目标对象在全景展开图上反映的速度会快些,则距离ODVS远的目标对象在全景展开图上反映的速度会慢些,公式(25)求得的是离ODVS中等距离情况下的τi,M值,这里对持续时间进行了归一化处理,具体做法是将近处的持续时间设置为Hτ(x,y,t)=τi,M-α,中远处的持续时间设置为Hτ(x,y,t)=τi,M,远处的持续时间设置为Hτ(x,y,t)=τi,M+α;其中α=2~4。

6.如权利要求1~3之一所述的基于全方位计算机视觉的人行自动门安全和节能控制装置,其特征在于:所述的行人高度检测单元中,人体与ODVS的距离不同其高宽比是不同的,将人体高度小于成年人平均高度的68%定义为小孩,从远距离、中距离和近距离分别判断区域框的高度值进行检测和判断,用公式(26)进行判断,h≤0.68had,dis (26)

式中,had,dis为在不同距离范围内成年人的平均高度值,这里设定为1600mm,该值存放在环境要素、安全判断规则存储单元中,满足上述条件的判定为小孩;

为了判断小孩是否独自过自动门还是在大人携带下过自动门,需要进一步判断在小孩附近是否有成年人,如果在小孩附近没有具有成年人高度的区域框存在就判断为小孩独自过自动门或者小孩在自动门周边玩耍,这时设置一个警示Flag-Children为True。

7.如权利要求1~3之一所述的基于全方位计算机视觉的人行自动门安全和节能控制装置,其特征在于:所述的行人行为检测单元中,对于拥挤行为检测是检测在旋转门入口处周围的感兴趣区域密集程度,如果在旋转门入口处区域内感兴趣区域所占的面积达到某一个阈值T1就判断为出现拥挤行为,这时设置一个警示Flag-Crowd为True;

对于抢行行为检测是检测在旋转门入口处行人运动轨迹的情况,如果发现某一个行人的运动轨迹快速超越其他行人的运动轨迹就判断为有抢行行为,这时设置一个警示Flag-Nonorder为True;

对于携带大型物品行为的检测是检测在旋转门入口处感兴趣区域的大小值情况,如果发现感兴趣区域的大小超过在环境要素、安全判断规则存储单元中所存放的Object-size就判断为携带大型物品行为,这时设置一个警示Flag-Size为True。

8.如权利要求1~3之一所述的基于全方位计算机视觉的人行自动门安全和节能控制装置,其特征在于:所述的行人行为检测单元中,检测在离自动门入口的近距离处感兴趣区域的运动方向,对于移动自动门是不区分入口和出口的,对于旋转自动门入口一般都设置在自动门的右侧,出口设置在自动门的左侧;本发明中只是在近距离、中距离情况下,在展开图中最靠近x轴的区域进行检测;对于移动自动门的情况,如果感兴趣区域出现在自动门近距离、中距离处同时|dy|≥|dx|和dy<0,就判断行人是想通过自动门;对于旋转自动门的情况,如果感兴趣区域出现在自动门近距离、中距离处的右侧部分同时|dy|≥|dx|和dy<0,就判断行人是想通过自动门;对于判断为行人想通过自动门的情况,设置Flag-Open为True。

9.如权利要求1~3之一所述的基于全方位计算机视觉的人行自动门安全和节能控制装置,其特征在于:所述的自动门位置检测单元中,用ODVS中的广角视觉范围进行检测,通过边缘检测算法中的Sobel算子检测自动门的开启状态;对于平移自动门,通过边缘检测可以直接得到自动门的开启状态,如果没有检测到边缘就判断为自动门处于全开状态;对于旋转自动门,通过边缘检测算法得到旋转门的角度,通过旋转门翼的角度来判断自动门的开启状态,对于4翼旋转自动门,当θ角度为45°时自动门处于全开状态;最后得到自动门的开启宽度Wautodoor。

10.如权利要求1~3之一所述的基于全方位计算机视觉的人行自动门安全和节能控制装置,其特征在于:所述的安全状态判断单元中,在自动门的闭合区域内根据所述的自动门位置检测单元对自动门开启状态的检测结果,以及感兴趣区域框的大小来判断行人的安全状态;具体判断方式由公式(27)给出,Wautodoor≤1.05×Wperson (27)

式中,Wautodoor为自动门的开启宽度值,Wperson为行人通过自动门的闭合区域时的宽度值,即感兴趣区域框的宽度值;当满足了公式(27)关系时,表明行人的外形面积接近于自动门开口的大小值,如果自动门继续关闭即将发生门夹人事件,这时设置Flag-Clipperson为True;

由于行人通过自动门时都是处于运动状态的,无论是平移自动门还是旋转自动门,当行人通过自动门时出现摔倒情况同样也会出现安全问题,通过检测自动门的闭合区域内是否存在着超过设定阈值范围大小的静止物体进行判断,即感兴趣区域框的宽度值大于某一个阈值并且处于静止状态,这时设置Flag-Clipperson为True。