1.提供潜在信息融合的家庭安防系统中的人体行为识别的方法,其特征在于,包括以下步骤;
步骤一,使用摄像头采集图像;
步骤二,使用基于背景差分法的光照自适应方法对采集的图像进行人体目标检测,然后使用Staple方法对检测到的人体目标进行跟踪,获得人体运动时序序列;
步骤三,对检测到的人脸进行识别,判断其是否为家人,若是家人,对步骤二中得到的运动时序序列不进行任何操作,反之,进行人体行为识别;
步骤四,对步骤二中得到的运动时序序列提取人体的姿态时空特征;
步骤五,采用线索增强的深度卷积神经网络完成交互物体特征的提取;
步骤六,融合步骤四和步骤五中提取到的全局的姿态时空特征和局部的交互物体特征;
步骤七,将融合后的特征向量输入到SVM分类器中进行行为识别;
所述的步骤二中,对进入到检测范围内的人体使用基于背景差分法的光照自适应方法检测,使用Vibe算法进行背景建模,记录前一帧检测到的人体目标的像素点数,用Y表示,当前帧检测到的前景目标的像素点数,用L表示,由于在光照突变的一瞬间,会出现大面积白色,系统会将背景误检为前景,此时L>Y,因此在前景检测的时候设定一个阈值(前一帧中检测到人体目标范围的像素点数)判断前景的检测范围,若范围超过该阈值,则说明发生了光照突变,反之,则没有发生光照突变,若发生光照突变,则利用像素点在相邻两帧图像的亮度变化值对背景模型进行光照补偿,补偿公式如下:Δt(x,y)=|Vt(x,y)‑Vt‑1(x,y)|其中:
Vt表示图像It(x,y)的全局平均亮度值,式中n为图像中的总的像素点数,n=1280×480=614400个像素点,It(x,y)max(R,G,B)和It(x,y)min(R,G,B)分别表示像素点(x,y)处R,G,B分量中的最大值与最小值;
检测到人体目标后使用Staple方法对检测到的人体目标进行跟踪,在跟踪的过程中使用平移滤波器和颜色滤波器找到目标的位置,然后利用尺度滤波器得到目标的大小,最终获得人体运动时序序列;
所述的步骤四中,对得到的人体运动时序序列提取姿态时空特征,具体过程包括:
1)计算每个关节点的互信息,通过互信息判断每个关节点对某个特定行为的响应程度,最终保留能表示特定行为的互信息最大的关节点组,计算每个关节点的互信息的公式如下:j j j
I(f ,Y)=H(f)‑H(f|Y)
j
其中H(f )表示第j个关节点的信息熵,j=1,2,...,20, 表示第j个关节点随时间变化的动态过程,N表示人体运动时序序列的帧数,Y为人体行为的类别,在家庭安防场景下,主要识别送水、送快递、送外卖、朋友、保洁人员、其他人等,因此Y=
1,2,3,4,5,6,其中熵的计算公式如下:
j
其中p(f)是概率密度函数,i表示时序序列的帧数i=1,2...,N;
2)对上述经过筛选后的关节点提取姿态时空特征,其中空间维度上的特征为:其中K表示人体姿态的关节点,K=1,2,...,20,N表示人体运动时序序列的帧数,选取人体髋关节点作为人体质心,T表示关节坐标轨迹特征矩阵,θ表示每个删选后的每个关节点相对于人体质心的方向矩阵,D表示任意两个关节点的空间距离矩阵,ψ表示任意2个关节构成的向量相对于质心向上的向量的方向矩阵,A表示任意3个关节点构成的3个内角大小矩阵;
时间维度上的特征为:
其中,ΔT为关节点的轨迹位移矩阵,Δθ为同一关节点随位移的方向,ΔD为任意两个关节点的距离随时间变化的矩阵,Δψ为任意两个关节点相对质心向上的向量的方向变化,ΔA为任意3个关节点构成的内角大小变化矩阵;
提取到的姿态时空特征表示为:
Fpose=Fspatial+Ftemporal;
所述的步骤五中,通过将检测到的人体作为线索,将与人交互的有效物体作为高级线索,使用卷积神经网络提取与人交互的物体的特征,隐式的将检测到的人体中的物体与人之间的位置关系整合到卷积神经网络中,提取与人交互的有效物体的特征;
训练过程中使用损失函数,并在损失反向传播之时进行参数的调整,混合损失函数计算公式为:L(M,D)=Lmain(M,D)+αLhint(M,D)其中Lmain(M,D)表示交互物体特征提取的损失函数,Lhint(M,D)表示距离暗示任务的损失是函数,M表示网络模型, 作为N个样本图片的训练集合, 表示N张图像, 表示相关的类别标签,α取值在0~1之间;
所述的步骤六中,由于姿态时空特征和交互物体特征对于不同人体行为识别的响应程度不同,所以对得到的两种特征进行加权融合,公式如下:F=w1Fpose+w2Fobject
其中,w1为姿态时空特征的加权系数,w2为人体交互物体特征的加权系数,且w1+w2=1,Fpose表示姿态时空特征,Fobject表示交互物体特征。
2.根据权利要求1所述的提供潜在信息融合的家庭安防系统中的人体行为识别的方法,其特征在于,所述的步骤七中,将融合后的特征向量输入到SVM分类器中进行分类,得到最后的识别结果。