1.基于改进的孪生神经网络的携带物检测与步态识别方法,其特征在于,包括以下步骤:步骤1:读取进出机敏场所的前后两段视频;
具体的,进出机敏场所的前后两段视频由摄像机采集,前段视频为进入机敏场所时的视频,后段视频为出去机敏场所时的视频;
步骤2:利用基于重心对齐的步态能量图优化合成方法分别合成前段视频和后段视频的步态能量图;
步骤3:利用改进的孪生神经网络进行携带物检测与步态识别。
2.根据权利要求1所述的基于改进的孪生神经网络的携带物检测与步态识别方法,其特征在于,步骤2中所述的利用基于重心对齐的步态能量图优化合成方法分别合成前段视频和后段视频的步态能量图的具体方法为:步骤2.1:对采集的人物步态视频做预处理,获取视频中的每帧图像的二值化图片,并从获取的二值化图片中选取属于一个步态周期的二值化图片;具体的,p=(p1,p2,...pi,...,pn);
其中,P为属于一个步态周期的二值化图片的集合,pi为属于一个步态周期的第i帧图片的二值化图片,i=1,2,…n;
步骤2.2:对步骤1中所述的属于一个步态周期的每一张二值化图片寻找对应的连通域;即寻找pi的连通域;
步骤2.3:若所述的pi只有一个连通域,则判断pi不属于断头图片,定义此pi轮廓为人物轮廓,进入步骤5;
步骤2.4:若所述的pi的多个连通域中,某一较小连通域为最大连通域丢失的头部,则合并此较小连通域与最大连通域,使其成为一个整体区域M,定义M为所述的pi的人物轮廓;若所述的pi的多个连通域中,所有较小连通域均不能全部满足判断条件,则舍弃所有的较小连通域,即定义所述的pi的最大连通域M”为所述的pi的人物轮廓;
其中,M=M'+M”,M'为最大连通域,M”为满足所有判断条件的较小连通域,即所述的此较小连通域;
步骤2.5:计算所述的pi的人物轮廓的高度值Hi,分以下三种情况:若所述的pi轮廓为人物轮廓,则所述的pi的人物轮廓的高度值Hi即为所述的pi轮廓的高度值;
若步骤4所述的M为所述的pi的人物轮廓,则所述的pi的人物轮廓的高度值Hi=My+Mh-M’y,其中,My表示最大连通域左上角的纵坐标,Mh表示最大连通域的高度值,M’y表示较小连通域左上角的纵坐标;
若步骤4所述的最大连通域M”为所述的pi的人物轮廓,则所述的pi的人物轮廓的高度值Hi=Mh,其中,Mh表示最大连通域的高度值;
步骤2.6:利用步骤5所述的pi的人物轮廓的高度值Hi,判断所述的pi是否属于无头图片,若所述的pi属于无头图片,则舍弃所述的pi,保留p',p'为属于一个步态周期的有头的二值化图片;
判断方法为:
判断Hi-1和Hi的差值的绝对值与阈值D的关系,其中,D=10,Hi为所述的pi的人物轮廓的高度值,Hi-1为pi-1的人物轮廓的高度值;
若|Hi-1-Hi|≤D,则判断所述的pi不属于无头图片,保留p'=(p1,p2,...pi,...,pn);
若|Hi-1-Hi|>D,则判断所述的p中出现了无头图片,分下述两种情况:若Hi-1-Hi>D,则判断所述的pi属于无头图片,舍弃pi,保留p'=(p1,p2,...pi-1,pi+1,...,pn);
若Hi-Hi-1<D,则判断p1,p2,...pi-1均属于无头图片,舍弃p1,p2,...pi-1,保留p'=(pi+1,...,pn);
步骤2.7:对p'中的所有图片进行高度归一化处理,使p'中人物轮廓的二值图图像的高度值相等;
步骤2.8:将p'中的每帧图片pi按人物轮廓的高度值分成平均的上下两部分,对于上半部分求其对应的重心Mis;
s
步骤2.9:将p'中的每帧图片pi按其对应的重心Mi顺序对齐,对所有保留图片进行像素的累加求平均,获得最终的步态能量图GEI;
其中,G表示最终生成的步态能量图,N表示一个步态周期包含N帧图像。
3.根据权利要求2所述的基于改进的孪生神经网络的携带物检测与步态识别方法,其特征在于,步骤2.4中所述的判断条件为:条件1:最大连通域的重心点横坐标和较小连通域的重心点横坐标的差值与较小连通域的宽度值的比值小于阈值A;
((Mcx-M’cx)/Mw)<A;
其中,Mcx为所述最大连通域的重心点横坐标,M’cx为所述较小连通域的重心点横坐标,Mw为较小连通域的宽度值,其中A=0.1;
条件2:最大连通域和较小连通域的垂直方向距离值与最大连通域高度值的比值小于阈值B;
(M’h+M’y-My)/Mh<B;
其中,M’h为较小连通域的高度值,M’y为较小连通域边框左上角的纵坐标,My为最大连通域边框左上角的纵坐标,Mh为最大连通域的高度值,其中,B=0.1;
条件3:较小连通域的重心点纵坐标高于最大连通域的上边界;
M’cy<My;
其中,M’cy为较小连通域的重心点纵坐标,My为最大连通域边框左上角的纵坐标;
条件4:最大连通域的面积值和较小连通域的面积值的比值大于阈值C1且小于阈值C2;
其中,SM为最大连通域的面积值,S’M为较小连通域的面积值,其中C1=7、C2=14。
4.根据权利要求1所述的基于改进的孪生神经网络的携带物检测与步态识别方法,其特征在于,步骤3中所述的利用改进的孪生神经网络进行携带物检测与步态识别的方法为:步骤3.1:建立改进的孪生神经网络结构模型;改进的孪生神经网络结构模型包括两个相同的子网络,每个子网络包包含三层的卷积层,两个子网络的输出结果输出到全连接神经网络层,最终由全卷积神经网络层输出最终结果;
步骤3.2:生成改进的孪生神经网络的训练集,具体采用以下方法:在步骤2中合成前段视频和后段视频的步态能量图中分别随机选择一张组成一对图片,若这对图片属于同一人的相同携带状态,则记为 定义其标签(0,0);
若这对图片属于同一人的不同携带状态,则记为 定义其标签(0,1);
若这对图片属于不同人的相同携带状态,则记为 定义其标签(1,0);
若这对图片属于不同人的不同携带状态,则记为 定义其标签(1,1);
其中, 表示某一人拍摄时刻的携带状态,上标i,j表示不同的携带状态,下表s,x表示不同人,没有实际含义;
步骤3.3:定义损失函数,利用步骤3.2所述的训练集训练步骤3.1所述的改进的孪生神经网络结构模型,具体的,包括以下步骤:定义两张图片的输出特征分别为Fa1、Fa2和Fb1、Fb2;其中,下标a和b表示此特征来自不同的图片,下标1表示提取的是否同一人特征,下标2表示提取的是否携带改变特征;它们相似度使用欧式距离来表示,记作D(Fa1,Fb1)与D(Fa2,Fb2);
针对输入孪生神经网络的两张图片是否是同一个人的损失函数L1定义如下:针对输入孪生神经网络的两张图片是否存在携带状态改变的损失函数L2定义如下:最终定义损失函数L=L1+L2;
其中,Y1,Y2分别为是否同一人、是否携带改变的标签;
步骤3.4:将步骤2中合成前段视频和后段视频的步态能量图中分别随机选择一张组成一对图片,将这对图片作为输入,输入改进的孪生神经网络,并由孪生神经网络输出是否为同一人的步态识别结果和携带状态是否改变的结果。