1.基于时空一致性的群体表情情绪识别方法,其特征在于,包括如下步骤:对获取的待识别的人群运动场景中的视频图像,进行人脸检测识别得到每帧图像中的每个个体的人脸表情;
根据每个个体的人脸表情识别个体的情绪是否为恐慌情绪;基于时间一致性计算有部分帧图像中被遮挡个体是否为恐慌情绪,基于空间一致性计算所有帧图像中都被遮挡个体是否为恐慌情绪;
根据所有个体中为恐慌情绪个体的比例,得到群体恐慌度。
2.如权利要求1所述的基于时空一致性的群体表情情绪识别方法,其特征在于:对获取的待识别的人群运动场景中的视频图像,进行人脸检测识别得到每帧图像中的每个个体的人脸表情的方法,包括如下步骤:输入待识别的人群运动场景中的视频;
把视频进行分帧处理成一帧一帧的图片;
针对分帧处理的每帧图像进行人脸检测;
对每张图片检测到的人脸进行裁剪,得到只包含人脸的图片;
将裁剪后的人脸图片输入到深度残差网络中得到人脸表情识别结果。
3.如权利要求2所述的基于时空一致性的群体表情情绪识别方法,其特征在于:针对分帧处理的每帧图像进行人脸检测采用基于haar特征提取算法实现;
或者,
对检测到的人脸进行裁剪,得到只包含人脸的图片的步骤如下:对进行人脸检测后每张图片,设置与人脸大小相近的矩形框对检测到的人脸进行框选;
把每张图片里框选出来的人脸裁剪出来并标号,按照标号的顺序输出一张图片中每一个人脸。
4.如权利要求2所述的基于时空一致性的群体表情情绪识别方法,其特征在于:对于深度残差网络中得到人脸表情识别结果,采用矩阵的形式,得到情绪识别结果矩阵;
或者,深度残差网络为Resnet34网络;
Resnet34网络结构包括卷积层、残差模块、池化层、全连接层以及Softmax分类器,所述卷积层、残差模块、池化层、全连接层以及Softmax分类器依次连接。
5.如权利要求1所述的基于时空一致性的群体表情情绪识别方法,其特征在于:基于时间一致性计算有部分帧图像中被遮挡个体a是否为恐慌情绪的方法,具体为:在能够采集到个体a完整面部表情信息的所有帧图片中,识别为恐慌情绪的帧数的比例大于设定的比例阈值,即判定该个体a的情绪在被识别的人群运动的视频中为恐慌情绪,否则为非恐慌情绪。
6.如权利要求1所述的基于时空一致性的群体表情情绪识别方法,其特征在于:基于空间一致性计算所有帧图像中被遮挡个体j是否为恐慌情绪,具体为:将每一帧图片转化为深度图;计算每一帧图像中所有已经通过计算得到情绪结果的个体与被遮挡个体j的距离,根据距离得到个体j的情绪受群体中其他个体的影响值之和,根据影响值确定是否为恐慌情绪,其他个体对个体j的恐慌情绪的影响为负值,非恐慌情绪的影响为正值。
7.如权利要求1所述的基于时空一致性的群体表情情绪识别方法,其特征在于:群体恐慌度包括无恐慌、轻度恐慌、中度恐慌和重度恐慌。
8.基于时空一致性的群体表情情绪识别系统,其特征在于,包括:人脸识别模块:被配置为用于对获取的待识别的人群运动场景中的视频图像,进行人脸检测识别得到每帧图像中的每个个体的人脸表情;
个体恐慌判断模块:被配置为用于根据每个个体的人脸表情识别个体的情绪是否为恐慌情绪;基于时间一致性计算有部分帧图像中被遮挡个体是否为恐慌情绪,基于空间一致性计算所有帧图像中被遮挡个体是否为恐慌情绪;
群体恐慌度判断模块:被配置为用于根据所有个体中为恐慌情绪个体的比例,得到群体恐慌度。
9.一种电子设备,其特征在于,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成权利要求1‑7任一项方法所述的步骤。
10.一种计算机可读存储介质,其特征在于,用于存储计算机指令,所述计算机指令被处理器执行时,完成权利要求1‑7任一项方法所述的步骤。