1.一种危险行为识别方法,其特征在于,所述方法包括:获取至少包含一段视频信息的历史监控视频,并对至少一段的所述视频信息进行视频特征提取和音频特征提取,得到视频特征所述获取至少包含一段视频信息的历史监控视频,并对至少一段的所述视频信息进行视频特征提取和音频特征提取,得到视频特征首先需要读取历史监控视频并进行视频预处理,包括裁剪、缩放、去除背景操作,而后将经过预处理的有群体行为的历史监控视频分割成为至少一段视频信息,再利用Openpose进行人体目标锁定以及骨架关节点提取,然后再将带有骨骼点序列信息的视频帧输入到时空图卷积网络ST-GCN中进行动作行为特征提取,ST-GCN网络使用一个邻接矩阵其中,
对每个样本
所述对每个样本
根据以下公式对视频特征
其中,
将
其中,
根据以下公式计算得到总损失:
其中,
根据所述对比学习模型得到关于投影视频特征
2.根据权利要求1所述的危险行为识别方法,其特征在于,所述获取至少包含一段视频信息的历史监控视频,并对至少一段的所述视频信息进行视频特征提取和音频特征提取,得到视频特征根据以下公式对所述视频信息进行预加重:其中,
根据以下公式对预加重后的输出进行加窗操作:其中,
根据以下公式对加窗后的信号进行傅里叶变换:根据以下公式对傅里叶变换后的信号进行梅尔滤波:其中,
根据以下公式对梅尔滤波后的信号进行离散余弦变换:其中,
将离散余弦变换后的信号进行归一化处理,得到音频特征
3.根据权利要求1所述的危险行为识别方法,其特征在于,所述根据所述对比学习模型得到关于投影视频特征假设所述对比学习模型输出的视频特征向量为其中,
4.根据权利要求1所述的危险行为识别方法,其特征在于,所述根据所述对比学习模型得到关于投影视频特征和投影音频特征的融合特征F,并将至少一段视频信息对应的融合特征F输入到N个基分类器中进行训练,得到用于输出概率最大的行为类型结果的多分类器加权投票模型,所述行为类型结果包括有危险和无危险的步骤包括:根据所述至少一段视频信息对应的融合特征F构建训练集将训练集
根据各基分类器的性能分配初始权重,用
5.根据权利要求4所述的危险行为识别方法,其特征在于,所述根据各基分类器的性能分配初始权重,用表示第n个基分类器的初始权重,并基于所述类概率对所述初始权重进行优化,并按照优化之后的初始权重对已训练好的基分类器进行线性加权组合,得到所述多分类器加权投票模型的步骤包括:根据以下公式构建所述多分类器加权投票模型:
6.一种危险行为识别系统,其特征在于,所述系统包括:特征提取模块,用于获取至少包含一段视频信息的历史监控视频,并对至少一段的所述视频信息进行视频特征提取和音频特征提取,得到视频特征所述获取至少包含一段视频信息的历史监控视频,并对至少一段的所述视频信息进行视频特征提取和音频特征提取,得到视频特征首先需要读取历史监控视频并进行视频预处理,包括裁剪、缩放、去除背景操作,而后将经过预处理的有群体行为的历史监控视频分割成为至少一段视频信息,再利用Openpose进行人体目标锁定以及骨架关节点提取,然后再将带有骨骼点序列信息的视频帧输入到时空图卷积网络ST-GCN中进行动作行为特征提取,ST-GCN网络使用一个邻接矩阵其中,
迭代训练模块,用于对每个样本
所述对每个样本
根据以下公式对视频特征
其中,
将
其中,
根据以下公式计算得到总损失:
其中,
投票模块构建模块,用于根据所述对比学习模型得到关于投影视频特征
7.一种存储介质,其特征在于,包括:所述存储介质存储一个或多个程序,该程序被处理器执行时实现如权利要求1-5任一所述的危险行为识别方法。
8.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,其中:所述存储器用于存放计算机程序;
所述处理器用于执行所述存储器上所存放的计算机程序时,实现权利要求1-5任一所述的危险行为识别方法。