1.一种网络直播视频中不良主播的多层次协同识别方法,其特征在于,包括:从目标视频中提取图像样本、弹幕样本和语音样本;
所述图像样本、所述弹幕样本和所述语音样本分别经过第一神经网络、第二神经网络和第三神经网络,分别计算出图像分类序列、语音分类序列和弹幕分类序列;
根据D-S证据理论对所述图像分类序列、所述语音分类序列和所述弹幕分类序列进行融合处理,生成视频分类序列;
根据所述视频分类序列识别出所述目标视频的行为分类;
其中,所述根据D-S证据理论对所述图像分类序列、所述语音分类序列和所述弹幕分类序列进行融合处理,生成视频分类序列的步骤,包括:对所述图像分类序列、所述语音分类序列和所述弹幕分类序列进行点积运算,得到点积结果;
计算所述点积结果的范数;
将所述点积结果与所述范数作商计算,获得所述视频分类序列。
2.根据权利要求1所述的网络直播视频中不良主播的多层次协同识别方法,其特征在于,所述图像样本、所述弹幕样本和所述语音样本分别经过第一神经网络、第二神经网络和第三神经网络,分别计算出图像分类序列、语音分类序列和弹幕分类序列的步骤,包括:第一卷积神经网络提取所述图像样本的图像特征,将所述图像特征输入第一分类器,计算出所述图像分类序列;
通过第二卷积神经网络提取所述语音样本的语音特征,将所述语音特征输入第二分类器,计算出所述语音分类序列;
通过第三卷积神经网络提取所述弹幕样本的文本特征,将所述文本特征输入第三分类器,计算出所述弹幕分类序列。
3.根据权利要求1所述的网络直播视频中不良主播的多层次协同识别方法,其特征在于,所述从目标视频中提取图像样本、弹幕样本和语音样本的步骤,包括:从所述目标视频中提取多帧图像;
从多帧所述图像中提取关键帧图像,所述关键帧图像为所述图像样本;
从所述关键帧图像中提取所述弹幕样本。
4.根据权利要求3所述的网络直播视频中不良主播的多层次协同识别方法,其特征在于,所述从多帧所述图像中提取关键帧图像的步骤,包括:分别计算多帧所述图像的相关性和熵值;
根据相关性最大原则和熵值最大原则,从多帧所述图像中提取所述关键帧图像。
5.根据权利要求3所述的网络直播视频中不良主播的多层次协同识别方法,其特征在于,所述从所述关键帧图像中提取所述弹幕样本的步骤,包括:根据word2vec从所述关键帧图像中提取弹幕文字,并将所述弹幕文字转化为多个词向量;
将多个所述词向量进行拼接得到所述弹幕样本。
6.根据权利要求3所述的网络直播视频中不良主播的多层次协同识别方法,其特征在于,所述从目标视频中提取图像样本、弹幕样本和语音样本的步骤,还包括:从所述目标视频中提取语音信号;
将所述语音信号转化为二维频谱图,所述二维频谱图为所述语音样本。
7.根据权利要求2所述的网络直播视频中不良主播的多层次协同识别方法,其特征在于,所述第一卷积神经网络提取所述图像样本的图像特征的步骤,包括:所述图像样本经过多层卷积层和多个Inception模块,分别生成多个特征图;
将多个所述特征图通过全连接层进行特征融合,生成所述图像特征。
8.根据权利要求7所述的网络直播视频中不良主播的多层次协同识别方法,其特征在于,所述将多个所述特征图通过全连接层进行特征融合,生成所述图像特征之后的步骤,包括:对所述图像特征进行降维处理。
9.一种网络直播视频中不良主播的多层次协同识别装置,包括:样本提取模块,用于从目标视频中提取图像样本、弹幕样本和语音样本;
分类序列获取模块,用于所述图像样本、所述弹幕样本和所述语音样本分别经过第一神经网络、第二神经网络和第三神经网络,分别计算出图像分类序列、语音分类序列和弹幕分类序列;
融合模块,用于根据D-S证据理论对所述图像分类序列、所述语音分类序列和所述弹幕分类序列进行融合处理,生成视频分类序列;
分类行为提取模块,用于根据视频分类序列识别出所述目标视频的行为分类;
其中,所述融合模块用于:
对所述图像分类序列、所述语音分类序列和所述弹幕分类序列进行点积运算,得到点积结果;
计算所述点积结果的范数;
将所述点积结果与所述范数作商计算,获得所述视频分类序列。