欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019101193057
申请人: 北京工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种网络直播视频中不良主播的多层次协同识别方法,其特征在于,包括:从目标视频中提取图像样本、弹幕样本和语音样本;

所述图像样本、所述弹幕样本和所述语音样本分别经过第一神经网络、第二神经网络和第三神经网络,分别计算出图像分类序列、语音分类序列和弹幕分类序列;

根据D-S证据理论对所述图像分类序列、所述语音分类序列和所述弹幕分类序列进行融合处理,生成视频分类序列;

根据所述视频分类序列识别出所述目标视频的行为分类;

其中,所述根据D-S证据理论对所述图像分类序列、所述语音分类序列和所述弹幕分类序列进行融合处理,生成视频分类序列的步骤,包括:对所述图像分类序列、所述语音分类序列和所述弹幕分类序列进行点积运算,得到点积结果;

计算所述点积结果的范数;

将所述点积结果与所述范数作商计算,获得所述视频分类序列。

2.根据权利要求1所述的网络直播视频中不良主播的多层次协同识别方法,其特征在于,所述图像样本、所述弹幕样本和所述语音样本分别经过第一神经网络、第二神经网络和第三神经网络,分别计算出图像分类序列、语音分类序列和弹幕分类序列的步骤,包括:第一卷积神经网络提取所述图像样本的图像特征,将所述图像特征输入第一分类器,计算出所述图像分类序列;

通过第二卷积神经网络提取所述语音样本的语音特征,将所述语音特征输入第二分类器,计算出所述语音分类序列;

通过第三卷积神经网络提取所述弹幕样本的文本特征,将所述文本特征输入第三分类器,计算出所述弹幕分类序列。

3.根据权利要求1所述的网络直播视频中不良主播的多层次协同识别方法,其特征在于,所述从目标视频中提取图像样本、弹幕样本和语音样本的步骤,包括:从所述目标视频中提取多帧图像;

从多帧所述图像中提取关键帧图像,所述关键帧图像为所述图像样本;

从所述关键帧图像中提取所述弹幕样本。

4.根据权利要求3所述的网络直播视频中不良主播的多层次协同识别方法,其特征在于,所述从多帧所述图像中提取关键帧图像的步骤,包括:分别计算多帧所述图像的相关性和熵值;

根据相关性最大原则和熵值最大原则,从多帧所述图像中提取所述关键帧图像。

5.根据权利要求3所述的网络直播视频中不良主播的多层次协同识别方法,其特征在于,所述从所述关键帧图像中提取所述弹幕样本的步骤,包括:根据word2vec从所述关键帧图像中提取弹幕文字,并将所述弹幕文字转化为多个词向量;

将多个所述词向量进行拼接得到所述弹幕样本。

6.根据权利要求3所述的网络直播视频中不良主播的多层次协同识别方法,其特征在于,所述从目标视频中提取图像样本、弹幕样本和语音样本的步骤,还包括:从所述目标视频中提取语音信号;

将所述语音信号转化为二维频谱图,所述二维频谱图为所述语音样本。

7.根据权利要求2所述的网络直播视频中不良主播的多层次协同识别方法,其特征在于,所述第一卷积神经网络提取所述图像样本的图像特征的步骤,包括:所述图像样本经过多层卷积层和多个Inception模块,分别生成多个特征图;

将多个所述特征图通过全连接层进行特征融合,生成所述图像特征。

8.根据权利要求7所述的网络直播视频中不良主播的多层次协同识别方法,其特征在于,所述将多个所述特征图通过全连接层进行特征融合,生成所述图像特征之后的步骤,包括:对所述图像特征进行降维处理。

9.一种网络直播视频中不良主播的多层次协同识别装置,包括:样本提取模块,用于从目标视频中提取图像样本、弹幕样本和语音样本;

分类序列获取模块,用于所述图像样本、所述弹幕样本和所述语音样本分别经过第一神经网络、第二神经网络和第三神经网络,分别计算出图像分类序列、语音分类序列和弹幕分类序列;

融合模块,用于根据D-S证据理论对所述图像分类序列、所述语音分类序列和所述弹幕分类序列进行融合处理,生成视频分类序列;

分类行为提取模块,用于根据视频分类序列识别出所述目标视频的行为分类;

其中,所述融合模块用于:

对所述图像分类序列、所述语音分类序列和所述弹幕分类序列进行点积运算,得到点积结果;

计算所述点积结果的范数;

将所述点积结果与所述范数作商计算,获得所述视频分类序列。