欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024108973370
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种群体行为识别方法,其特征在于,包括:获取待识别的视频帧;

根据视频帧,基于预训练好的群体行为识别模型,得到群体行为类别;

所述群体行为识别模型包括:骨干网络、融合模块、嵌入层、关系推理模块、图卷积网络、全局平均池化层以及分类器;

所述骨干网络为VGG-16或者Inception-v3,利用骨干网络提取图像的全局特征X所述融合模块包括:卷积层、注意力机制模块、线性嵌入层、Softmax层、层归一化层以及前馈网络;

针对全局特征X

X

其中,PE表示位置编码,Conv基于注意力机制模块,对经过卷积层的个体特征X其中,ChannelAtt表示通道注意力机制,将添加通道注意机制后的个体特征其中,Linear表示线性嵌入层;

将通过线性嵌入层的个体特征其中,Softmax表示Softmax层;

再将中间特征X

再将融合特征

其中,LN表示层归一化层,FFN表示前馈网络;

再将表征能力增强的融合特征

2.根据权利要求1所述的一种群体行为识别方法,其特征在于,基于骨干网络,将视频帧作为输入得到全局特征X根据全局特征X

基于融合模块,将全局特征X基于嵌入层,将个体特征X基于关系推理模块,根据最终的融合特征F基于预训练好的图卷积网络,以个体间的关系交互图G与最终的融合特征F

3.根据权利要求2所述的一种群体行为识别方法,其特征在于,根据最终的融合特征F其中,x

4.根据权利要求2所述的一种群体行为识别方法,其特征在于,获取群体行为类别的表达式如下:Y=C(AvgPool(X其中,Y为最终得到的群体行为类别,C为分类器,AvgPool为全局平均池化层,X

5.一种群体行为识别系统,其特征在于,所述群体行为识别系统用于实现如权利要求1-4任一项所述的群体行为识别方法,包括:数据获取模块,用于获取待识别的视频帧;

行为识别模块,用于根据视频帧,基于预训练好的群体行为识别模型,得到群体行为类别;

所述群体行为识别模型包括:骨干网络、融合模块、嵌入层、关系推理模块、图卷积网络、全局平均池化层以及分类器。

6.根据权利要求5所述的一种群体行为识别系统,其特征在于,所述行为识别模块执行的操作包括:基于骨干网络,将视频帧作为输入得到全局特征X根据全局特征X

基于融合模块,将全局特征X基于嵌入层,将个体特征X基于关系推理模块,根据最终的融合特征F基于预训练好的图卷积网络,以个体间的关系交互图G与最终的融合特征F

7.根据权利要求5所述的一种群体行为识别系统,其特征在于,所述融合模块包括:卷积层、注意力机制模块、线性嵌入层、Softmax层、层归一化层以及前馈网络;

所述融合模块执行的操作包括:针对个体特征XX

其中,PE表示位置编码,Conv基于注意力机制模块,对经过卷积层的个体特征X其中,ChannelAtt表示通道注意力机制,将添加通道注意机制后的个体特征其中,Linear表示线性嵌入层;

将通过线性嵌入层的个体特征其中,Softmax表示Softmax层;

再将中间特征X

再将融合特征

其中,LN表示层归一化层,FFN表示前馈网络;

再将表征能力增强的融合特征

8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-4中任一项所述方法的步骤。