欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202210042736X
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于关键帧与注意力机制的人体行为识别方法,其特征在于:包括以下步骤:步骤1,对动作视频进行等时划分,分为K个片段;

步骤2,从每个片段中提取关键帧和堆叠光流分别作为空间流卷积神经网络和时间流卷积神经网络的输入;

步骤3,使用加入坐标注意力Coordinate Attention的双流卷积神经网络从每个片段中的关键帧和堆叠光流中提取时空特征;

步骤4,通过Softmax函数计算每个片段对应的时空预测分数,并融合所有片段的时空预测分数,得到整个视频中行为类别的空间共识和时间共识;

步骤5,将空间共识分数和时间共识分数进行加权融合,得到最终的行为识别结果。

2.根据权利要求1所述的基于关键帧与注意力机制的人体行为识别方法,其特征在于:步骤2中,提取关键帧具体过程为:通过差分法计算得到每个片段中当前帧I(x,y,t)与前一帧I(x,y,t‑1)的差分图像u(x,y,t),计算所有帧对应帧间差分图的平均帧间差分强度m(t),最后对每个片段中所有帧按照平均帧间差分强度m(t)进行排序,选择平均帧间差分强度最大的一帧作为本片段输入的关键帧。

3.根据权利要求1所述的基于关键帧与注意力机制的人体行为识别方法,其特征在于:步骤2中,提取堆叠光流具体过程为:通过OpenCV计算得到每个片段中所有图像的稠密光流图dt(u,v),包括垂直分量 和水平分量 选取每个片段中以提取的关键帧为中心的L帧图像的光流图,若关键帧所在时间位置为t,则选取[t‑L/2,t+L/2]之间帧的光流图;为表示W×H×2L

一系列帧之间的运动,将每个片段中选取的连续L帧的光流在通道上堆叠为It∈R 作为每个片段的时间流卷积神经网络输入。

4.根据权利要求1所述的基于关键帧与注意力机制的人体行为识别方法,其特征在于:步骤3中,双流卷积神经网络的两个流使用相同的网络架构,使BN‑Inception网络,由9个Inception模块组成,每个Inception模块包含两种不同大小的卷积,即1×1,3×3卷积,还包括一个3×3的最大池化层;卷积层和池化层得到的特征拼接在一起作为最终的输出,也是下一个模块的输入;在每个Inception模块后连接一个Coordinate Attention以对提取的特征进行加权,使网络能够关注到重要通道以及重要位置的信息。

5.根据权利要求1所述的基于关键帧与注意力机制的人体行为识别方法,其特征在于:步骤3中,Coordinate Attention计算权重对特征加权具体过程为:对于输入特征向量X∈C×H×W

R ,C为通道数,H和W分别为特征图的高和宽,先使用尺寸(H,1)和(1,W)的平均池化核沿着水平坐标方向和竖直坐标方向对每个通道进行特征聚合,拼接生成的两个特征图,使用C/r×(H+W)

一个共享的1×1卷积进行变换F1,经过非线性激活函数作用后,生成f∈R ,r是缩减h C/r×H w C/r×W

率,接着沿空间维度对f切分为两个单独的张量f∈R 和f∈R ,利用另外2个1×1卷h w h w

积变换Fh和Fw分别将f 和f 变换为与输入X具有相同通道数的张量,对输出g和g进行扩展,分别作为注意力权重,最后与输入特征相乘。

6.根据权利要求1所述的基于关键帧与注意力机制的人体行为识别方法,其特征在于:步骤4中,使用Softmax函数对BN‑Incepti on网络最后一个全连接层的输出值进行指数变换和归一化后,得到每个片段对应的时空预测分数,然后通过聚合函数融合所有片段的时空预测分数;采用均匀平均、最大值和加权平均三种不同形式的聚合函数,通过对比结果,选择最佳聚合函数对所有片段的时空预测分数进行融合。

7.根据权利要求1所述的基于关键帧与注意力机制的人体行为识别方法,其特征在于:步骤5中,空间流卷积神经网络与时间流卷积神经网络因其输入不同,所以最终识别性能不同,融合空间共识分数和时间共识分数时应考虑不同的权重,融合后即得到最终的行为识别结果。