欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020104829438
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于视频关键帧的人体行为识别方法,其特征在于:该方法包括下列顺序的步骤:(1)获取已经分类的视频集:下载UCF101视频集,该视频集作为动作行为识别的数据集包括13320个视频、101类动作,split1为实验视频集;将视频集中每类视频中选取25个视频编号为1号作为训练视频,选取5个视频编号为2号作为测试视频;

(2)基于信息量划分视频片段:检测视频的行为主体,计算整个视频的运动信息量M,将视频划分为N段,最小化片段的方差D,用贪心算法将视频划分为N段;

(3)构造双流卷积神经网络并随机取样训练该双流卷积神经网络;

(4)基于系数重构矩阵方法提取测试视频的时空特征;

(5)将得到的时空特征输入训练好的双流卷积神经网络,得到行为识别结果;

所述步骤(4)具体包括:

(4a)对测试视频的划分片段每一帧提取维度为680的PHOG特征,所有帧特征组合成为片段视频的高层语义矩阵X;

(4b)对高层语义矩阵X重构系数,采用求迭代闭合解的方法求解,得到视频段的重构系数矩阵W;

(4c)对得到的重构系数矩阵W的每一行叠加求和,重构系数矩阵W的第i行和代表视频片段的第i帧的重要性,对所有行和进行从大到小排序,选取行和最大的一帧作为该视频片段的空间特征,选取行和最大的前五帧作为该视频片段的时间特征;

(4d)重复步骤(4a)至步骤(4c),对测试视频的每一片段求出对应的时空特征;

所述步骤(4b)具体是指:

构造系数重构公式如下:

其中,X为高层语义矩阵,W代表重构系数矩阵,γ为稀疏度控制参数,公式由两个L21范数矩阵相加构成,为解出W对该公式进行优化,加入松弛约束W=C和X‑XW=E,将该公式转化为以下ALM目标:其中,Λ1、Λ2和Λ3是拉格朗日乘子,μ>0是一个惩罚参数,分别计算式(3)对各变量、各参数的偏导数,再令偏导数等于0,求出各参数的闭合解,根据该方法首先求到W的解为:T T ‑1 T

W=(2XX+μ(I+11)) (2UX+μ(P+1Q))   (4)其中 然后通过相同的计算方法计

算C和E的闭合解如下:

其中, 最后,计算拉格朗日算子Λ1、Λ2和Λ3的解

如下式:

Λ1=Λ1+μ(W‑C)   (7)

T T

Λ2=Λ2+μ(1W‑1)   (8)

Λ3=Λ3+μ(X‑XE‑W)   (9)

‑6 10

初始化各参数W=C=0,Λ1,Λ2,Λ3=0,μ=10 ,ρ=1.1,maxμ=10 ,对各参数不断迭‑8 T T代求闭合解,其中μ更新为min(ρμ,maxμ);设置阈值ε=10 ,若|W‑C|<ε,|1W‑1|<ε,|X‑XE‑W|<ε成立则各参数稳定,解得重构系数矩阵W。

2.根据权利要求1所述的基于视频关键帧的人体行为识别方法,其特征在于:所述步骤(2)具体是指:计算整个视频的运动信息量M,即:2

式中,flow(x,y,c)表示片段内对应的二通道光流图像,c表示光流的通道;

将视 频 划分 为N 段 ,求得 平 均信 息量 为 M/ N ,最 小化 片段 方 差式中,Mi为视频第i个片段的运动信息量, 为平均片段信息量;

使用贪心算法最小化片段方差求近似解:对训练视频即1号和测试视频即2号进行片段划分,首先对视频进行帧采样得到视频帧集,初始化N个划分段,划分段内容为空,计算第i个划分段的运动信息量Mi,若比 小,将视频帧集的第一帧加入该划分段并在视频帧集中删除该帧,再次计算该片段的信息量,直到该段的运动信息量首次大于平均信息量 完成片段i的划分,计算第i+1个划分段,重复贪心算法,直到视频帧集为空,完成整个视频的划分。

3.根据权利要求1所述的基于视频关键帧的人体行为识别方法,其特征在于:所述步骤(3)具体是指:所述双流卷积神经网络包括空间特征网络和时间特征网络,所述构造双流卷积神经网络是指:空间特征网络采用BN‑Inception结构,时间特征网络在BN‑Inception结构的基础上在第一个卷积层的卷积核参数沿通道求和,将得到的参数除以目的通道数,沿通道复制叠加,作为新的conv1层的参数,该网络的输入为固定的10通道,由5帧的光流图像按xy方向堆叠得到;

所述训练双流卷积神经网络是指:对测试视频,从已划分好的片段中随机选取单个视频帧和视频序列作为双流卷积神经网络的输入,对每个片段得到的时空特征即卷积层输出,分别进行均值池化,将池化结果作为损失函数的输入计算损失,进行反向传播,将所有训练视频集训练完得到最终的双流卷积神经网络参数。

4.根据权利要求1所述的基于视频关键帧的人体行为识别方法,其特征在于:所述步骤(5)具体是指:将得到的时空特征输入训练好的训练该双流卷积神经网络,对得到的分类结果均值池化,经过argmax函数得到预测结果,完成行为识别。