欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022106639827
申请人: 南通大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-01-27
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于灰色对抗感知网络的视频异常事件检测方法,其特征在于,包括未来帧预测阶段和未来帧优化阶段;

未来帧预测阶段,将连续帧作为网络输入,首先通过编码器提取编码特征;引入灰色感知单元来感知编码器捕获的特征并输出具有判别性的感知特征,采用邓氏灰色关联分析编码特征与感知单元中感知原子的相关性,降低特征不确定性并优化感知单元;解码器将编码特征和感知特征同时作为输入来获取预测未来帧;

未来帧优化阶段,为了捕获预测未来帧和真实未来帧中小目标区域的详细特征,设计了基于对抗学习的判别网络,学习预测未来帧和真实未来帧的特征并输出判别概率;引入了灰色绝对关联来分析预测未来帧和真实未来帧的相关性,以增强异常情况下对帧间光照变化的鲁棒性;将判别概率和帧相关性反馈给编码器和解码器,采用对抗方案优化编码器、解码器和判别网络;通过多次循环迭代,获得较优的预测未来帧,计算真实未来帧与预测未来帧在像素上和特征上的差异来完成异常检测。

2.根据权利要求1所述的一种基于灰色对抗感知网络的视频异常事件检测方法,其特征在于,所述未来帧预测阶段的具体步骤为:S1、给定一个只包含正常事件的训练视频序列V,划分为几个片段Ι={I1,…,It‑1,It};

将连续帧I1,…,It‑1作为输入,编码器输出大小为H×W×C的编码特征e=E(I1,…,It‑1),其中H、W、C分别为高度、宽度和通道数;

S2、为了更好地感知正常特征的异常特征,在编码器后引入了灰色感知单元捕获判别性特征,输出感知特征 将感知特征与编码特征沿着通道维度连接起来输入到解码器中,获得预测未来帧 模型表示为:式中,E,P和D分别为编码器、灰色感知单元和解码器;

S3、灰色感知单元包含M个感知项pm(m=1,……,M),编码特征被输入到灰色感知单元感知正常信息并输出感知特征;

S4、给定en(n=1,……N,N=H×W)为编码特征中的第n个特征,即e={e1,…,en…,eN};

当感知灰色感知单元时,计算每个特征en度和感知项pm之间的余弦相似度,并使用Tanh函数n,m计算相应的权值w 来提高感知单元的表征多样性:

对于任意特征en,通过上述计算得到的权值来读取灰色感知单元,得到感知特征 为所有感知项的加权求和:为了更新灰色感知单元中的感知项pm,从所有编码特征中选择最相近的特征来并且重m组为新集合U,并使用Tanh函数计算相应的权值 更新后的感知项表示为:m

其中f(·)表示L2范数, 是新集合U中特征的权重;

S5、为了优化灰色感知单元,设计了来自类内和类间的约束条件;类内约束鼓励编码特征与灰色感知单元中最接近的感知原子之间的距离尽可能小;不仅使用绝对距离,如式(5)中L2范数,而且提出使用邓氏灰色关联来分析相对差异性;

其中, 是第n个特征最接近的感知原子,en是编码特征中的第n个特征;

S6、将最接近的感知项 作为参考序列,看出每一个

感知项包含N个感知原子,以编码特征e=(ei(1),ei(2),…,ei(n),…,ei(N))作为比较序列,其中i=1,2,…,N和n=1,2,…,N;单独的编码特征与其最接近的感知原子之间的邓氏灰色关联定义为:其中, 为第n个特征下感知原子与编码特征之间的关联系数;LDGR是感知项 和整体编码特征e的邓氏灰色关联度;λ是一个常数,在(0,1]之间;

S7、编码特性除了最接近的感知原子外,应该远离其他感知原子,使用一个边界为α的特征三元组约束,如下所示:其中,设置en特征,其最接近的感知原子 和第二接近的感知原子 分别作为锚点,正样本和负样本。

3.根据权利要求1所述的一种基于灰色对抗感知网络的视频异常事件检测方法,其特征在于,所述未来帧优化阶段的具体步骤为:步骤1、编码器、灰色感知单元和解码器提供了像素级的预测结果,通常使用范数作为像素约束,减少预测未来帧与真实未来帧之间的差异,保持外观的相似性,如下式:步骤2、针对小目标区域,使用判别网络来细化预测未来帧和真实未来帧中的区分性;

步骤3、判别网络将未来帧转换为[0,1]之间的概率值Ddis(·),用于对编码器、灰色感知单元和解码器的反馈优化;采用对抗性学习方法对判别网络和三个模块的组合进行训练;

式中, 为判别网络的约束函数, 为编码器、灰色感知单元和解码器提供反馈;预测未来帧为 且E为编码器; 表示求取平均值;D(·)表示解码器的输出,Ddis(·)是判别网络的输出概率;

步骤4、由于预测未来帧的不确定性,引入了具有平移不变性的灰色绝对关联到二维空间中,约束预测未来帧和真实未来帧的相关性,增强了对光照的鲁棒性;将预测未来帧和真实未来帧分别作为比较帧和参考帧;基于灰色绝对关联原理,需要对两个未来帧进行处理获得零点始化象;I′t=It‑It(1,1)和 是It和 经过零点始化的矩阵,其中(1,1)是每一帧中的像素索引,将预测未来帧与真实未来帧之间的灰色绝对关联定义为LGAR:两帧的绝对灰色关联具有对称性;如果光照发生改变,真实未来帧It和预测未来帧 分别变成It‑a和 灰色绝对关联不发生变化;灰色绝对关联可以减少异常检测中全局光照变化引起的误判,使未来帧的预测更加鲁棒;

步骤5、从特征角度和像素角度来计算异常分数,检测正常与异常事件;当从像素角度,使用可以表达预测帧质量的峰值信噪比PSNR来计算异常分数,在计算每帧的PSNR后,将所有帧的PSNR值归一化为[0,1],如式(12):PSNR值越大表明待测未来帧属于正常的概率越大;

当从特征角度,使用绝对距离和相对距离来测量灰色感知单元中编码特征与其最接近的感知原子之间的差异;其中绝对距离采用L2范数Snorm(t)和相对距离采用邓氏灰色关联SDGR(t)来计算:其中, 在t帧中最接近的编码特征 的感知原子;

步骤6、用极大极小值归一化方法对绝对距离和相对距离进行归一化;每个视频帧的最终异常分数S由参数η和μ加权得到下式:S(t)=SPSNR(t)+η·Snorm(t)+μ·SDGR(t)    (15)因此,异常分数表示某一帧是否异常,值越大表示异常的概率越大。

4.根据权利要求3所述的一种基于灰色对抗感知网络的视频异常事件检测方法,其特征在于,步骤2与步骤3中的判别网络,采用经典的卷积块结构,由5个卷积块组成,卷积核大小为2×2,步幅大小为2;前三个卷积块均包含两层卷积和一个最大池化操作;每次卷积后都进行批归一化和sigmoid激活;在最后一个卷积块后使用sigmoid激活函数来输出预测未来帧和真实未来帧的概率。