欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022100661916
申请人: 宁波大学
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2025-07-09
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于三分支孪生网络的无监督视频异常检测方法,其特征在于:该方法包括下列步骤:S1、采用无监督异常检测方法从视频中提取置信度最高的正常帧代表和异常帧代表;

S2、建立基于记忆模块的预测模型;

S3、对步骤S2中建立的预测模型进行训练,得到训练后的预测模型;

S4、对训练后的预测模型进行测试:将步骤S3中训练后的预测模型克隆成三份,构成一个三分支孪生网络,将正常帧代表、待测试帧、异常帧代表作为三分支孪生网络的输入,由三分支孪生网络输出三个预测损失结果,最后将三个预测损失结果通过决策函数计算得到异常得分。

2.根据权利要求1所述的一种基于三分支孪生网络的无监督视频异常检测方法,其特征在于:在步骤S1中,采用无监督异常检测方法从视频中提取置信度最高的正常帧代表和异常帧代表的具体过程包括下列步骤:S11、首先使用预先训练好的ResNet‑50将视频帧转为1000维的特征向量,再使用主成分分析方法对特征向量降维,并提取最重要的100个成分作为主要特征组成样本集x;

S12、采用孤立森林算法来计算样本集x的异常得分,具体计算方法的表达式为:其中,h(x)表示样本集x从ITree的根节点到达叶结点所途径的路径长度,等价于样本集x落入叶结点所需的划分次数;E(h(x))表示样本集x在整个孤立森林算法上的平均路径长度;c(n)=2H(n‑1)‑2(n‑1)/n,其中n为训练单颗iTree的样本数,H(i)为调和级数,且H(i)=In(i)+0.577,c(n)用于对h(x)进行标准化;

S13、采用主成分重构算法来计算样本集x的异常得分,具体计算方法的表达式为:其中, 是第i个样本的第k个特征值对应的特征向量;n表

示主成分个数,xi表示第i个样本的n维的特征向量,ev(k)表示前k个主成分多大程度上解释了总体方差,与k值成正比;

S14、将步骤S12和步骤S13中得到的异常得分取平均,得到平均值,将平均值作为初始化异常检测的结果;我们将结果最接近0的20%数据作为正常帧代表,最接近1的1%数据作为异常帧代表。

3.根据权利要求2所述的一种基于三分支孪生网络的无监督视频异常检测方法,其特征在于:在步骤S2中,建立基于记忆模块的预测模型的具体过程包括下列步骤:S21、将步骤S1中得到的正常帧代表中的每一帧及其前面的连续四帧作为一组训练样本,得到若干组训练样本,每一组训练样本中,使用连续四帧来预测第五帧,使用U‑Net框架来提取特征表达和产生图像,设定t时刻的连续四帧数据为It~t+3,其对应的特征图为qt~t+3,是It~t+3中的一个块特征,大小为1x1xC,K=H×W;

S22、建立一个记忆预测模型;所述记忆预测模型包括M个记忆单元、读取操作和更新操作;对于读取操作,采用cosine相似度衡量 和pm的相似性,相似性矩阵S大小为M×K,其垂直方向的值代表M个记忆单元分别和 的相似性,在该方向上使用softmax函数,获得 在第m个记忆单元上的匹配概率 其表达式为:S23、通过对M个记忆单元加权求和获取 的记忆信息 其表达式为:S24、将读取到的 和 在通道方向上连接起来,合并成H×W×2C的特征图,送入解码器产生预测帧;

S25、使用 记录第m个记忆单元对应的查询单元索引的集合;相似性矩阵S沿着水平方向的值代表K个查询单元分别与pm的相似性,在这个方向上应用softmax函数,获得pm在第k个查询单元上的匹配概率 其表达式为:S26、对得到的 进行归一化,得到 的表达式为:

得到的 保证了离pm最近的查询单元会用100%的权重更新pm;所述pm更新如下:其中,f(·)是L2norm;

S27、针对记忆模块,所述记忆模块包括M个记忆单元和读取操作,通过记忆模块产生两种损失函数:特征紧凑损失函数和特征分离损失函数;特征紧凑损失函数的表达式为:特征分离损失函数的表达式为:

其中,α表示森林间距;

S28、通过解码器输出预测帧 将 和It+4的L2距离定义为预测损失函数Lprediction,其表达式为:

S29、结合预测损失函数、特征紧凑损失函数和特征分离损失函数,得到基于记忆模块的预测模型的损失函数L,其表达式为:L=Lprediction+λsLseparate+λcLcompact。

4.根据权利要求1所述的一种基于三分支孪生网络的无监督视频异常检测方法,其特征在于:在步骤S3中,对步骤S2中建立的预测模型进行训练,得到训练后的预测模型的具体过程为:采用基于记忆模块的预测模型的损失函数L作为目标损失函数,使用初始学习率为

2e‑4的优化器Adam最小化该损失函数,并且使用一种余弦退火方法来衰减学习率,最终得到训练后的预测模型。

5.根据权利要求3所述的一种基于三分支孪生网络的无监督视频异常检测方法,其特征在于:在步骤S4中,将正常帧代表输入三分支孪生网络,三分支孪生网络对正常帧代表进行处理,得到正常帧代表的平均预测损失,其表达式为: 其中,r是正常帧代表中前1/4的数据,βr表示r的大小;将异常帧代表输入三分支孪生网络,三分支孪生网络对异常帧代表进行处理,得到异常帧代表的平均预测损失,其表达式为:其中,Λ表示异常帧代表,βΛ表示Λ的大小;根据Lavg_nor、Lavg_abnor以及Lprediction,使用决策函数最终计算得到异常得分:: 其中,γ和η分别表示平均预测损失Lavg_nor和Lavg_abnor所对应的异常得分。