欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022102720425
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于视频检测技术的分拣中心异常识别方法,其特征在于,包括如下步骤,步骤S1.系统开始时,对视频第一帧进行检测,连续检测三帧;

步骤S2.运行对象检测器进行视频目标检测,以获得对象的边界框;

步骤S3.构建基于LSTM的目标状态预测模型,进行目标的轨迹预测;

步骤S4.构建TWP跟踪器实现轨迹相似度计算与数据关联,为每个对象分配数字ID;

步骤S5.建立轨迹Token对已经分配好数字ID的跟踪目标,进行状态管理;

步骤S6.建立目标异常辨别器,对出现状态异常的跟踪目标进行甄别;

所述步骤S3中,基于LSTM的目标状态预测模型,利用时间序列,获取目标运动信息,输入:xt(x,y,z),zt(r,a,e);输出:xt+1(x,y,z),zt+1(r,a,e);

其中,xt为t时刻目标的状态向量,x,y,z分别为在以视频中心为原点的三维坐标系中的位置;zt为t时刻目标的量测状态,r,a,e分别表示以摄像机为原点的极坐标系中的距离,方位与角度;

在LSTM神经元结构的基础上,将xt,zt作为模型的输入,X表示输入的目标集合{x0,x1,......,xt,xt+1},W表示全连接层的可学习参数,σ表示sigmoid激活函数tanh表示tanh函数Concat表示向量合并函数,功能在于将两个向量合并为一个较长的向量,即ht表示隐藏层的输出集合{h0,h1,......,ht,ht+1},ct表示LSTM的细胞状态集合{c0,c1,……ct,ct+1,};模型从输入到输出的的具体过程为:步骤S31a.将输入数据xt(x,y,z)与zt(r,a,e),通过concat函数合并为一个向量,步骤S3b.将与上一节点得出的隐藏层ht按权重矩阵wxh计算,得出中间隐藏层输出:

步骤S3c.利用sigmoid激活函数σ(x)与tanh函数,得出这一节点的细胞状态ct+1,步骤S3d.计算ht+1,得出输出xt+1,

其中,bi,bh,bo,为偏置量。

2.根据权利要求1所述的基于视频检测技术的分拣中心异常识别方法,其特征在于,所述步骤S2中,运行对象检测器进行视频目标检测的具体过程包括如下步骤,步骤S21.通过马斯克卷积神经网络模型中的图像预处理模块,对原图进行卷积操作,获取公共特征图作为RPN网络的输入,设公共特征图大小为N×H×W像素,H为原图的高,W为原图的底;

步骤S22.将公共特征图进行3×3的卷积,获取256×H×W像素的特征图,即图中有H×W个256维的特征向量;

步骤S23.预定锚点与规范框,每一个特征图上的点对应原图上的一个区域,区域大小为m×m,m为原图与特征图的比例,设定每个区域的中心为锚点,每个锚点确定K个规范框,因此,特征图H×W个点对应原图H×W×K个框,规范框的宽高比为1,大小为64xp;128xp;256x0p,K=3×3=9,每种规范框设定三种比例;

步骤S24.特征图包含H×W个向量,每个向量为256维,对每个特征向量做两次全连接操作,获取两个子特征图,分别为目标背景特征图和原图偏移量特征图;目标背景特征图的大小为4K×H×W像素,K对应锚定的K个规范框,4表示4种不同的状态,H为特征图的高,W为特征图的底,设定4个分量表示目标,背景的不同状态:

a,b,c,d∈{1,0},

a,c为目标量,

b,d为位移量,

对应无法移动的背景,

对应时间段内移动的背景,

对应暂时静止的目标,

对应视频图像中静止的目标,

无法移动的背景为连续20帧都没有任何变化和移动的特征区域;

原图偏移量特征图的大小为4K×H×W像素,K为锚定的K个规范框,4代表规范框的4个坐标(x,y,h,w),(x,y)代表着锚点的坐标,即规范框的中心点,(h,w)为规范框的宽与高,每个锚点对应K个规范框,标记K×H×W个规范框;

对规范框设置偏移量,设定阈值α,若偏移量小于α,则在训练中标记为正样本,若偏移量大于α,则标记为负样本;

设规范框A与其对应的真实框B的中心点分别为(xi,yi)和(xj,yj);A的宽为wi,B的宽为wj;A的高为Hi,B的为Hj,偏移量为:

其中参数μx,μy,μw,μh∈(0,0.1),σx=σy=0.1,σh=σw=0.2;

步骤S25.根据锚定点和特征图通过马斯克卷积神经网络模型获取候选框,模型训练的损失函数为其中,i为特征图中的第i个参与训练的锚点,一共有N个,pi为预测概率,代表锚点定义的原图中是目标的概率,为二分类的交叉熵;为规范框的回归。

3.根据权利要求1所述的基于视频检测技术的分拣中心异常识别方法,其特征在于,所述步骤S2中,RPN网络中锚定点K个规范框比例尺寸的设定具体为,设纸箱的长宽高为(a,b,c),设图像视频中的纸箱的外围矩阵的宽为W,高为H,矩阵到图像矩阵的线性映射公式为

其中,参数β为纸箱与摄像头之间的远近程度,β∈(0,1),参数γ为纸箱与摄像头之间的广角,γ∈(0.3,1),参数μ为纸箱与摄像头之间的俯角,μ∈(0.2,1)。

4.根据权利要求1所述的基于视频检测技术的分拣中心异常识别方法,其特征在于,所述步骤S3中,目标状态预测模型采用损失函数ME-Loss;

目标检测和实例分割为多重任务,多重任务的损失函数采用多个子任务的损失函数加权求和,公式为其中,是在第i个阶段中第t个任务的损失函数,是一个用来决定每个阶段中每个任务权重的超参数;

采用集成式的损失函数,损失函数定义为给定一组logits最终的全连接层的输出,损失函数的计算步骤为,步骤S31.计算和的差异值xij=sj-si,

步骤S32.基于和的差异值,每一对样本获取的差异项,可以被表示为一个基础项步骤S33.对L归一化求和,获取最后的损失函数为

5.根据权利要求1所述的基于视频检测技术的分拣中心异常识别方法,其特征在于,所述步骤S4中,TWP跟踪模型分为两个阶段,第一阶段,将目标检测作为图中的一个节点,构建网络流模型;然后对模型进行求解,获取初步的跟踪轨迹;其中,通过LSTM运动模型和基于颜色直方图的外观模型计算数据关联代价;在第二阶段,为了减少未命中目标和目标id,对轨迹进行聚类和优化,在聚类中,通过siamese网络和LSTM运动模型计算目标的相似度。

6.根据权利要求1所述的基于视频检测技术的分拣中心异常识别方法,其特征在于,所述步骤S1中的系统内,加入异常指数,形成新的评价指标体系,设立评价指标时包括三个因素:跟踪精度、跟踪轨迹一致性和异常情况的鉴别率,具体如下,利用ID scores进行跟踪精度的评判,

Identification precision:

Identification recall:

Identification FI:利用SQE进行跟踪轨迹一致性的评判,SQE是通过分析相同身份目标和不同身份目标之间的特征距离来估计ID{三位}的变换情况的;采用高斯混合模型度量距离分布,距离度量模式采用欧氏距离:标特征的高斯混合模型和欧氏距离公式,获取距离分布模型,并且特征距离标准化后服从卡方分布评价指标公式为:其中,n为轨迹数量,L为轨迹平均长度,dif为轨迹内身份变化程度,通过计算高斯混合模型的均值距离来判定是否存在多个身份;

利用Get strange进行异常情况的鉴别率的评判,其中,FN为False Negative漏报,整个视频检测及跟踪目标的漏报数量之和;

FP为False Positve误报,整个视频检测及跟踪误报数量之和;

TP为TurePositive正确标记,整个视频检测及跟踪正确标记目标的总和;

M为环境参数,根据视频中的目标数量与移动速度确定;

Gs为异常捕获率,表示在视频目标中检测到的真异常目标的检测率;

TPG为在考虑Gs的情况下,整个视频的正确检测跟踪的目标总和;

FNG为在考虑Gs的情况下,整个视频检测及跟踪目标的漏报数量之和;

FPG为在考虑Gs的情况下,整个视频检测及跟踪误报数量之和;

α是为TPG的权重,根据异常检测器的识别精度,调整α的值。

7.根据权利要求1所述的基于视频检测技术的分拣中心异常识别方法,其特征在于,所述步骤S5中,构建轨迹Token对已经分配好数字ID的跟踪目标,进行状态管理,具体步骤为,步骤S51.为连续三帧都检测到的目标激活跟踪状态并分配跟踪器;

步骤S52:当目标的表观信息产生大幅度的扰动时,表观特征匹配不能达到阈值、跟踪状态转换为等待状态;

步骤S53:当目标再次被检测器激活时,根据特征库内己存储的最近三帧特征与新出现目标特征进行匹配,如果关联成功,则目标再次转为跟踪状态;

步骤四:如果未匹配则说明出现了新的跟踪目标,对新目标进行一系列初始化操作;对于跟踪成功的目标要实时更新,该目标特征库中的特征以及目标运动系统中的各项参数,从而完成对系统状态的更新。

8.根据权利要求1所述的基于视频检测技术的分拣中心异常识别方法,其特征在于,所述步骤S5中,利用基于LSTM网络建立的运动模型,建立二阶段跟踪器,对轨迹进行跟踪预测。

9.根据权利要求1所述的基于视频检测技术的分拣中心异常识别方法,其特征在于,所述步骤S6中,在系统的目标管理数据库中,将目标的状态根据运动状态分为:静止,匀速运动,变速下落运动三类,将分拣中心运输快件的异常情况分为快件卡带、快件掉落和快件重叠,通过结合快件的位置信息与状态信息来进行判断与识别是否处于异常状态;

设快件在数据库中的存储属性为[ID,Place,V,Status],;

ID是系统通过TWP跟踪器为每个目标快件分配好数字ID,数字ID有三种状态:Place为快件所处的位置信息,Place有三种位置:V为快件的速度信息,V有三种级别:

Status为快件的状态,一种正常,三种异常:

Status=f(ID,Place,V)=ID×Place×V。