1.基于多种目标融合与时空视频序列的手机检测方法,其特征在于:所述手机检测方法包括:A1、对改进的yolo模型进行训练得到检测模型,yolo模型的具体改进如下:
如果某anchor框已被某原物体赋予标签,则判定为原物体是否有唯一框;
如果原物体有唯一框,则判断现物体是否能够赋值anchor,如果存在,则现物体取消对某anchor框的赋值,否则现物体往下寻找下一个iou值最高的anchor框进行赋值;
如果原物体没有唯一框,则判断是否有现物体最高iou的anchor和原物体非最高的iou的anchor覆盖原赋值;如果有,则判断是否有现物体非最高iou的anchor和原物体最高iou的anchor;如果有,则判断现物体是否能够存在赋值anchor,如果存在,则现物体取消对某anchor框的赋值,否则覆盖原赋值;如果有现物体非最高iou的anchor和原物体非最高iou的anchor,则iou低者被覆盖;
A2、输入视频图像帧运行检测模型得到第一帧预测值;
A3、对所述第一帧预测值进行解码,去掉score值低于预设值的框并以Diou阈值实现NMS,并根据某帧图像的解码结果在只出现手机框时,对手机框进行抑制;
A4、将抑制后的结果作为目标模板,输入视频图像帧作为候选框搜索区域,将二者同时输入到全连接孪生网络,并选择score map相似度最大的结果对视频图像帧中的手机进行画框标记;
A5、如果已跟踪设定帧数,则重复步骤A2‑A4直到视频图像输入结束。
2.根据权利要求1所述的基于多种目标融合与时空视频序列的手机检测方法,其特征在于:所述手机检测方法还包括如果没有设定帧数,则重复将抑制后的结果作为目标模板,输入视频图像帧作为候选框搜索区域,将二者同时输入到全连接孪生网络,并选择score map相似度最大的结果对视频图像帧中的手机进行画框标记的步骤。
3.根据权利要求1所述的基于多种目标融合与时空视频序列的手机检测方法,其特征在于:所述手机检测方法还包括在对执行改进的yolov3模型进行训练得到检测模型,并输入视频图像帧运行检测模型得到第一帧预测值步骤之前需要执行获取训练集和测试集的步骤。
4.根据权利要求3所述的基于多种目标融合与时空视频序列的手机检测方法,其特征在于:所述获取训练集合测试集的步骤包括:对录制视频进行分帧处理并对处理后的视频图片进行标注,隔帧提取部分图片构建数据集,将数据集按照一定比例划分为训练集和测试集。
5.根据权利要求1所述的基于多种目标融合与时空视频序列的手机检测方法,其特征在于:所述对所述第一帧预测值进行解码,去掉score值低于预设值的框并以Diou阈值实现NMS,并根据某帧图像的解码结果在只出现手机框时,对手机框进行抑制包括:tw th
根据解码公式bx=sigmoid(tx)+cx、by=sigmoid(ty)+cy、bw=pwe 、bh=phe 、conf=sigmoid(raw_conf)和prob=sigmoid(raw_prob)对所述第一帧预测值进行解码,其中,bx、by、bh、bw分别表示预测框的中心横纵坐标与高宽,ph和pw分别表示先验框的高和宽,tx和ty表示的是物体中心距离网格左上角位置的预测偏移量,tw和th表示的是物体相对于先验框的预测偏移量,cx和cy则代表网格左上角的坐标,conf为置信度、prob为类别概率;
以0.4的score阈值去掉置信度或者类别概率不满足要求的框并以0.1的Diou阈值实现NMS;
针对某帧图像的解码结果,若出现手机框而未出现人体框或者手部框或者摄像头框的情况时,并剔相应图像中关于手机的预测框,从而对手机框进行抑制。
6.根据权利要求1所述的基于多种目标融合与时空视频序列的手机检测方法,其特征在于:对yolo模型的改进包括以下内容:对yolov3‑tiny增加检测细小物体的s分支,以改善对摄像头等小物体的检测效果;
在上一步模型结构的基础上,增加SPP、SAM、CAM模块与残差连接,改善特征提取能力。