1.一种视频序列中动态目标检测剔除方法,其特征在于,包括如下步骤:步骤一、图形采集:使用双目相机获取的左图像、右图像;
步骤二、图像预处理:对左图像、右图像进行矫正、去噪、灰度化预处理;
步骤三、使用Mask R‑CNN实例分割:对左图像使用Mask R‑CNN进行实例分割,实例分割后得到的掩膜作为动态目标检测的第一个输入;
步骤四、首先对左图像和右图像提取ORB特征,然后对左图像、右图像的特征、左图像前后帧、右图像前后帧的信息进行匹配,再通过上述匹配出的关系计算出两帧图像之间的场景流,将场景流作为动态目标检测的第二个输入;
步骤五、进行动态目标检测:动态目标检测程序将利用实例分割输出的场景中的实例类别信息和分割掩模以及场景流信息判断每个实例的运动;
步骤六、动态目标剔除:根据实例类别信息比较半动态物体的场景流信息和背景的场景流信息判断物体的动态性;
步骤五中的实例分割信息分为三大类:静态、动态以及半动态;动态物体是被假设为在场景中有很大的概率会运动的实例,静态物体被假设为在场景中大概率静止不动的物体,半动态物体是指大部分时候保持静止,但是在和动态物体有接触的时候可能发生运动的目标;
判断每个实例的运动方法如下:
对于动态物体,将其掩膜直接合并到图像帧的屏蔽掩膜中,在算法后续的流程中屏蔽掉该部分的作用;对于静态物体,不做处理,将其视为静态背景,将通过静态背景进行定位和建图;对于半动态物体,判断其掩膜与动态掩膜的交并比,对于交并比大于0.3且掩膜面积小于其重叠目标的,将其视为动态物体;
对于部分没有被检测到的动态性物体进行检测时,通过计算场景流来判断,即比较半动态物体的场景流信息和背景的场景流信息来判断物体的动态性;
假设背景的场景流向量为SFb=(ub,vb,wb),半动态物体的场景流向量为SFhs=(uhs,vhs,whs),为判断两个向量偏差的标准设置了两个阈值:一个是两个向量的余弦距离:
另一个是两个向量模长的比值:
当余弦距离sim(SFb,SFhs)、模长的比值ratio_m两个标准中的一个不满足:或
ratio_m<1.2
即认为半动态物体是相对于背景动态的;
最后,将动态物体的掩模图像中的动态目标剔除,输出屏蔽了动态目标的图像。