1.一种基于语义增强与时空约束的多目标交互行为保留监控视频浓缩方法,其特征在于包括如下步骤:S1:输入需要处理的视频,获得视频背景图片;
S2:对输入视频进行多目标跟踪和目标行为识别,获取所有目标的目标轨迹,并记录对应目标的空间位置、移动方向、移动速度、行为标签特征;
S3:综合目标的时空特征及语义信息判断目标间是否存在交互行为,所述时空特征包括目标的空间距离、移动方向、移动速度,所述语义信息为目标行为标签的匹配度;基于时空相似度公式与语义权重动态调节公式,将交互帧数量与共享帧数量的比值超过预设比例ρ的目标划分为同一目标管组,所述语义权重动态调节公式如下:,
其中,Oi和Oj,为目标管,dist_sim(·)为空间距离相似度,dir_sim(·)为移动方向相似度,speed_sim(·)为移动速度相似度,α,β,γ为时空权重系数,α+β+γ=1,WS为语义信息权重,bi,bj为目标行为标签,match_score(·)为行为匹配度得分,BP为预设交互行为集合,包括“挥手”,“手指对方”,“点/摇头”,“Ok手势”,“鞠躬”,“敬礼”,“比心”;
S4:基于碰撞函数,结合空间哈希网格加速检测与贪心策略,为目标管组分配新时间标签;
其中,Collision(·)表示目标管组的碰撞值,Overlap(·)表示目标管组在画面里的空间重叠度,空间重叠度通过计算检测框重叠率得到,TimeOverlap(·)表示调整后时间区间的时间重叠度,和分别为第i个和第j个目标管组,Si和Sj为目标管组空间区域,Ti′和Tj′为目标管组重新分配的时间区间,用于计算调整后时间区间的时间重叠度;
S5:将排列好的目标管组与背景融合生成浓缩视频。
2.如权利要求1所述的基于语义增强与时空约束的多目标交互行为保留监控视频浓缩方法,其特征在于,所述获得视频背景图片,采用高斯混合模型MOG2,并结合随机帧采样和中值融合策略进行背景提取和更新。
3.如权利要求1所述的基于语义增强与时空约束的多目标交互行为保留监控视频浓缩方法,其特征在于,所述对输入视频进行多目标跟踪和目标行为识别,采用DeepSORT算法进行多目标跟踪,利用基于CNN+GRU架构的深度学习模型对目标区域进行特征提取和行为分类,获取目标的行为标签。
4.如权利要求1所述的基于语义增强与时空约束的多目标交互行为保留监控视频浓缩方法,其特征在于,所述综合目标的时空特征及语义信息判断目标间是否存在交互行为,具体包括:根据提取目标轨迹特征判断目标之间是否存在共享帧,若不存在则判定无交互行为;
对于存在共享帧的目标管Oi和Oj,基于目标之间的空间距离、移动方向、移动速度时空特征进行初步交互判断,公式如下:,
其中,目标管用于描述目标在视频序列中的时空轨迹特征,它将目标在连续帧中的位置、外观和行为信息进行整合,形成一个贯穿时间维度的“管状”表示,目标管组则是具有多个目标管的集合,共享帧指两个目标同时存在的视频帧,交互帧指目标之间存在交互的视频帧,s1表示时空相似度,dist_sim(·)为空间距离相似度,dir_sim(·)为移动方向相似度,speed_sim(·)为移动速度相似度,α,β,γ为时空权重系数,α+β+γ=1;
若在某一帧中时空相似度s1超过时空相似度阈值Tst,则交互帧数量Cij加1;否则,检查该帧中目标的行为标签,若行为标签属于预设交互行为集合Bp,则交互帧数量按Cij+=WS1×1计算,此时WS1≥0.7,若行为标签不属于Bp,则交互帧数量按Cij+=WS2×1计算,此时WS2≤0.3,WS1和WS2分别为行为标签属于BP和行为标签不属于BP情况下的语义信息权重;
当目标之间的交互帧数量与共享帧数量的比值超过预设比例ρ时,判定目标之间存在交互行为,将其划分为同一目标管组,判定条件如下:,
其中,SFrames(·)表示目标管Oi和Oj的共享帧的数量。
5.如权利要求1所述的基于语义增强与时空约束的多目标交互行为保留监控视频浓缩方法,其特征在于,综合目标的时空特征及语义信息判断目标间是否存在交互行为,其中:时空特征判断条件包括基于时空相似度的量化计算及预设阈值判定,具体如下:
dist_sim(·)为空间距离相似度,基于两目标检测框的中心点距离与平均高度的比值计算,当该比值小于1.17时,dist_sim(·)按归一化规则取值,比值越小,相似度越接近1;dir_sim(·)为运动方向相似度,基于两目标帧移动方向的夹角计算,当夹角小于60度时,dir_sim(·)通过余弦函数转换为相似度值,夹角余弦值越大,相似度越高;speed_sim(·)为速度相似度,基于两目标移动速度的差值归一化计算,速度差越小,相似度越接近1;
语义信息权重WS安排包括:当目标的行为属于预设交互行为集合{“挥手”,“手指对方”,“点/摇头”,“Ok手势”,“鞠躬”,“敬礼”,“比心”}时,语义信息权重占比提升至70%以上,时空约束条件权重相应降低至30%以下;若目标未执行预设行为,则语义信息权重降低至30%以下,时空约束权重提升至70%以上,具体通过以下公式动态调整:,
其中,WS为语义信息权重,bi,bj为目标行为标签,Bp为预设交互行为集合,match_score(·)为行为匹配度得分;
所述语义信息权重WS用于调节目标管组划分中的时空相似度计算:当目标行为属于预设交互行为集合Bp时,时空权重系数α、β、γ按动态调整,使语义约束在总相似度计算中占比提升,具体相似度公式如下:,
其中s2表示语义相似度,行为标签一样为1,不一样为0,dist_sim(·)为空间距离相似度,dir_sim(·)为移动方向相似度,speed_sim(·)为移动速度相似度,α+β+γ=1。
6.如权利要求1所述的基于语义增强与时空约束的多目标交互行为保留监控视频浓缩方法,其特征在于,所述基于碰撞函数,结合空间哈希网格加速检测与贪心策略,为目标管组分配新时间标签,具体包括:按目标管组的原始开始时间排序,排序后按时间顺序为管组分配新时间标签,优先保留原始时序逻辑;
基于贪心策略与空间哈希算法的组合,搜索具有最小时空碰撞特性的新时间位置,定义时空碰撞函数:,
其中,Collision(·)表示目标管组的碰撞值,Overlap(·)表示目标管组在画面里的空间重叠度,空间重叠度通过计算检测框重叠率得到,TimeOverlap(·)表示调整后时间区间的时间重叠度,和分别为第i个和第j个目标管组,Si和Sj为目标管组空间区域,Ti′和Tj′为目标管组重新分配的时间区间,用于计算调整后时间区间的时间重叠度。
7.如权利要求1所述的基于语义增强与时空约束的多目标交互行为保留监控视频浓缩方法,其特征在于,所述结合空间哈希网格加速检测,具体包括:将视频时空域划分为规则网格Gm×n,为每个目标管组gi建立空间哈希表Hi,通过哈希表快速判断目标管组之间的空间重叠关系,检测空间碰撞风险,逻辑判定如下:若存在至少一个网格小格子坐标(x,y),使得目标管组gi对应哈希表Hi在(x,y)位置的记录,与目标管组gj对应哈希表Hj在(x,y)位置的记录存在交集,即Hi(x,y)∩Hj(x,y)≠0,则判定gi与gj存在空间碰撞风险;
其中,存在至少一个网格小格子坐标(x,y),表示在规则网格Gm×n中存在满足条件的坐标点,Hi(x,y)和Hj(x,y)表示目标管组gi和gj在小格子(x,y)里的记录。
8.如权利要求1所述的基于语义增强与时空约束的多目标交互行为保留监控视频浓缩方法,其特征在于,所述为目标管组分配新时间标签,具体包括:在每个目标管组中找出最开始出现目标的时间,将此时间作为对应目标管组的开始时间,并依此从小到大进行排序;
优先保留目标管组的时空完整性,按原始时序逻辑最小化时间线跨度,定义时序损失函数:,
其中,i和j表示目标管组的索引,表示遍历“所有两两组合且不重复”,ti′和tj′为调整后的时间戳,I为指示函数,公式为,用于量化时序颠倒导致的损失。