1.融合视觉扩张机制和路径聚合的目标检测方法,其特征在于,包括:获取目标检测的目标图像;
基于视觉扩张机制,对所述目标图像的浅层特征进行感受野增强;
基于路径聚合模型,对感受野增强后的所述浅层特征和所述目标图像的深层特征进行双向融合,获得多尺度全局特征图;
基于深层特征增强模型,对所述多尺度全局特征图进行深层特征增强;
基于混合注意力机制,对深层特征增强后的所述多尺度全局特征图进行目标检测;
路径聚合模型为四路并行的双向路径聚合模块:
由Conv3_3、Conv4_3、Conv5_3以及Fc7并行的经过混合注意力模块和卷积核为3的卷积部分完成初步干扰过滤以及特征提取;
将卷积后的Fc7层进行亚像素卷积并再次进行注意力模块的处理后与进行初步处理过的Conv5_3进行Concat堆叠操作,同时将堆叠之后的特征层经过进一步的特征提取,完成特征层之间的信息交流;
加入Conv4_3以及Conv3_3经过同样的操作就形成了一个完整的从深层向浅层进行特征交流的逆向传输通道;
将融合后的浅层特征经过卷积和混合注意力模块来对特征层进行最终的特征提取和除杂,并从浅层向深层传递构成特征融合通道,进行特征输出;
在深层特征增强模型中,将Conv9_2、Conv10_2和Conv11_2三个深特征层并行经过3×3卷积,然后将Conv11_2经过亚像素卷积来弥补上采样丢失的信息,与Conv10_2堆叠之后输出;
将堆叠之后的特征图进行亚像素卷积和调整通道数之后与Conv9_2进行堆叠操作之后,经过1×1卷积输出;
在混合注意力机制中,通道注意力和位置注意力相串联,利用浅层特征中富含的位置信息来提取出目标位置特征的依赖关系,而深层特征中丰富的语义信息则更能体现出目标特征的重要性;
首先,将输入的特征图送入通道注意力模块进行处理,通过全局平均池化,之后便直接运用1D卷积来代替全连接层,用更小的开销来获得更良好的跨通道信息获取能力,将处理之后的特征图与输入特征图进行相乘融合;
接着,将处理之后的特征图串联输入到位置注意力模块来对位置信息进行处理,并行进行三次1×1卷积之后生成三个特征图P在公式1中,Conv1D()表示1D卷积,Gavgpool()表示全局平均池化函数,Conv()表示带有relu激活层的1×1卷积,Re()表示Reshape操作,Tran()表示Transpose转置操作,获取目标检测的目标图像,包括:
当用户输入嫌疑人跟丢指令时,获取用户的跟丢位置和最近预设第一时间内的跟踪移动路线;
基于所述跟丢位置、跟踪移动路线和预设的城市地图,确定嫌疑人的可能逃跑路线;
获取跟丢时长;所述跟丢时长为从用户输入嫌疑人跟丢指令的那一刻起至当前时间点之间的时长;
从预设的路线间隔库中确定所述跟丢时长对应的路线间隔;
基于所述路线间隔,在所述可能逃跑路线上设置间隔点;
依次遍历所述间隔点;
每次遍历时,确定遍历到的所述间隔点在所述城市地图中的地面位置垂直向上预设高度的参考头部位置,以及确定所述可能逃跑路线上遍历到的所述间隔点的逃跑方向;
在所述城市地图中,以遍历遍历到的所述间隔点为圆心,以与所述逃跑方向垂直的方向上预设长度的直线为半径,向所述逃跑方向上作半圆范围;
从所述城市地图中确定所述半圆范围中所述可能逃跑路线上的监控设备的设备位置和监控方向;
基于所述参考头部位置、逃跑方向、设备位置和所述监控方向,对所述监控设备进行有效性验证;
当为验证通过时,通过所述监控设备获取目标检测的目标图像。
2.如权利要求1所述的融合视觉扩张机制和路径聚合的目标检测方法,其特征在于,视觉扩张机制使用并行多分支的构造,不同的支路通过不同大小的卷积核获得不同的感受野,同时结合空洞卷积来进一步扩大浅特征层的感受野,提取更多的上下文信息;
在视觉扩张机制中,并联使用三个1×1卷积调整通道数之后通过不同的卷积操作来获得特征图,在不同的支路串联不同空洞率的空洞卷积来适应性调整在特征图中感受野的大小,最后通过Concatenate和卷积模拟人类视觉感知,来获得最有利于目标检测的特征图。
3.如权利要求1所述的融合视觉扩张机制和路径聚合的目标检测方法,其特征在于,基于所述跟丢位置、跟踪移动路线和预设的城市地图,确定嫌疑人的可能逃跑路线,包括:基于所述跟踪移动路线,确定用户的平均跟踪速度;
基于所述平均跟踪速度和逃跑路线要求,从所述城市地图中预测规划由所述跟丢位置出发的未来预设第二时间内嫌疑人的可能逃跑路线;
其中,所述逃跑路线要求包括:
所述城市地图中所述可能逃跑路线与所述跟踪移动路线之间存在部分/全部建筑遮挡;
所述城市地图中所述可能逃跑路线与所述跟踪移动路线之间存在连接路线且所述连接路线与所述跟踪移动路线之间存在部分/全部建筑遮挡;
所述城市地图中所述可能逃跑路线途经预设的逃跑途经场所类型库中至少一个逃跑途经场所类型的场所。
4.如权利要求1所述的融合视觉扩张机制和路径聚合的目标检测方法,其特征在于,基于所述参考头部位置、逃跑方向、设备位置和所述监控方向,对所述监控设备进行有效性验证,包括:基于预设的特征化规则,对所述参考头部位置、逃跑方向、设备位置和所述监控方向进行特征提取,获得监控特征;
获取所述监控特征的特征类型对应的预设的监控特征要求和预设的符合权重;
确定所述监控特征符合所述监控特征要求的符合度;
赋予所述符合度所述符合权重,获得目标值;
将累加计算每一所述目标值的累加和作为有效指数;
当所述有效指数大于等于预设的有效指数阈值时,所述监控设备有效性验证通过。
5.融合视觉扩张机制和路径聚合的目标检测系统,其特征在于,包括:目标图像获取模块,用于获取目标检测的目标图像;
感受野增强模块,用于基于视觉扩张机制,对所述目标图像的浅层特征进行感受野增强;
双向融合模块,用于基于路径聚合模型,对感受野增强后的所述浅层特征和所述目标图像的深层特征进行双向融合,获得多尺度全局特征图;
深层特征增强模块,用于基于深层特征增强模型,对所述多尺度全局特征图进行深层特征增强;
目标检测模块,用于基于混合注意力机制,对深层特征增强后的所述多尺度全局特征图进行目标检测;
路径聚合模型为四路并行的双向路径聚合模块:
由Conv3_3、Conv4_3、Conv5_3以及Fc7并行的经过混合注意力模块和卷积核为3的卷积部分完成初步干扰过滤以及特征提取;
将卷积后的Fc7层进行亚像素卷积并再次进行注意力模块的处理后与进行初步处理过的Conv5_3进行Concat堆叠操作,同时将堆叠之后的特征层经过进一步的特征提取,完成特征层之间的信息交流;
加入Conv4_3以及Conv3_3经过同样的操作就形成了一个完整的从深层向浅层进行特征交流的逆向传输通道;
将融合后的浅层特征经过卷积和混合注意力模块来对特征层进行最终的特征提取和除杂,并从浅层向深层传递构成特征融合通道,进行特征输出;
在深层特征增强模型中,将Conv9_2、Conv10_2和Conv11_2三个深特征层并行经过3×3卷积,然后将Conv11_2经过亚像素卷积来弥补上采样丢失的信息,与Conv10_2堆叠之后输出;
将堆叠之后的特征图进行亚像素卷积和调整通道数之后与Conv9_2进行堆叠操作之后,经过1×1卷积输出;
在混合注意力机制中,通道注意力和位置注意力相串联,利用浅层特征中富含的位置信息来提取出目标位置特征的依赖关系,而深层特征中丰富的语义信息则更能体现出目标特征的重要性;
首先,将输入的特征图送入通道注意力模块进行处理,通过全局平均池化,之后便直接运用1D卷积来代替全连接层,用更小的开销来获得更良好的跨通道信息获取能力,将处理之后的特征图与输入特征图进行相乘融合;
接着,将处理之后的特征图串联输入到位置注意力模块来对位置信息进行处理,并行进行三次1×1卷积之后生成三个特征图P在公式1中,Conv1D()表示1D卷积,Gavgpool()表示全局平均池化函数,Conv()表示带有relu激活层的1×1卷积,Re()表示Reshape操作,Tran()表示Transpose转置操作,目标图像获取模块获取目标检测的目标图像,包括:
当用户输入嫌疑人跟丢指令时,获取用户的跟丢位置和最近预设第一时间内的跟踪移动路线;
基于所述跟丢位置、跟踪移动路线和预设的城市地图,确定嫌疑人的可能逃跑路线;
获取跟丢时长;所述跟丢时长为从用户输入嫌疑人跟丢指令的那一刻起至当前时间点之间的时长;
从预设的路线间隔库中确定所述跟丢时长对应的路线间隔;
基于所述路线间隔,在所述可能逃跑路线上设置间隔点;
依次遍历所述间隔点;
每次遍历时,确定遍历到的所述间隔点在所述城市地图中的地面位置垂直向上预设高度的参考头部位置,以及确定所述可能逃跑路线上遍历到的所述间隔点的逃跑方向;
在所述城市地图中,以遍历遍历到的所述间隔点为圆心,以与所述逃跑方向垂直的方向上预设长度的直线为半径,向所述逃跑方向上作半圆范围;
从所述城市地图中确定所述半圆范围中所述可能逃跑路线上的监控设备的设备位置和监控方向;
基于所述参考头部位置、逃跑方向、设备位置和所述监控方向,对所述监控设备进行有效性验证;
当为验证通过时,通过所述监控设备获取目标检测的目标图像。
6.如权利要求5所述的融合视觉扩张机制和路径聚合的目标检测系统,其特征在于,视觉扩张机制使用并行多分支的构造,不同的支路通过不同大小的卷积核获得不同的感受野,同时结合空洞卷积来进一步扩大浅特征层的感受野,提取更多的上下文信息;
在视觉扩张机制中,并联使用三个1×1卷积调整通道数之后通过不同的卷积操作来获得特征图,在不同的支路串联不同空洞率的空洞卷积来适应性调整在特征图中感受野的大小,最后通过Concatenate和卷积模拟人类视觉感知,来获得最有利于目标检测的特征图。