欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023116354490
申请人: 石家庄铁道大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-12-26
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种多尺度特征融合和边界信息注意的视频显著目标检测方法,其特征在于包括以下步骤:S1:获取视频显著目标检测数据集,并输入到光流提取网络RAFT中获取对应的光流图;

S2:将视频帧和对应光流图输入训练好的视频显著目标检测网络中;

S3:采用双流主干特征编码器,从视频帧和光流图中获取多层级编码器特征,分别表示为IFS4:利用全局引导多尺度融合模块,对提取到的不同尺寸的空间和时间特征进行全局定位信息增强和多尺度特征融合;

利用所述的全局引导多尺度融合模块对提取的不同尺寸特征图进行特征增强及多尺度融合;该模块包含一个自上而下的背景噪声过滤路径BNFP和一个多尺度特征集成路径MFIP,从而得到包含更丰富语义和细节信息的特征图;

所述的自上而下的背景噪声过滤路径BNFP将最高层特征依次通过1×1卷积、上采样层和Sigmoid层,生成全局过滤掩码mask;而后调整各层特征至第一层特征分辨率大小,并分别与mask进行逐元素相乘,为特征的前景分配更大的权重,背景分配更小的权重;所述的多尺度特征集成路径MFIP放置在BNFP之后,通过维度拼接操作对多尺度信息进行建模,并将获得的全局引导的多尺度信息通过逐元素加法添加在每层特征上,这样每层特征都在保留本层特性的基础上,获得了更多用于显著性检测的语义和细节信息;最后通过两个卷积层将各层特征恢复至原始大小,第一层特征采用3×3大小的卷积核,第二层和第三层特征采用5×5大小的卷积核,第四层特征采用7×7大小的卷积核;其具体计算公式如下:mask=σ(Upsample(C

MI

S5:通过跨模态边界注意模块,改善多尺度时空特征的边界检测效果;

所述跨模态边界注意模块通过引入通道注意机制、改进空间注意机制和提出边界注意机制来改善特征的边界效果;

所述跨模态边界注意模块用于改善特征的边界检测效果;引入通道注意机制,对多尺度特征进行通道选择,以初步响应空间和时间两个分支8个特征的重要区域;改进空间注意机制,选择相应层的空间和时间特征,将空间特征通过一个全局平均池化分支和一个全局最大池化分支,而后进行维度拼接合成两个分支,合成结果经过3×3卷积层和Sigmoid层获得空间权重,并与时间特征逐元素相乘,弥补了时间特征中缺少的空间信息,反之使用时间特征生成空间权重增强空间特征;该过程在整个网络的四层同时实现,充分整合了空间和时间特征的跨模态互补信息;提出边界注意机制,由于浅层特征包含更精细的细节信息,因此整合时空互补性后的第一层特征被选为边界特征;对于空间边界特征,通过全局平均池化层和3×3卷积层生成边界注意图,分别下采样到后三层高级特征分辨率大小,与后三层时间特征逐元素相乘以突出物体边界,这期间残差连接用于保留原始信息,反之利用时间边界特征突出后三层空间特征的显著物体边界;m代表S和T,GMP和GAP分别代表全局最大池化和全局平均池化操作,其具体计算公式如下:S6:将改善边界效果后的时空特征传入到场景感知融合模块中,以促进时空特征融合,生成显著目标检测需要的上下文信息;

S7:将融合后的特征不断进行上采样和拼接操作得到S

2.如权利要求1所述的多尺度特征融合和边界信息注意的视频显著目标检测方法,其特征在于,所述场景感知融合模块采用通道级的融合方式,并提出差值阈值化方法,以在不同场景下有选择地融合时空特征。

3.如权利要求2所述的多尺度特征融合和边界信息注意的视频显著目标检测方法,其特征在于,所述场景感知融合模块可以自动学习不同场景下视频的融合权重,以实现更精准鲁棒的融合;将改善边界效果后的对应层时空特征进行拼接,获得FFCF

4.如权利要求1所述的多尺度特征融合和边界信息注意的视频显著目标检测方法,其特征在于,所述训练好的视频显著目标检测网络的训练步骤包括:构建视频显著目标检测网络;

构建训练集,所述训练集为原始视频帧及其对应光流图和显著图;

将训练集输入到视频显著目标检测网络中,进行训练;

视频显著目标检测网络输出当前帧的检测结果;

将检测结果和原始视频帧的显著图计算损失;

当损失值达到最小时,模型收敛,停止训练,得到训练好的视频显著目标检测网络。