欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019111285089
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于多挑战感知学习模型的训练方法,其特征在于,包括以下步骤:

S11、构建网络模型;

所述网络模型由依次串联的用于获取候选样本特征图的多级挑战模块、Adaptive RoI Align层、分类器模块组成;

其中,所述多级挑战模块包括第一级挑战模块、第二级挑战模块、第三级挑战模块;

所述第一级挑战模块包括第一卷积层模块、第一多挑战感知器模块、第一concatenate函数层、第一聚合层模块,将候选样本分别输入至第一卷积层模块、第一多挑战感知器模块中,第一卷积层模块用来提取通用的目标特征,第一多挑战感知器模块提取不同挑战属性下的目标特征表示,然后第一多挑战感知器模块的输出结果通过concatenate函数层进行通道维度的拼接,并输送至第一聚合层模块,第一聚合层模块将得到的多挑战特征进行聚合处理,第一聚合层模块处理的结果与第一卷积层模块提取的目标特征进行相加融合,输送至所述第二级挑战模块处;

所述第二级挑战模块包括第二卷积层模块、第二多挑战感知器模块、第二concatenate函数层、第二聚合层模块,所述第二卷积层模块、第二多挑战感知器模块接收到第一级挑战模块输出的相加融合的结果;第二多挑战感知器模块提取不同挑战属性下的目标特征表示,然后第二多挑战感知器模块的输出结果通过concatenate函数层进行通道维度的拼接,并输送至第二聚合层模块,第二聚合层模块将得到的多挑战特征进行聚合处理,第二聚合层模块处理的结果与第二卷积层模块提取的目标特征进行相加融合;输送至第三级挑战模块处;

所述第三级挑战模块包括第三卷积层模块、第三多挑战感知器模块、第三concatenate函数层、第三聚合层模块,所述第三卷积层模块、第三多挑战感知器模块接收到所述第二级挑战模块输出的相加融合的结果;第三多挑战感知器模块提取不同挑战属性下的目标特征表示,然后第三多挑战感知器模块的输出结果通过concatenate函数层进行通道维度的拼接,并输送至第三聚合层模块,第三聚合层模块将得到的多挑战特征进行聚合处理,第三聚合层模块处理的结果与第三卷积层模块提取的目标特征进行相加融合;

其中,所述第一多挑战感知器模块、所述第二多挑战感知器模块和所述第三多挑战感知器模块均由依次串联的卷积层、ReLU激活函数层、批归一化层、随机失活层、最大池化层组成;

所述第一聚合层模块、所述第二聚合层模块和所述第三聚合层模块均由依次串联的卷积层、ReLU激活函数层、局部响应归一化层组成;

S12、使用标定好目标的VOT数据集来训练所述的网络模型;

所述步骤S12包括;

S1201、在每一帧中根据给定的真值框选取S+=50,IOU≥0.7时和S‑=200,IOU≤0.5时的样本数;其中,S+表示正样本,S‑表示负样本,IOU表示采集样本与真值框之间的交并比;

S1202、通过采集的正负样本,使用随机梯度下降法进行迭代训练,每次迭代训练根据以下方法处理:VOT数据集中的视频序列的个数为K,K为正整数,并为每个视频序列构建一个新的随机初始化的FC6全连接层;

S1203、训练分为两个阶段,第一阶段提取VOT数据集中每个视频序列不同挑战帧的集合,用不同挑战帧的集合训练多挑战感知器模块;

第二阶段使用整个VOT数据集训练聚合层模块,得到最终的用来进行视觉目标跟踪的训练模型。

2.根据权利要求1所述的基于多挑战感知学习模型的训练方法,其特征在于,所述步骤S11中;

所述多级挑战模块输送到达Adaptive RoI Align层,Adaptive RoI Align层加快跟踪过程中候选区域的特征提取过程,根据不同候选样本提取对应位置的深度特征得到最终的特征图,再输送至分类器模块,分类器模块进行计算得到每个候选样本的得分。

3.根据权利要求2所述的基于多挑战感知学习模型的训练方法,其特征在于,所述第一卷积层模块、第二卷积层模块、第三卷积层模块作为主干网络模块,通过使用ImageNet数据集进行预训练分类网络VGG‑M,并将这个网络的原有参数作为主干网络模块的初始化参数;

所述分类器模块是由依次串联的两个全连接层和一个带由softmax层的全连接层所组成;

第一卷积层模块由依次串联的第一卷积层、ReLU激活函数层、局部响应归一化层、最大池化层组成;

所述第二卷积层模块由依次串联的第二卷积层、ReLU激活函数层、局部响应归一化层组成;

第三卷积层模块由依次串联的第三卷积层、ReLU激活函数层组成。

4.基于权利要求1‑3任一所述的多挑战感知学习模型的训练方法的实时视觉跟踪方法,其特征在于,包括以下步骤:S21、输入当前跟踪的视频帧,在前一帧预测的目标位置周围用高斯采样获取当前帧的候选样本;

S22、获取候选样本的特征图;

S23、将所述特征图输入到分类器模块中,预测目标位置;

S24、判断当前帧是否跟踪成功,正样本的得分大于0时,跟踪成功,执行步骤1);正样本的得分小于0时,即跟踪失败,执行步骤2)。

5.根据权利要求4所述的基于多挑战感知学习模型的实时视觉跟踪方法,其特征在于,所述步骤S21还包括;

由待跟踪视频序列的提供的第一帧图像作为前一帧;由前一帧和框定目标位置区域的真值框,按照高斯分布随机产生样本,使用该样本初始化跟踪模型;

2 2

初始化完成后;以前一帧目标位置为均值,以(0.09r ,0.09r ,0.25)为协方差,通过高斯分布进行采样产生候选样本,其中:r为前一帧目标框的宽和高的平均值。

6.根据权利要求4所述的基于多挑战感知学习模型的实时视觉跟踪方法,其特征在于,所述步骤S22包括;

将候选样本分别输入至多级挑战模块中,直至到达Adaptive RoI Align层,Adaptive RoI Align层加快跟踪过程中候选区域的特征提取过程,根据不同候选样本提取对应位置的深度特征得到最终的特征图。

7.根据权利要求5所述的基于多挑战感知学习模型的实时视觉跟踪方法,其特征在于,所述步骤S23包括;最终的特征图输入分类器模块中,通过分类器模块获得每个候选样本被+ i ‑ i判定为正样本和负样本的得分,分别设为f (x)和f (x),利用公式 确定i + i ‑ i当前帧的目标位置,其中x 表示采样的第i个样本,f (x)表示获取的正样本得分,f (x)表*示获取的负样本得分;x为预测的目标位置;

得到每个候选样本的得分,最高正样本得分的样本位置作为当前帧预测的视觉跟踪结果。

8.根据权利要求6所述的基于多挑战感知学习模型的实时视觉跟踪方法,其特征在于,所述步骤1)为;跟踪成功时,在当前帧的预测位置周围采集正样本和负样本,将这些样本以Adaptive RoI Align后的特征保存至总的正负样本数据集中;

所述步骤2)为;跟踪失败时,进行短期更新,短期更新包括:从总正负样本数据集中抽出最近20帧跟踪成功收集的正负样本进行迭代训练。

9.根据权利要求7所述的基于多挑战感知学习模型的实时视觉跟踪装置,其特征在于,所述步骤S24还包括长期更新,其更新规则为固定每隔若干帧执行更新;在对模型进行更新后,判断当前帧是否为最后一帧,若是最后一帧,目标识别及跟踪结束,否则跟踪继续。