欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020103247815
申请人: 南京工程学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于匹配-回归网络的目标跟踪方法,其特征在于,包括:

输入包括若干帧的目标待跟踪序列,对目标待跟踪序列中的每一帧图像计算目标搜索区域,在目标搜索区域内进行目标跟踪;

根据中心匹配网络确定目标中心位置:所述中心匹配网络为孪生网络,利用所述孪生网络对模板图像和搜索图像进行特征提取,所述搜索图像为限定目标搜索区域的目标待跟踪序列中所有帧图像;对模板图像和搜索图像的特征进行互相关模板匹配,输出特征响应图,所述特征响应图中最大响应点所对应的位置为目标中心位置;

根据已确定的目标中心位置获取中心匹配网络的最后一个卷积层输出的特征图,将所述特征图作为边界回归网络的输入;

根据边界回归网络确定包围目标的锚框大小:边界回归网络根据输入的特征图,利用所述目标中心进行目标中心点发散,确定目标中心的边界位置,输出锚框的高度和宽度。

2.根据权利要求1所述的一种基于匹配-回归网络的目标跟踪方法,其特征在于:所述目标搜索区域计算过程包括:在目标待跟踪序列中,对第一帧图像进行初始化,包括对孪生网络的特征模板进行初始化和LSTM网络隐藏状态初始化;

利用单一尺度公式确定当前帧搜索区域:

其中,上一帧的搜索区域为(X、Y、W、H),(x,Y)是上一帧中目标中心位置,W、H为上一帧中锚框的宽度和高度,w′、H′为当前帧中锚框的宽度和高度,C*C为当前帧的搜索区域大小;

通过中心匹配网络获取当前帧的目标中心位置,利用所述中心位置获取匹配过程中生成的部分特征,利用边界回归网络获取锚框的大小,利用所述目标中心位置和锚框大小确定当前帧中目标位置,所述当前帧中目标位置和锚框大小为下一帧的目标搜索区域。

3.根据权利要求1所述的一种基于匹配-回归网络的目标跟踪方法,其特征在于:所述特征响应图的计算公式为:其中z为模板图像,x为搜索图像,为孪生网络中相同的卷积网络,P为与特征响应图大小相同的惩罚窗,用于避免产生相邻帧之间物体位移过大的误判。

4.根据权利要求1所述的一种基于匹配-回归网络的目标跟踪方法,其特征在于:所述边界回归网络确定包围目标的锚框大小的具体步骤包括:对所述中心匹配网络输出的特征图去除背景噪声,获取有效的特征图;

利用具有1024个节点的全连接层对所述有效特征图进行降维;

对所述降维后的特征图利用两层具有1024个节点的LSTM网络进行处理,对每一帧降维后的特征图进行时序特征提取,通过LSTM网络的内置单元将所述时序特征用于后面帧的计算过程中;

将所述通过LSTM网络和时序特征联合处理后的特征图展开为一维向量,将所述一维向量输入具有2个节点的全连接层,所述全连接层输出的两个值即为锚框的高度和宽度。

5.根据权利要求1-4任一所述的一种基于匹配-回归网络的训练方法,其特征在于,包括:利用训练集中的数据对中心匹配网络和边界回归网络进行训练;利用ImageNet VID中的模板图片和包含搜索区域的图片构成的图片组来训练中心匹配网络,达到收敛即中心匹配网络损失函数收敛到阈值后,利用ImageNet VID中的连续的视频序列训练边界回归网络;

网络训练中,利用二元交叉熵计算中心匹配网络的损失函数,利用L1范数计算边界回归网络的损失函数。

6.根据权利要求5所述的一种基于匹配-回归网络的训练方法,其特征在于:在利用训练集中的数据对中心匹配网络和边界回归网络进行训练前,需要对所述训练集中的数据进行预裁剪,预裁剪的具体方法为:根据视频序列上一帧的锚框大小(W、H),利用单一尺度公式,计算搜索区域大小(C*C),根据搜索区域大小(C*C)对视频序列当前帧进行预裁剪。

7.根据权利要求5所述的一种基于匹配-回归网络的训练方法,其特征在于:所述中心匹配网络的损失函数为:其中yij∈{0,1},pij是yij=1时的softmax概率,yij表示R行S列的二维标签中第i行第j列的值是否属于跟踪目标的搜索区域范围,若是,则yij=1,否则yij=0;

边界回归网络的损失函数为:

其中,wp、hp分别为边界回归网络中输出的目标宽度和高度相对于输入搜索区域宽度和高度的比例,w、h分别为训练时输入的目标宽度和高度相对于输入搜索区域宽度和高度的比例。