欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024114478224
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于时间金字塔的大位移场景下点跟踪方法,其特征在于,包括:待跟踪点选取,用于收集用户指定的输入视频序列中的目标跟踪点坐标;

图像特征提取,用于对输入视频序列进行帧级别的图像特征提取,并根据目标跟踪点坐标从特征图序列中提取对应位置的待跟踪点特征;

点轨迹初始化,将目标跟踪点坐标及对应的点特征在时间维度上平铺作为轨迹初始值;

相似性特征计算,将待跟踪点在各时刻的特征与对应时刻特征图中所有点特征之间计算特征相似性;

时间维度信息融合,时间维度信息融合网络将所提取的点特征以及相关层计算的相似性特征进行拼接作为1D Swin Transformer网络的输入特征,根据输入特征在不同的时间窗口内执行多头自注意力和MLP操作,并根据两个层次之间的Patch Merging操作不断在下采样序列长度的同时增长特征维度,从而在4个Stage形成一个时间维度的特征金字塔,在四个Stage中分别输出4个不同的融合特征,对4个不同层次的融合特征分别进一步经过一个预测头输出点位置坐标的更新值和点特征的更新值以及对应的置信度,其中置信度最高的输出将作为当前轮次的点特征和点位置更新值,点轨迹及点特征更新,根据所输出的点坐标更新值和点特征的更新值来更新点轨迹及点特征,更新后的点轨迹及点特征用于作为下一次迭代的初始值;

最终点轨迹输出,重复上述相似性特征计算步骤~点轨迹及点特征更新步骤至预先设定的迭代次数K后,最终第K次更新输出的点轨迹即为点跟踪结果。

2.如权利要求1所述的基于时间金字塔的大位移场景下点跟踪方法,其特征在于,所述待跟踪点选取步骤执行为:对于用户选定的输入视频序列,选择其中任意帧上任意数量的任意像素点作为待跟踪点,其中每个点的坐标表示形式为,其中表示待跟踪像素点所在的帧序号,和分别表示点在像素坐标系上的纵坐标和横坐标;对于个输入视频中分别被选定的个像素点坐标被整合为的张量形式。

3.如权利要求2所述的基于时间金字塔的大位移场景下点跟踪方法,其特征在于,所述待跟踪点选取步骤执行为:其中,所输入网络的视频序列长度为24的倍数,对于不满足的视频序列,在其视频最后通过复制多次最后一帧的方式补齐24帧的倍数,并将处理后的视频帧大小调整为,RGB像素值缩放至-1~1之间,将结果形状为的图像数据张量整形为;其中,输入视频个数为B,视频序列长度为S,视频图像宽度为W,视频图像高度为H。

4.如权利要求1所述的基于时间金字塔的大位移场景下点跟踪方法,其特征在于,所述图像特征提取步骤执行为:输入2D ResNet网络完成帧级别的图像特征提取,得到特征提取结果,并根据待跟踪点坐标从对应帧的特征图中利用双线性插值的方式提取对应的待跟踪点特征;

对于提取到的特征,为进行之后的点对之间的相似性特征计算,采用下述公式在特征维度,对特征向量进行归一化操作:;

其中,、、、 分别代表视频索引、帧索引、特征在帧坐标系中的值以及值,代表由、、、 共同唯一确定的特定位置的特征的长度;S代表视频序列长度。

5.如权利要求1所述的基于时间金字塔的大位移场景下点跟踪方法,其特征在于,所述点轨迹初始化步骤执行为:对于一个待跟踪点,其中拆解出帧序号以及位置坐标,对待跟踪点所在帧的特征图上对目标位置进行双线性采样得到的表示目标外观的点特征向量,将待跟踪点坐标及点特征向量在时间维度上平铺,得到的轨迹及特征初始值为:;

其中表示待跟踪点所在的帧索引,、分别表示点在帧坐标系中的横纵坐标值,表示待跟踪点在第帧中的位置信息,表示待跟踪点在第帧中的特征向量表示。

6.如权利要求1所述的基于时间金字塔的大位移场景下点跟踪方法,其特征在于,所述相似性特征计算步骤执行为:在相关层中,给定一个视频中的一个待跟踪点在某一时刻的查询特征及对应时刻的特征图,取所有点对之间的点积形成相关成本体;对于输入视频个数为B,视频序列长度为S,待跟踪点数量均为N的情况,相关成本体计算为单个矩阵乘法:;

;

其中表个输入视频在完整视频序列长度上的帧特征张量, 表示个输入视频中的个查询点在完整视频序列长度上分别对应的点特征张量,相关成本体即为上述帧特征张量及待跟踪点特征张量在特征维度上的得到的点积,、、、、分别表示视频索引、帧索引、查询点索引、查询点坐标值、查询点坐标值,表示具体确定出的一维点特征向量上的索引,即为第个视频中第帧上第个查询点的一维特征向量在索引处的值,即为第个视频中第帧上坐标为的像素点的一维特征向量在索引处的值,即为第个视频中第帧上第个查询点与帧上坐标为的像素点的点积。

7.如权利要求6所述的基于时间金字塔的大位移场景下点跟踪方法,其特征在于,所述相似性特征计算步骤还包括:通过核大小分别为1、2、4、8,恒定步长为2的池化操作,将相关成本体的最后两个维度池化,以构造一个4层的相关性金字塔,其中成本体具有维度。

8.如权利要求1所述的基于时间金字塔的大位移场景下点跟踪方法,其特征在于,所述时间维度信息融合步骤执行为:由点轨迹初始化步骤得到的平铺后的点特征序列,相似性特征计算步骤得到的相似性特征;其中表示相似性特征金字塔的层数,表示采样块的长度;

将该两个步骤分别得到的特征在最后一个维度上拼接,并对得到的结果特征序列整形为,使其符合1D Swin Transformer网络对于输入特征张量的要求。

9.如权利要求1所述的基于时间金字塔的大位移场景下点跟踪方法,其特征在于,所述点轨迹及点特征更新步骤执行为:根据下述公式来执行更新操作,更新后的点轨迹及点特征用于作为下一次迭代的初始值:;

;

其中表示所有待跟踪点在帧中的坐标信息,表示所有待跟踪点在帧中的特征向量信息,表示网络输出的位置信息更新量,表示网络输出的特征向量更新量。