1.一种自动机器学习图谱融合的视频物体跟踪方法,其特征在于,包括步骤:S1、数据采集:对于待跟踪的每个目标物体,通过视频扫描获得视频帧和对应相机位姿,得到视频数据集;
S2、数据标注:基于已采集的视频数据集,进行6D目标物体边界框的标注;具体为:采用6D标注工具,对图像帧中对应的目标物体进行3D目标边界框BOX3d的标注以及旋转位姿标注,其中BOX3d包括信息:目标物体的中心位置坐标、目标尺度比例以及和相对于竖直轴的旋转角度;
S3、根据视频序列的图像帧用以恢复运动目标物体三维结构,从包含目标物体运动信息的一系列二维图像序列中估计物体三维结构,实现3D重建目标物体的稀疏点云其中 是关键点,g是关键点索引, 的集合 构成物体点云;输入是一段运动中的视频或者一串时间序列的2D图像集,通过2D图之间的时序匹配关系推断出相机的位姿参数;
S4、构建2D‑6D映射关联图谱 用于表示构建映射图中的2D‑6D对应关系,同时在每一帧图像中标定目标对象框架中相机定位;2D描述算子 通过图谱融合层聚合到6D描述算子 其中2D描述算子 中的h是2D特征点索引;
S5、实时视频在线物体跟踪阶段,即推理阶段,6D描述算子 随后与来自查询图像的2D描述算子 匹配以生成2D‑6D匹配预测算子 通过图谱融合技术,最后通过使用匹配预测算子 解决透视关键点问题来计算目标物体位姿 实现视频在线物体跟踪。
2.根据权利要求1所述的一种自动机器学习图谱融合的视频物体跟踪方法,其特征在于,步骤S1具体包括:步骤101、采用具有位姿传感器的智能摄像移动终端,围绕目标物体运动环绕进行视频扫描获得视频RGB帧 和每幅RGB帧图像对应的相机位姿步骤102、给定视频扫描RGB帧{Ph}和测试图像序列{Pt},估计定义在像机坐标系中的物体位姿 其中SE(3)代表特殊欧氏群,包括旋转加位移,也称欧式氏变换或刚体变换,下标t是视频图像序列中的关键帧索引。
3.根据权利要求1所述的一种自动机器学习图谱融合的视频物体跟踪方法,其特征在于,步骤S4具体包括:步骤401、构建2D‑6D映射关联图谱 其中g是稀疏点云 中的关键点索引,图谱 中每一个 代表一组2D描述算子 映射到稀疏点云 中的一个关键点 并且这个关键点 的三维特征描述算子表示为用于表示构建映射关联图谱 中的2D‑6D对应关系;
步骤402、首先从每个图像中提取二维关键点和描述算子 并在图像之间进行匹配,以产生二维到二维的对应关系;
步骤403、每个重建的关键点 都对应于一组匹配的二维特征点和二维描述算子其中h是特征点索引,d是二维描述算子的矢量维数;对应的2D‑3D映射关 联图 谱 由 用 于 的关 键点 索 引形成 ,其中d是三维描述算子的矢量维数。
4.根据权利要求1所述的一种自动机器学习图谱融合的视频物体跟踪方法,其特征在于,步骤S5具体包括:步骤501、实时视频在线物体跟踪阶段,一连串的查询图像 被实时捕获;根据关键点集合 对查询图像的相机位姿 进行定位,产生在相机坐标中定义的物体位姿 对于每个输入图像 二维关键点和描述算子 被提取出来用于匹配,其中 代表跟踪阶段实时视频帧的图像 中二维描述算子;
步骤502、匹配预测算子 的生成:使用一种自动机器学习图谱融合卷积层来实现自主聚合,将其命名为自动机器学习‑图谱融合层,自动机器学习‑图谱融合层对每个单独的进行操作;对于每个 权重矩阵表示为 自动机器学习‑图谱融合层 为如下形式:
其中PReLU为参数整流线性单元,是一种激活函数,其表达式为PReLU(x)=max(0,x)+α·min(0,x)式中 为可学习参数, 是自动机器学习图谱融合矢量,T表示转置运算,N={1,2,…,10};
步骤503、根据来自查询图像的2D描述算子 匹配 计算匹配预测算子:
‑χ
其中激活函数Swish=χ·sigmoid(χ)=χ/(1+e ),根据 计算目标物体位姿实现视频在线物体跟踪。