欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023100292850
申请人: 北京工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度学习的端到端全局和局部运动估计方法,其特征在于:

设计了一个用于估计全局和局部运动的端到端深度学习网络,对输入的两个相邻视频帧估计出全局和局部运动;

针对全局运动自身处于低秩空间的特点,设计了一种基于特征降维和升维思想的全局运动估计器,将混合运动中的全局信息进行提取,并排除非全局信息的干扰;

针对混合运动中包含全局和局部运动这一特点,设计了一种基于条件重构思想的训练策略,采用三个损失函数对网络的输出进行约束,使网络无监督地学习两个相邻视频帧中的混合、全局和局部运动信息。

2.根据权利要求1所述的方法,其特征在于步骤(1)中,通过将两个相邻视频帧输入三个深度学习网络结构,即MM模块、GM模块和LM模块,获得全局和局部运动;对于MM模块,通过将视频帧I1和I2输入PWC‑Net网络的金字塔特征提取器从而获得多尺度特征对,特征金字塔提取器由6层卷积组成,输入输出通道数分别是3‑>16,16‑>32,32‑>64,64‑>96,96‑>128,

128‑>196,步长为2,卷积核大小为3×3,从而对输入图片进行6次降采样;除最后一层卷积,每层卷积后都有LeakyReLU激活层;然后计算它们的代价体,从而衡量不同特征之间的相关性,并输入给光流解码器,从而获得混合光流;光流解码器的输入是当前层的代价体、对上一层输出的光流经过二倍上采样后得到的光流、以第一帧I1输入特征金字塔提取器输出的特征,其中第一帧I1图像的特征经过1×1卷积将通道数从192变为32,1×1卷积的卷积核大小为1×1,步长为1;光流解码器的卷积层输入输出通道数分别是113‑>128,128‑>128,256‑>96其中256为第1层输出的特征连接第2层输出的特征,得到的新特征的通道数;224‑>64其中224为第2层输出的特征连接第3层输出的特征,得到的新特征的通道数;160‑>32其中160为第3层输出的特征连接第4层输出的特征,得到的新特征的通道数;96‑>2,其中96为第4层输出的特征连接第5层输出的特征,得到的新特征的通道数;步长为2,卷积核为3×3;除最后一层,每层卷积后都有LeakyReLU激活层;MM模块的输出是当前层的光流,进而将其输入给GM模块和LM模块从而获得全局和局部运动。

3.根据权利要求1所述的方法,其特征在于步骤(2)中,鉴于全局运动源自具有低自由度的相机运动,其可被表达为低秩的运动信息;首先使用全局运动估计器的子模块 滤除特征空间中的非全局信息;将混合运动编码成长度为8的一维向量Fl,然后解码成长度为

65536的一维向量Fh;进一步使用全局运动估计器的子模块ε将特征向量Fh约束为长度为8的权重向量,其代表8个低秩且正交的运动基向量的线性组合;运动基是通过对单应性矩阵进行QR分解得到的,其代表了相机运动的8种基本变换;

全局运动估计器的运算过程如下:

其中,U是MM模块生成的混合运动,其被设置为长度为65536的一维向量, 是全局运动估计器的子模块 的编码器,由三层感知机组成,输入和输出向量的维度分别是65536‑>

1024,1024‑>128,128‑>8; 是与 对称的 的解码器,由三层感知机组成,输入输出向量维度分别为8‑>128,128‑>1024,1024‑>65536;除最后一层,多层感知机的每一层后采用批量归一化来改善网络的梯度传导;同时,在每次批量归一化后采用双曲正切函数作为非线性激活函数,从而将输出范围控制在(‑1,1),保留负值中的运动信息;Fh是解码器 的输出,是一维向量,Fh=65536;

{ωi}=ε(Fh), (2)

其中,{ωi}是运动基向量的权重集合,是长度为8的一维向量,ε是一个包含2个卷积层和1个自适应平均池化层的全局运动估计器的子模块;ε的第1卷积层的输入通道数为2,输出通道数为512,卷积核大小为7×7,步长为2,填充为3;第2卷积层为分组卷积,分组为8,输入通道数为512,输出通道数为8,卷积核大小为1×1,步长为1,填充为0;gi是索引为i的运动基向量,N是运动基的个数,N=8; 是运动基向量所处的定义域,为通道数×高×宽=2×H×W的运动图像域,H=128,W=256。

4.根据权利要求1所述的方法,其特征在于步骤(3)中,对MM模块采用基于光度损失和平滑损失的混合重构损失,从而无监督地从两个相邻视频帧中学习混合运动;光度损失衡′ ′量第一帧图像I1与重构的第一帧I1之间的误差,其中重构的第一帧I1由第二帧图像I2经过翘曲(warp)操作而得;混合重构损失定义如下:其中,S是结构相似(SSIM)误差;对于翘曲操作,令p是图像平面上的像素坐标,U为估计′

的混合运动,U(p)表示坐标为p的像素点的运动轨迹,则重构的第一帧I1 在像素坐标p处的′ ′像素值I1(p)满足I1(p)=I2(p+U(p));

平滑损失定义如下:

其中 是混合运动U在x轴方向的梯度, 是混合运动U在y轴方向的梯度, 是

第一帧图像I1在x轴方向的梯度, 是第一帧图像I1在y轴方向的梯度,‖‖1为L1范数运算,||表示取绝对值,exp()表示自然常数e的次方;最终混合重构损失定义如下:其中λph和λsm是权重项,分别为1和0.5;

GM模块的全局重构损失衡量第一帧I1与第二帧I2经过翘曲操作而得的重构的第一帧之间的误差;具体如下:其中,p是图像平面上的一个像素点,‖‖2为L2范数运算,G为GM模块估计的全局运动,Bg为基于迭代优化算法生成的二值掩膜(mask);迭代优化算法采用最小二乘法对光流进行全局运动的函数拟合,并估计模型参数;将无法拟合函数的点设为异常点并令其值为0,用于移除前景运动的像素,其余值为1时用于保留剩余背景区域;

LM模块的损失函数如下:

其中p是图像平面上的一个像素点,U为MM模块估计的混合运动,G为GM模块估计的全局运动,L为LM模块估计的局部运动,‖‖2为L2范数运算,Br是人工标注的用于移除场景无关区域的掩膜;在掩膜Br的像素点值为1的区域,通过训练减少混合运动与全局加局部运动的误差,能够约束网络学习到任务驱动的局部运动;

最终的条件重构损失函数如下:

其中λg和λl是权重项,当训练轮次(epoch)在1到50时,取1和0.0001,当轮次在51到100时,取1和0.002,当轮次在101到200时,取1和1,总训练轮次为200轮。