欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022115025928
申请人: 南昌航空大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于全局与局部耦合的光流计算方法,其特征在于,其步骤如下:

1)输入连续两帧图像;

2)构建运动特征提取网络:

将深度可分离卷积残差块和由高效自注意力和交叉注意力构建的混合Transformer相结合,对图像序列中的连续两帧图像I1和I2进行运动特征提取,分为两步,计算公式如下:式(1)代表深度可分离残差块提取图像特征的过程,其中Ii表示输入的第i帧图像,DwConvs(·)表示深度可分离卷积残差块,Conv2x2(·)表示步长为2、卷积核大小为2的卷积,DwConv7x7(·)表示步长为1、卷积核大小为7的深度卷积,Norm表示归一化操作,GELU表示非线性激活函数,PwConv(·)表示逐点卷积,fi表示经过深度可分离卷积残差块后提取到的第i帧图像特征图;

式(2)代表混合Transformer中提取图像特征的过程,其中:

第一个等式代表将经过深度可分离残差块提取到的第i帧图像特征图fi通过Conv7x7(·)进行下采样,其中Conv7x7(·)表示步长为2、卷积核大小为7的卷积;

第二个等式代表使用DwConv3x3(·)对上步下采样的特征再次进行逐层局部特征提取,其中DwConv3x3(·)表示步长为1、卷积核大小为3的深度卷积;

第三个等式代表Patch Embedding过程,利用深度卷积提取出的局部特征使用Sigmoid函数进行映射,再与下采样过后的图像特征相乘,得到局部位置增强的特征Fi;

第四个等式代表经过Patch Embedding得到的Fi分别通过线性映射到qi,ki,vi三个向量,其中qi,ki,vi分别表示第i帧图像的查询向量、键向量、值向量,当使用自注意力时,qi,ki,vi由同一特征产生,使用交叉注意力时,qi由前一帧特征产生,ki,vi由其余特征产生;

T

第五个等式代表注意力操作,其中ki表示ki向量的转置向量, 表示ki向量维度的T开方,softmax表示归一化指数函数,将qi和ki 相乘并乘以缩放因子 后再进行softmax操作后得到自注意力的权重系数,然后乘以权值vi得到第i帧图像特征图Attentioni;

第六个等式代表前馈神经网络操作,其中Linear(·)代表线性映射,GELU表示非线性激活函数,DwConv3x3(·)表示步长为1、卷积核大小为3的深度卷积,从而将第i帧图像特征图Attentioni经过该网络后得到后第i帧图像特征图MLPi;

第七、八等式代表混合注意力提取图像特征的整体过程,是式(2)中前三个等式的一个整体概括,表示将经过深度可分离残差块后提取到的第i帧图像特征图fi再经过Patch Embedding后第i帧图像特征图Fi输入混合注意力块得到特征图Ti,其中Norm表示归一化操作,Attention和MLP分别代表第五个和第六个等式的操作过程;

3)构建匹配代价体积:

网络将运动特征提取网络提取出来的两个特征图上的特征向量进行点积相似性运算,获取两个特征图上所有特征向量对的匹配代价信息,然后采用池化操作对计算出来的匹配代价体积进行下采样,从而将大位移的匹配代价信息转化为小位移的匹配代价信息,计算公式如下:式(3)中,l表示匹配代价金字塔的层数,F1,F2分别表示对图像I1,I2进行特征提取后的特征图,⊙表示矩阵乘法操作,Cost为计算出来的匹配代价体积,AvgPool表示平均池化操作,Costl表示将匹配代价体积下采样后得到匹配代价金字塔的第l层,从而得到多尺度匹配代价信息,以更好的进行大、小位移光流估计;

4)构建空洞卷积残差块的上下文编码器:

利用空洞卷积构建空洞卷积残差块用来提取丰富的上下文信息以供光流解码部分使用,计算公式如下:式(4)代表空洞卷积残差块提取图像特征的过程,其中I1表示输入的第1帧图像,DiConvs(·)表示空洞卷积残差块,DiConv3x3,d=n(·)表示步长为1、卷积核大小为3、空洞率为n的卷积,其中n=1,2,3,Norm表示归一化操作,RELU表示非线性激活函数,ci表示经过空洞卷积残差块后提取到的第1帧图像特征图;

5)运动编码器:

将匹配代价体积与初始光流场输入到运动特征编码器中,进行运动特征的循环迭代编码,计算公式如下:式(5)中,l表示代价体积的层数,j表示相关性查找表循环次数,共有n次迭代,在第一个等式中,Costl表示代价体积的第l层相似度度量特征图,Flowj表示第j次光流结果图,Conv表示卷积操作,Cat表示拼接特征图操作,FCost表示将代价体积中所有层按通道维度拼接进行卷积操作后得到的特征图, 表示将第j次光流迭代结果图Flowj进行卷积操作后的特征图;在第二个等式中,Conv表示卷积操作,Cat表示在特征图的通道维度进行拼接操作, 表示第j次运动编码特征图;

6)构建卷积GRU单元:

将运动特征编码器的运动特征以及上下文特征编码器的上下文特征输入到卷积GRU单元进行光流的循环迭代提取,计算公式如下:式(6)中,j表示迭代次数,共有n次迭代过程, 表示第j次运动特征编码器输出的特征图,Fcontext表示GRU中的隐状态,ConvGRU表示卷积GRU操作,Conv表示利用卷积提取特征,Flowj+1表示第j+1次迭代并输出的光流结果;

7)输出光流场:

重复步骤5)和步骤6)来循环迭代优化光流场,共迭代n次,并将最后一次迭代优化后的光流上采样到与输入图像同等分辨率大小,从而得到最终的光流结果。