欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022104803583
申请人: 南昌航空大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种联合图像金字塔子网引导和循环交叉注意力的光流计算方法,其特征在于,所述方法包括以下步骤:(1)将图像序列连续两帧图像分别输入到图像金字塔子网和特征金字塔;

(2)使用图像金字塔子网对图片进行处理;

所述步骤(2)中的图像金字塔子网的输入是一组经过下采样的图像金字塔图片,经过图像金字塔进行下采样后,通过图像金字塔子网提取图像金字塔特征;其中,图像金字塔子网是一个浅层网络;

(3)将图像金字塔子网提取到的特征与同层特征金字塔提取到的特征进行相加融合作为下一层特征金字塔的输入;

(4)将第四层图像金字塔子网提取到的特征与同层特征金字塔提取到的特征进行相加融合后的特征图和第五层图像金字塔子网提取到的特征与同层特征金字塔提取到的特征进行相加融合后的特征图以及第六层特征金字塔子网提取到的特征图作为循环交叉注意力模块的输入以获得图像的上下文信息;

分别通过两个1×1的卷积降维获得Q、K两个特征图,得到Q、K后再通过关联操作得到注意力图A,再进行softmax操作得到注意力图A',关联操作如下:di,u=QuΩi,uT

式中di,u衡量了Qu和Ωi,u之间的相似度,对于特征图Q的每一个位置u,都得到一个维度数和Q通道数相同的向量Qu,然后在特征图K上得到一个Ωi,u对应位置u的同行或同列的向量集合,其中i指的是Ωu中第i个元素;

再通过一个1×1卷积得到V,将V每个位置u的横纵方向上的特征与A每个位置u横纵方向上的特征进行点乘,相加得到该位置的残差聚合特征,再加上原特征Hu得到更强表征能力的特征H'u,用来收集上下文信息的聚合操作如下:式中,Φi,u是V中第i层与位置u同行或同列的特征向量,Ai,u是A中在通道i和位置u的标量值,H'u是输出特征图Hu在位置u上的特征向量,所述Hu为第六层特征金字塔输出的特征图;

(5)将循环交叉注意力模块输出的包含上下文信息的特征图进行变形和相关性计算后输入到共享光流解码器中计算光流,以获得初始光流;

(6)将步骤(5)中所输出的初始光流经过上下文网络细化后再通过双边滤波器进行优化,从而得到最后精细化的光流计算结果。