欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020101109187
申请人: 南昌航空大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于自注意力机制的多尺度特征光流学习计算方法,其特征在于,其步骤如下:

1)选择输入图像序列中的任意连续两帧图像;

2)对选择的上述两帧图像进行K层金字塔特征提取,并求解序列初始光流场;

3)利用3×3卷积操作对初始光流场和其对应特征进行特征融合,并对融合特征进行下采样,以匹配特征金字塔每一层中光流特征的尺寸;

4)通过叠加融合特征与其对应的金字塔每层特征,形成K‑2个多尺度融合特征,并利用自注意力机制分别捕捉K‑2个多尺度融合特征的注意力依赖关系,具体的,对于每一多尺度融合特征,利用1×1标准卷积分别对所述多尺度融合特征进行三次特征提取,求得第一特征变量、第二特征变量和第三特征变量;根据所述第一特征变量和所述第二特征变量的计算得到注意力能量矩阵;对所述注意力能量矩阵进行归一化,得到规范化注意力能量矩阵;

根据所述规范化注意力能量矩阵和所述第三特征变量计算得到注意力依赖特征;根据所述多尺度融合特征和所述注意力依赖特征计算得到所述多尺度融合特征的注意力依赖关系;

5)分别对K‑2个多尺度下的注意力依赖关系进行上采样至相同分辨率,进行通道层面的叠加后,进行特征提取计算求解残差光流场;

6)累和所求得的残差光流场与初始光流场求得最终细化光流场,从而进一步提高模型在大位移运动状态下图像边界或运动边缘处的光流计算精度。

2.根据权利要求1所述的基于自注意力机制的多尺度特征光流学习计算方法,其特征在于,所述步骤2)中金字塔特征层数为K,且1≤K。

3.根据权利要求1所述的基于自注意力机制的多尺度特征光流学习计算方法,其特征在于,所述步骤4)中自注意力机制的原理如下:令 表示多尺度融合特征之一,其中符号C、H与W分别表示特征通道、长以及宽的尺寸;利用1×1标准卷积分别对多尺度融合特征进行三次特征提取,求得特征变量以及 通过特征变量α和β求得注意力能量,计算公式如下:式(1)中:表示矩阵乘法操作;进一步对注意力能量进行归一化,计算公式如下:式(2)中,给定规范化注意力能量矩阵 每一行元素表示其中一个像素点与整张特征图之间的联系;通过规范化注意力能量矩阵 以及特征变量η,求得注意力依赖特征Y,计算公式如下:为使训练初期的注意力依赖特征Y更容易地从局部拓展到全局范围,采用残差连接对输入多尺度融合特征X与输出注意力依赖特征Y进行连接,求得全局范围的注意力依赖关系计算公式如下:式(4)中:λ为网络训练过程中的自适应学习参数。