1.一种结合卷积和轴注意力的光流估计方法,其特征在于:包括:
步骤S1:获取第一帧图像和第二帧图像;
步骤S2:分别提取所述第一帧图像和第二帧图像的第一匹配特征和第二匹配特征,并提取所述第一帧图像的上下文网络特征;
步骤S3:分别提取所述第一匹配特征、第二匹配特征和上下文网络特征中每个特征点的周边关系信息,得到第一LC‑LD匹配特征、第二LC‑LD匹配特征和LC‑LD上下文特征;
步骤S4:计算所述第一LC‑LD匹配特征和第二LC‑LD匹配特征的相关性成本量,并将所述相关性成本量与LC‑LD上下文特征输入GRU网络进行迭代优化,得到低分辨率光流;
步骤S5:对所述低分辨率光流进行上采样,得到高分辨率光流,其中,所述高分辨率光流为第一帧图像和第二帧图像中同一目标的移动距离与移动方向所产生的光流向。
2.根据权利要求1所述的结合卷积和轴注意力的光流估计方法,其特征在于:所述步骤S3中提取所述第一匹配特征、第二匹配特征和上下文网络特征中每个特征点的周边关系信息的方法包括:步骤S31:将初始特征送入由一层3×3卷积构成的局部约束模块获取初始特征的局部信息,生成LC特征,其中,所述初始特征为第一匹配特征、第二匹配特征或上下文网络特征;
步骤S32:将所述LC特征输入由水平轴注意力和垂直轴注意力组成多头轴注意力模块,获取关于所述LC特征的轴注意力特征,其中,所述水平轴注意力为基于当前特征点,对当前特征点所在行进行self‑attention,得到当前特征点与其所在行的水平轴注意力;所述垂直轴注意力为基于当前特征点,对当前特征点所在列进行self‑attention,得到当前特征点与其所在列的垂直轴注意力;
步骤S33:使用由一层3×3卷积构成的局部扩张模块对所述轴注意力特征与其四周的特征点进行交互,生成LD特征;
步骤S34:将所述LD输入至前馈神经网络,得到前馈神经网络特征,再使用卷积将所述前馈神经网络特征与初始特征进行融合,最后对融合后的特征进行维度提升,得到局部约束与局部扩张特征FLC‑LD。
3.根据权利要求2所述的结合卷积和轴注意力的光流估计方法,其特征在于:所述步骤S32中的多头轴注意力模块公式为:FA=col(row(FC)),其中,col(·)表示垂直轴注意力,row(·)表示水平轴注意力,FC表示LC特征,FA表示轴注意力特征。
4.根据权利要求2所述的结合卷积和轴注意力的光流估计方法,其特征在于:所述步骤S33具体为:使用由一层3×3卷积构成的局部扩张模块获取当前特征点四周的特征点所在行的水平轴注意力和所在列的垂直轴注意力,生成LD特征。
5.根据权利要求2所述的结合卷积和轴注意力的光流估计方法,其特征在于:所述分别提取所述第一匹配特征、第二匹配特征和上下文网络特征中每个特征点的周边关系信息,公式为:FLC‑LD=Conv1×1(Conv3×3([FFN(FD),F])),其中,FD表示LD特征,FFN(·)表示前馈神经网络,F表示初始特征,[·]表示特征拼接,Conv3×3表示3×3卷积,Conv1×1表示1×1卷积,FLC‑LD表示获取到的局部约束与局部扩张特征。
6.根据权利要求1所述的结合卷积和轴注意力的光流估计方法,其特征在于:所述步骤S4中计算所述第一LC‑LD匹配特征和第二LC‑LD匹配特征的相关性成本量,公式为:corr(i,Tj,p,q)=G1(i,j)·G2(p,q),其中,G1(i,j)表示第一LC‑LD匹配特征G1中任意一点像素,G2(p,q)表示第二LC‑LD匹配特征G2中任意一点像素,corr(i,j,p,q)表示四维的LC‑LD相关性成本量。
7.根据权利要求1所述的结合卷积和轴注意力的光流估计方法,其特征在于:所述步骤S5中将所述低分辨率光流进行上采样,得到高分辨率光流,具体为:将所述低分辨率光流依次进行分组卷积、通道混洗和基于凸优化的上5采样,得到高分辨率光流。
8.根据权利要求1所述的结合卷积和轴注意力的光流估计系统,其特征在于:包括:
获取模块:用于获取第一帧图像和第二帧图像;
第一提取模块:用于分别提取所述第一帧图像和第二帧图像的第一匹配特征和第二匹配特征,并提取所述第一帧图像的上下文网络特征;
第二提取模块:用于分别提取所述第一匹配特征、第二匹配特征和上下文网络特征中每个特征点的周边关系信息,得到第一LC‑LD匹配特征、第二LC‑LD匹配特征和LC‑LD上下文特征;
迭代优化模块:用于计算所述第一LC‑LD匹配特征和第二LC‑LD匹配特征的相关性成本量,并将所述相关性成本量与LC‑LD上下文特征输入GRU网络进行迭代优化,得到低分辨率光流;
上采样模块:用于对所述低分辨率光流进行上采样,得到高分辨率光流,其中,所述高分辨率光流为第一帧图像和第二帧图像中同一目标的移动距离与移动方向所产生的光流向。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述结合卷积和轴注意力的光流估计方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1至7中任一项所述结合卷积和轴注意力的光流估计方法的步骤。