1.一种基于双边域运动校正的异常匹配去除方法,其特征在于,包括下述步骤:对不同视角图像的匹配点对进行坐标归一化,构建无序运动集合;
对无序运动集合和归一化坐标进行特征嵌入,构建初始运动特征;
对初始运动特征进行迭代优化,得到校正后的多层运动特征,具体包括:将初始运动特征转换为归一化图像空间上的有序运动场特征,具体包括:将归一化的二维图像空间划分为多个局部区域,选取局部区域的中心位置,对中心位置坐标进行映射,生成局部嵌入向量集合,基于局部嵌入向量集合与运动特征构建图,采用图注意力网络将无序运动特征正则化为各局部区域的有序运动特征,具体表示为:;
;
其中,表示有序运动特征,表示图注意力网络,表示局部嵌入向量集合,表示第层的运动特征,表示局部运动信息的聚合操作,表示融合操作;
局部运动信息的聚合操作具体表示为:;
;
;
;
;
其中,、分别表示由经过两个不同的线性变换得到的键矩阵和值矩阵,上标表示对矩阵的转置,表示查询矩阵,表示带泄漏的修正线性单元,和分别是可学习的缩放因子和偏置项,表示位置感知项,表示分类先验,表示激活函数,表示多层感知机,表示局部区域的中心位置,表示归一化坐标,表示对角化操作,表示Sigmoid激活函数,表示由前一运动校正单元计算得到的每个运动样本的逻辑值,表示对角化操作后的矩阵;
有序运动场特征经编码器得到不同尺度上的编码特征;
不同尺度上的编码特征通过计算通道注意力得到模式对齐特征,具体包括:通道交叉注意力将各个尺度上的编码特征通过分块二维卷积转换为相同序列长度的图像块特征,图像块特征沿着特征维度进行拼接,并经过层归一化和线性变换生成查询矩阵、键矩阵和值矩阵,通过深度卷积嵌入空间上下文信息;
通过计算通道注意力实现不同尺度的编码特征之间的信息交互和运动模式对齐,得到不同尺度上的模式对齐特征,表示为:;
;
其中,、、分别表示嵌入空间上下文信息的查询矩阵、键矩阵和值矩阵,表示实例归一化操作,表示线性变换计算,表示模式对齐特征,表示图像块特征;
对模式对齐特征进行强化,得到强化的模式对齐特征,与编码特征残差连接得到经过运动调制的编码特征;
将编码特征逐步上采样至原始分辨率,解码得到经过调整的运动场特征;
经过调整的运动场特征对第层的运动特征进行校正,得到校正后的多层运动特征;
基于校正前后的运动残差信息计算各匹配点对的内点概率,剔除内点概率低于设定概率阈值的匹配点对。
2.根据权利要求1所述的基于双边域运动校正的异常匹配去除方法,其特征在于,对不同视角图像的匹配点对进行坐标归一化,构建无序运动集合,具体包括:获取同一场景下不同视角的图像与图像,提取图像中的特征点并建立初始匹配点对;
对图像与图像中的匹配点坐标进行归一化,得到归一化的匹配点对,表示为:;
其中,、分别表示图像和图像中归一化后的匹配像素坐标,表示匹配点对的数量,表示二维实数空间;
计算运动位移得到无序运动集合,表示为:;
对无序运动集合和归一化坐标进行特征嵌入,构建初始运动特征,表示为:;
其中,和分别表示不同的多层感知机,表示无序运动集合,表示归一化坐标。
3.根据权利要求1所述的基于双边域运动校正的异常匹配去除方法,其特征在于,有序运动场特征经编码器得到不同尺度上的编码特征,具体包括:编码器在不同尺度上提取关键信息,表示为:;
;
;
其中,表示Transformer计算,表示基于非重叠卷积的下采样层,表示有序运动特征,、、分别表示不同尺度上的编码特征。
4.根据权利要求1所述的基于双边域运动校正的异常匹配去除方法,其特征在于,对模式对齐特征进行强化,得到强化的模式对齐特征,与编码特征残差连接得到经过运动调制的编码特征,具体包括:多尺度空间嵌入前馈网络基于线性变换对模式对齐特征进行特征升维并沿着特征维度均匀划分为两个分支特征和;
将两个强化分支特征进行通道拼接并恢复至原来的维度大小,得到经过强化的模式对齐特征:;
其中,表示通道拼接操作,表示线性变换计算;
通过特征映射将强化的模式对齐特征恢复至原始编码器处理的空间分辨率大小,与编码特征残差连接得到经过运动调制的编码特征:;
其中,表示批归一化操作,表示1×1卷积,表示双线性插值计算。
5.根据权利要求1所述的基于双边域运动校正的异常匹配去除方法,其特征在于,解码器将编码特征逐步上采样至原始分辨率,解码得到经过调整的运动场特征,具体表示为:;
;
;
;
;
;
其中,表示编码器提取得到的深层编码特征,表示上采样操作,表示Transformer计算,表示逐通道特征融合模块,、表示上采样特征,、表示融合特征,表示解码特征,表示经过运动调制的编码特征。
6.根据权利要求5所述的基于双边域运动校正的异常匹配去除方法,其特征在于,在逐通道特征融合模块中,将上采样特征与编码特征拼接形成融合输出;
通过水平和垂直方向的全局平均池化分别提取出统计信息,经过两个共享非线性变换的多层感知机生成像素级的注意力图,对上采样特征和经过运动调制的编码特征进行加权融合,得到融合特征,具体表示为:;
;
;
;
其中,表示Sigmoid激活函数,表示哈达玛积,、表示统计信息,表示像素级的注意力图,表示融合特征。
7.根据权利要求5所述的基于双边域运动校正的异常匹配去除方法,其特征在于,经过调整的运动场特征对第层的运动特征进行校正,具体表示为:;
;
;
;
;
其中,表示校正后的运动特征,表示图注意力网络,表示调整的运动场特征,表示融合操作,表示聚合操作,表示位置感知项,表示带泄漏的修正线性单元,和分别是可学习的权重和偏置,表示激活函数,和分别是可学习的缩放因子和偏置项,、分别表示键矩阵和值矩阵,表示查询矩阵。
8.一种基于双边域运动校正的异常匹配去除系统,其特征在于,用于实现权利要求1-7任一项所述的基于双边域运动校正的异常匹配去除方法,包括:无序运动集合构建模块、初始运动特征构建模块、运动校正单元、内点概率计算模块、异常匹配去除模块;
所述无序运动集合构建模块用于对不同视角图像的匹配点对进行坐标归一化,构建无序运动集合;
所述初始运动特征构建模块用于对无序运动集合和归一化坐标进行特征嵌入,构建初始运动特征;
所述运动校正单元用于对初始运动特征进行迭代优化,得到校正后的多层运动特征,具体包括:将初始运动特征转换为归一化图像空间上的有序运动场特征;
有序运动场特征经编码器得到不同尺度上的编码特征;
不同尺度上的编码特征通过计算通道注意力得到模式对齐特征;
对模式对齐特征进行强化,得到强化的模式对齐特征,与编码特征残差连接得到经过运动调制的编码特征;
将编码特征逐步上采样至原始分辨率,解码得到经过调整的运动场特征;
经过调整的运动场特征对第层的运动特征进行校正,得到校正后的多层运动特征;
所述内点概率计算模块用于基于校正前后的运动残差信息计算各匹配点对的内点概率;
所述异常匹配去除模块用于去除内点概率低于设定概率阈值的匹配点对。