欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025101945105
申请人: 湖北工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种顾及几何先验信息注意力计算的图像特征匹配模型构建方法,其特征在于:所述顾及几何先验信息注意力计算的图像特征匹配模型的构建方法包括以下步骤:

1)构建数据集;

2)采用几何先验信息注意力计算的方式构建图像特征匹配模型,具体是:

2.1)对步骤1)得到的数据集中的图像进行局部图像特征提取,得到1/16尺度的粗略特征图、1/8尺度的中等粒度特征图以及1/2尺度的精细特征图作为局部图像特征提取的结果,并分别标记为、、、和、;

2.2)对步骤2.1)得到的结果进行粗略特征匹配,得到粗略特征匹配结果,具体是:

2.2.1)对步骤2.1)得到的结果进行转换,获取转换后的粗略特征;具体实现方式是:首先,对得到的1/16尺度的粗略特征图进行位置编码:将位置编码与1/16尺度的粗略特征图做向量加法运算,得到位置编码后的粗略特征;然后对位置编码后的粗略特征进行线性自注意力与交叉注意力计算,所述线性自注意力与交叉注意力的计算方式为:其中:

R是张量的数值类型;

K是注意力机制中键特征矩阵;

V是值特征矩阵;

nq和dk分别表示和经过函数处理后的维度;

T是对矩阵的转置;

为归一化因子;

为核函数将和转化为非负映射,具体定义为:

在计算注意力后,将计算得到的注意力同1/16尺度的粗略特征图进行按元素乘法运算得到转换粗略特征和;所述和分别是和的转换特征;

2.2.2)采用双softmax方法对步骤2.2.1)得到的转换粗略特征和进行粗略特征匹配,得到粗略特征匹配结果;具体实现方式是:首先将转换粗略特征和特征图展平, 得到特征向量feat0和feat1,并进一步做L2范数归一化处理,所述特征向量feat0和feat1的表达式是:其中:

feat0和feat1分别是1/16尺度的粗略转换特征图在展平后得到的特征向量;

feat0对应展平后的特征向量;

feat1对应展平后的特征向量;

Normalize指L2范数归一化操作;

其次,根据归一化处理后的特征向量得到展平后的特征矩阵:其中:

R是张量的数值类型;

N0、N1分别表示的是展平后的序列长度为H0×W0和H1×W1;

和分别表示粗略特征的高度和宽度;

和分别表示粗略特征的高度和宽度;

C代表通道数,所述粗略特征和粗略特征的通道数相等;

特征矩阵和之间的相似度矩阵为:

其中:

表示第行对应特征与第行对应特征之间的相似度;

T是对矩阵的转置;

对相似度矩阵分别在行和列方向上应用softmax归一化,其公式如下:其中:

表示第行对应特征与第行对应特征之间的相似度;

用于控制softmax的平滑程度;

行方向上和列方向上的softmax分别为:最终的双向归一化相似度为:,由此得到归一化相似度矩阵:对归一化相似度矩阵应用阈值,只保留高于阈值的点对,剔除低置信度匹配点:最后,对保留的点对应用互最近邻约束:如果特征点的最近邻是,且的最近邻也是,则认为是有效匹配,否则视为误匹配而删除,保证匹配结果唯一性;基于所得到的匹配结果,利用RANSAC算法稳健估算出待匹配图像间的仿射变换矩阵;

2.3)对步骤2.2)得到的粗略特征匹配结果进行中等粒度特征匹配,得到中等粒度特征匹配结果,具体是:

2.3.1)利用步骤2.2.1)得到的转换粗略特征,对中等粒度特征进行中等粒度特征转换,具体是:对转换粗略特征和进行上采样,并与中等粒度特征和融合,然后进行中等粒度特征转换;

所述中等粒度特征转换中的自注意力计算是使用线性注意力方法完成的;所述中等粒度特征转换时的自注意力计算的具体实现方式是:a.1)窗口划分与仿射变换引导:

首先需要对查询特征图进行划分,将查询特征图分解为固定大小的查询窗口;每个固定大小的查询窗口由其四个顶点坐标表示,分别为左上角、右上角、右下角和左下角;

为获得仿射变换矩阵引导的键值窗口顶点坐标,在查询窗口的中心位置开一个键值窗口,将键值窗口的四个顶点坐标输入到仿射变换矩阵;仿射变换的公式如下:其中:

表示查询窗口的顶点坐标;

和分别为仿射变换矩阵的线性部分和平移部分;

是每一个顶点的坐标,用于对键值窗口的锁定;

通过仿射变换,键值窗口的顶点坐标被映射到键值特征图的空间中,生成键值窗口的四个顶点;

a.2)键值窗口有效性检查:

在窗口变换完成后,需要验证键值窗口是否位于键值特征图的有效区域内;对于每个键值窗口,检查其顶点是否落在特征图的边界内,并统计有效顶点的数量;如果有效顶点数量满足一定比例,则视为该窗口有效;否则,将其剔除;同时,也会根据查询窗口的有效掩膜来共同筛选;

a.3)特征采样与注意力计算:

对于查询窗口,直接从查询特征矩阵中进行特征提取;对于每个有效的键值窗口,从键值特征图中使用双线性插值的方法进行特征采样;对于每个有效的键值窗口,提取的查询特征、键特征和值特征被重组为多头注意力的形式,按照标准注意力的方式计算注意力:其中:

,,分别为查询、键、值矩阵;

为缩放因子;在计算得到自注意力和交叉注意力后,进一步处理得到转换中等粒度特征和;

2.3.2)采用双softmax方法对步骤2.3.1)得到的结果进行中等粒度特征匹配,得到中等粒度特征匹配结果;所述步骤2.3.2)的具体实现方式与步骤2.2.2)的具体实现方式完全相同;

2.4)对步骤2.3)得到的中等粒度特征匹配结果进行精细特征匹配,得到精细特征匹配结果;

2.5)根据粗略特征匹配、中等粒度特征匹配以及精细特征匹配构造图像特征匹配模型;

3)构造图像特征匹配模型的损失函数,利用步骤1)构建得到的数据集对图像特征匹配模型进行训练,得到图像特征匹配模型权重。

2.根据权利要求1所述的顾及几何先验信息注意力计算的图像特征匹配模型的构建方法,其特征在于:所述步骤1)具体是:选取Megadepth数据集下多个场景的图像作为用于训练真实地标信息的训练数据集;所述每个场景包括至少100对图像。

3.根据权利要求2所述的顾及几何先验信息注意力计算的图像特征匹配模型的构建方法,其特征在于:所述步骤2.1)是在步骤1)得到的数据集中,基于ResNet骨干网络并结合特征金字塔网络提取多尺度的局部图像特征;所述步骤2.1)的具体实现方式是:

2.1.1)将步骤1)得到的数据集中的图像通过ResNet骨干网络的四个层逐步提取特征,分别得到1/2尺度、1/4尺度、1/8尺度以及1/16尺度的中间特征图;

2.1.2)利用特征金字塔网络对中间特征图进行融合处理,从最深的1/16尺度的中间特征图开始,通过1×1卷积调整通道数,随后利用双线性插值方法对1/16尺度的中间特征图进行上采样,得到与1/8尺度的中间特征图相同的空间分辨率,将对1/16尺度的中间特征图上采样后得到的特征图与1/8尺度的中间特征图相加后形成1/8尺度的中等粒度特征图;

2.1.3)对步骤2.1.2)得到的1/8尺度的中等粒度特征图经过一个3×3卷积进一步提取特征,卷积后使用Batch Normalization和LeakyReLU激活函数增强非线性表达能力,通过1×1卷积调整输出通道数,使用双线性插值上采样至1/4尺度,与1/4尺度的中间特征图相加,形成1/4尺度的特征图;

2.1.4)以步骤2.1.3)所得到的1/4尺度的特征图为基础,重复步骤2.1.3)并得到1/2尺度的精细特征图;

2.1.5)将步骤2.1.1)所得到的1/16尺度的中间特征图直接作为1/16尺度的粗略特征图;将1/16尺度的粗略特征图、步骤2.1.2)得到的1/8尺度的中等粒度特征图以及步骤2.1.4)得到的1/2尺度的精细特征图作为局部图像特征提取的结果,将1/16尺度的粗略特征图、1/8尺度的中等粒度特征图以及1/2尺度的精细特征图分别记为、、、和、。

4.根据权利要求1所述的顾及几何先验信息注意力计算的图像特征匹配模型的构建方法,其特征在于:所述步骤2.4)的具体实现方式是:首先利用中等粒度特征匹配结果在精细特征和中定位并开辟一定大小窗口,并利用所开辟窗口中的特征计算对应区域的热力图,通过空间期望方法对热力图进行处理,最终得到匹配点精确坐标,实现匹配结果的细化。

5.根据权利要求1所述的顾及几何先验信息注意力计算的图像特征匹配模型的构建方法,其特征在于:所述步骤3)的具体实现方式是:

3.1)构造模型总的损失函数,所述模型总的损失函数的表达式是:其中:

和分别表示粗略特征的损失函数、中等粒度特征的损失函数以及精细特征的损失函数;

其中:使用负对数似然损失来衡量预测的特征匹配相似度与真实匹配标签之间的差异,其计算公式为:其中:

表示特征i和特征j的真实标签;

是特征i和特征j的匹配相似度;

是匹配度权重;

对于,采用L2损失函数来优化匹配点的精确坐标,具体公式为:其中:

表示匹配模型预测的特征点精确坐标;

表示真实的特征点坐标;

为匹配精确度权重;

3.2)基于步骤3.1)得到的模型总的损失函数对步骤2)得到的图像特征匹配模型进行训练,迭代更新模型的权重,待图像特征匹配模型的架构最终收敛后,得到图像特征匹配模型权重。