1.基于双分支特征提取与通道特征增强的特征匹配方法,其特征在于,包括如下步骤:步骤S1:获取多通道图像,将多通道图像输入到实例归一化模块进行标准化处理,得到若干个单通道灰度图像;
步骤S2:将若干个单通道灰度图像并行输入至空间特征提取分支、动态通道核特征提取分支和关键点提取分支;其中,空间特征提取分支对单通道灰度图像进行处理,得到多尺度局部特征图;动态通道核特征提取分支对单通道灰度图像进行处理,得到全局结构特征图;关键点提取分支对单通道灰度图像进行处理,得到关键点热图;
步骤S3:将多尺度局部特征图与全局结构特征图进行双线性插值对齐与逐元素相加融合,得到初步融合特征图;
步骤S4:在空间特征提取分支的多个预设层级,分别插入通道特征增强模块,以渐进式残差权重对多个预设层级进行差异化增强;
步骤S5:将初步融合特征图输入多尺度特征融合模块进行处理,得到最终融合特征图;对最终融合特征图进行处理,得到可靠性热图和密集特征图;
步骤S6:利用关键点热图与可靠性热图筛选关键点,并从密集特征图中提取对应位置的描述符进行特征匹配,完成图像间的特征匹配;具体为:步骤S61,对关键点热图提取最大响应值,并与可靠性热图进行逐位置加权融合,生成关键点综合得分图;
步骤S62,对关键点综合得分图逐样本执行非极大值抑制,在每个空间邻域内保留得分最高的位置,生成候选关键点;
步骤S63,根据关键点综合得分图对候选关键点按得分降序排序,保留前n个关键点位置,得到筛选出的关键点位置;
步骤S64,根据筛选出的关键点位置,从密集特征图中通过双三次插值提取对应位置的特征向量,得到所有描述符;对所有描述符进行基于L2范数的归一化操作;
步骤S65,对两幅待匹配图像,分别得到两组归一化描述符集合,使用最近邻距离比算法进行匹配,最终输出所有匹配点对,完成图像间的特征匹配。
2.根据权利要求1所述的基于双分支特征提取与通道特征增强的特征匹配方法,其特征在于:在步骤S2中,空间特征提取分支对单通道灰度图像进行处理,得到多尺度局部特征图;具体为:步骤S211,空间特征提取分支包括第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块;
步骤S212,将单通道灰度图像输入第一卷积模块进行处理,得到第一卷积特征图F1;
步骤S213,将第一卷积特征图F1输入第二卷积模块进行处理,得到第二卷积特征图F2;
步骤S214,将第二卷积特征图F2输入第三卷积模块进行处理,得到第三卷积特征图F3;
步骤S215,将第三卷积特征图F3输入第四卷积模块进行处理,得到第四卷积特征图F4;
步骤S216,将第四卷积特征图F4输入第五卷积模块进行处理,得到第五卷积特征图F5;
步骤S217,将第三卷积特征图F3、第四卷积特征图F4和第五卷积特征图F5作为输出的多尺度局部特征图。
3.根据权利要求2所述的基于双分支特征提取与通道特征增强的特征匹配方法,其特征在于:在步骤S2中,动态通道核特征提取分支对单通道灰度图像进行处理,得到全局结构特征图;具体为:步骤S221,动态通道核特征提取分支包括动态通道核特征提取模块;动态通道核特征提取模块对单通道灰度图像进行16倍平均池化下采样,缩小原始空间尺寸,建立全局视野,得到第六卷积特征图F6;
步骤S222,对第六卷积特征图F6使用1×1卷积将通道数从Cin压缩至N,减少计算量,得到第七卷积特征图F7;公式表示为:F7=Conv1x1(F6),F7∈RB×N×H×W;
其中,F7表示第七卷积特征图,表示1×1卷积,1×1卷积的卷积核为RN×Cin×1×1;R表示整体代表深度学习中张量的维度形状,N表示1×1卷积压缩后的输出通道数,Cin表示1×1卷积的输入通道数;F6表示第六卷积特征图,∈表示明确张量维度形状,B表示批量大小,H表示特征图的高度,W表示特征图的宽度;
步骤S223,对第七卷积特征图F7进行3×3深度可分离卷积,提取空间结构特征,得到第八卷积特征图F8;公式表示为:F8=Unsqueeze(Conv1x1(F7)),F8∈RB×1×N×H×W;
其中,F8表示第八卷积特征图,表示维度扩展操作;
步骤S224,将第八卷积特征图F8沿通道维度展开为伪时序维度,使用3D卷积进行跨通道特征融合,得到第九卷积特征图F9;公式表示为:F9=Conv3D(F8),F9∈RB×1×N×H×W;
其中,F9表示第九卷积特征图,表示3D卷积,3D卷积的卷积核为R1×1×1×1×3;
步骤S225,对第九卷积特征图F9进行16倍双线性插值上采样,恢复至原始输入空间尺寸,得到全局结构特征图;公式表示为:Y1=Squeeze(F9),Y1∈RB×N×H×W;
其中,Y1表示全局结构特征图,表示维度压缩操作。
4.根据权利要求3所述的基于双分支特征提取与通道特征增强的特征匹配方法,其特征在于:在步骤S2中,关键点提取分支对单通道灰度图像进行处理,得到关键点热图;具体为:步骤S231,关键点提取分支包括展开操作、动态通道核注意力模块和第八卷积块;
步骤S232,将单通道灰度图像通过滑动窗口操作,以步长1、窗口大小8×8进行滑动展开,得到展开灰度图像;
步骤S233,将展开灰度图像输入至动态通道核注意力模块,动态通道核注意力模块对展开灰度图像进行全局平均池化,得到平均特征图;公式表示为:G=GAP(F0),G∈RB×C×1×1;
其中,G表示平均特征图,GAP表示全局平均池化,F0表示展开灰度图像,C表示展开灰度图像的通道数;
步骤S234,对平均特征图使用1x1卷积进行瓶颈结构降维,将平均特征图的通道数从C降至C/r,得到降维特征图;公式表示为:K1=ReLU(Conv1x1(1)(G)),K1∈RB×C/r×1×1;
其中,K1表示降维特征图,r表示通道压缩率;
步骤S235,对降维特征图使用1x1卷积进行动态卷积核生成,得到每个通道的卷积核参数;公式表示为:Z1=Conv1x1(2)(K1),Z1∈RB×C×k×k×1×1;
其中,Z1表示卷积核参数,k表示动态卷积核的尺寸;
步骤S236,将卷积核参数重塑为B×C个独立的k×k卷积核,得到重塑卷积核;公式表示为:Z2=Reshape(Z1),Z2∈RB×C×1×k×k;
其中,Z2表示重塑卷积核,Reshape表示张量形状重塑操作;
步骤S237,将展开灰度图像进行重塑,得到重塑特征图;公式表示为:K2=Reshape(F0),K2∈R1×B×C×H×W;
其中,K2表示重塑特征图;
步骤S238,对重塑卷积核和重塑特征图进行分组卷积,分组数使用B×C个分组,每个分组对应一个重塑卷积核和重塑特征图,得到分组特征图;公式表示为:K3=GroupConv(Z2,K2),K3∈R1×B×C×H×W;
其中,K3表示分组特征图,GroupConv表示分组卷积操作;
步骤S239,将分组特征图重塑回原形状,经Sigmoid函数激活,将注意力值进行归一化,得到注意力特征图;公式表示为:A=Sigmoid(Reshape(K3)),A∈RB×C×H×W;
其中,A表示注意力特征图,Sigmoid表示激活函数;
步骤S240,将展开灰度图像和注意力特征图进行逐元素相乘,得到增强注意力特征图;公式表示为:Y4=F0⊙A,Y4∈RB×C×H×W;
其中,Y4表示增强注意力特征图;
步骤S241,将增强注意力特征图输入第八卷积块进行处理,第八卷积块依次执行4层1×1卷积,其中前3层1×1卷积均搭配ReLU激活函数与BatchNorm归一化,最后一层1×1卷积只为普通1×1卷积,输出通道特征图,并使用Softmax函数在通道维度归一化,得到关键点热图。
5.根据权利要求4所述的基于双分支特征提取与通道特征增强的特征匹配方法,其特征在于:步骤S3具体为:步骤S31,将来自多尺度局部特征图的第四卷积特征图F4、第五卷积特征图F5和全局结构特征图,通过双线性插值上采样统一对齐至与第三卷积特征图F3相同的空间尺寸,得到上采样后的特征图;
步骤S32,将上采样后的特征图与第三卷积特征图F3进行逐元素相加,得到初步融合特征图。
6.根据权利要求5所述的基于双分支特征提取与通道特征增强的特征匹配方法,其特征在于:步骤S4具体为:步骤S411,在空间特征提取分支的三个预设层级分别插入通道特征增强模块,并配置对应的残差权重:步骤S412,第一预设层级:在第二卷积模块输出后的第一卷积特征图F1处插入通道特征增强模块,对应第一卷积特征图F1的浅层边缘与纹理特征,配置的残差权重为第一残差权重;
步骤S413,第二预设层级:在第三卷积模块输出后的第三卷积特征图F3处插入通道特征增强模块,对应第三卷积特征图F3的中层语义特征,配置的残差权重为第二残差权重;
步骤S414,第三预设层级:在多尺度局部特征图与全局结构特征图融合后的初步融合特征图处插入通道特征增强模块,对应初步融合特征图的深层全局一致性特征,配置的残差权重为第三残差权重;
步骤S415,三个通道特征增强模块依次对输入的第一卷积特征图F1、第三卷积特征图F3和初步融合特征图进行增强;
步骤S416,三个通道特征增强模块使用3×3卷积将输入的第一卷积特征图F1、第三卷积特征图F3和初步融合特征图的通道数从D扩展到D′,得到扩展后的特征;公式表示为:D1=Conv3x3(1)(X),D1∈RB×D′×H×W;
其中,D1表示扩展后的特征,Conv3x3(1)表示3×3卷积,3×3卷积的卷积核为RD′×D×3×3,D′表示输入经过3×3卷积升维后得到的特征通道数,D表示输出特征的原始通道维度,X表示输入的第一卷积特征图F1或第三卷积特征图F3或初步融合特征图;
步骤S417,对扩展后的特征进行分组数等于D′的深度可分离卷积,每个通道独立进行卷积操作,得到分离特征;公式表示为:D2=DWConv3x3(D1),D2∈RB×D′×H×W;
其中,D2表示分离特征,DWConv3x3表示分组化的3x3深度可分离卷积,分组化的3x3深度可分离卷积的卷积核为RD′×1×3×3;
步骤S418,对分离特征使用SiLU激活函数并引入自适应门控非线性进行非线性激活,得到激活特征;公式表示为:D3=σ(D2)=D2•sigmoid(D2);
其中,D3表示激活特征,σ(•)为SiLU激活函数,sigmoid表示非线性激活函数;
步骤S419,对激活特征使用3×3卷积将通道数从D′恢复至原始输入通道数D,得到投影降维特征;公式表示为:Y2=Conv3x3(2)(D3),Y2∈RB×D×H×W;
其中,Y2表示投影降维特征,Conv3x3(2)表示输出投影降维特征对应的3x3卷积,输出投影降维特征对应的3x3卷积的卷积核为 RD×D′×3×3;
步骤S420,将三个通道特征增强模块输出的投影降维特征分为第一次投影降维特征、第二次投影降维特征和第三次投影降维特征;
步骤S421,通过第一次投影降维特征与第一残差权重进行相乘,对第一卷积特征图F1进行差异化增强后,得到增强的第一卷积特征图F1;
步骤S422,通过第二次投影降维特征与第二残差权重进行相乘,对第三卷积特征图F3进行差异化增强后,得到增强的第三卷积特征图F3;
步骤S423,通过第三次投影降维特征与第三残差权重进行相乘,对初步融合特征图进行差异化增强后,得到增强的初步融合特征图。
7.根据权利要求6所述的基于双分支特征提取与通道特征增强的特征匹配方法,其特征在于:步骤S5具体为:步骤S511,将初步融合特征图输入至多尺度特征融合模块,多尺度特征融合模块包含四个并行分支,具体处理如下:步骤S512,将初步融合特征图输入第一并行分支内,通过1×1卷积提取点级特征,得到第一融合特征图X1;公式表示为:X1=ReLU(BN(Conv1x1(f)));
其中,X1表示第一融合特征图,ReLU表示ReLU激活函数,BN表示批量归一化,Conv1x1表示卷积核空间尺寸为1×1的二维标准卷积,f表示初步融合特征图;
步骤S513,将初步融合特征图输入第二并行分支内,通过1×1卷积降维、3×3卷积、1×1卷积升维的瓶颈结构提取局部邻域特征,得到第二融合特征图X2;公式表示为:X2=ReLU(BN(Conv1x1(ReLU(BN(Conv3x3(ReLU(BN(Conv1x1(f)))))))));
其中,X2表示第二融合特征图,Conv3x3表示卷积核空间尺寸为3×3的二维标准卷积;
步骤S514,将初步融合特征图输入第三并行分支内,通过1×1卷积降维、5×5卷积、1×1卷积升维的瓶颈结构提取中等范围特征,得到第三融合特征图X3;公式表示为:X3=ReLU(BN(Conv1x1(ReLU(BN(Conv5x5(ReLU(BN(Conv1x1(f)))))))));
其中,X3表示第三融合特征图,Conv5x5表示卷积核空间尺寸为5×5的二维标准卷积;
步骤S515,将初步融合特征图输入第四并行分支内,通过1×1卷积降维、7×7卷积、1×1卷积升维的瓶颈结构提取全局上下文特征,得到第四融合特征图X4;公式表示为:X4=ReLU(BN(Conv1x1(ReLU(BN(Conv7x7(ReLU(BN(Conv1x1(f)))))))));
其中,X4表示第四融合特征图,Conv7x7表示卷积核空间尺寸为7×7的二维标准卷积;
步骤S52,将第一融合特征图X1、第二融合特征图X2、第三融合特征图X3和第四融合特征图X4在通道维度进行拼接,得到第五融合特征图X5;公式表示为:X5=;
其中,X5表示第五融合特征图,表示沿通道维度的拼接操作,表示特征张量的通道维度;
步骤S53,将第五融合特征图X5输入到多尺度特征融合模块中的通道融合与降维层,通过1×1卷积降维将第五融合特征图X5的4倍通道维度降回1倍通道维度,得到第六融合特征图X6;公式表示为:X6=ReLU(BN(Conv1x1(X5)));
其中,X6表示第六融合特征图;
步骤S54,将第六融合特征图X6输入到多尺度特征融合模块中的空间特征整合层,通过3×3卷积融合空间上下文信息,得到最终融合特征图;公式表示为:Y3=ReLU(BN(Conv3x3(X6)));
其中,Y3表示最终融合特征图;
步骤S55,将最终融合特征图输入热图头部网络,热图头部网络结构为两个基本卷积块加Sigmoid激活函数,得到可靠性热图;
步骤S56,将最终融合特征图输入描述符提取网络,描述符提取网络结构为四层MLP,得到密集特征图。