1.基于深度学习的互补特征可靠描述与匹配方法,其特征在于,至少包括步骤:(1)特征描述与匹配训练样本获取:
基于随机采样一致性算法的立体像对共轭矩阵估计算法;
基于准单应几何变换与自适应窗口策略优化同名特征位置及其局部仿射变换邻域;
采用点线面特征集成描述与匹配策略对所有待匹配特征逐一进行描述与匹配;
(2)构建基于DNN的特征描述与匹配算法:
特征描述,运行顾及视差突变及遮挡情况的透视不变卷积描述符生成方法,构建原始L2‑Net核心网络层,引入亮度归一化卷积层、视察感知卷积层及透视不变卷积层,建立梯度向量连接层,归一化描述符;
特征匹配,实行高区分度匹配测度构建策略,构建描述符欧氏空间距离L2范数的极值函数F=||f(R)‑f(P)||2=min,其中R和P分别为左影像和右影像中特征的128维深度描述符,当F取最小且不大于给定阈值FT,则输出匹配结果,FT取值为0.3;
(3)实行基于预训练网络模型的迁移学习:
首先,利用国际上开源的常规影像匹配集,对L2‑Net模型权重进行训练与学习,得到L2‑Net的训练模型,并通过迁移学习策略把训练参数传递给DNN模型,继而完成DNN模型的权重初始化;
(4)建立融合同名与非同名区域的目标损失函数模型:
准备DNN训练样本集,包括同名样本与非同名样本,同名样本已由上文同名特征归一化与匹配策略获取,非同名样本取自于国际开源的影像集,然后执行训练,在描述训练阶段,各分支网络采用权重共享策略,可有效简化模型参数,提高学习效率;而在匹配训练阶段,为使学习的描述符能够在同名特征邻域之间取最小化,而非同名邻域之间取最大化,构建加权平均损失函数Loss如下:
1st 2nd 3rd
m为批Batch中的样本数目;Ri和Pi代表一对匹配描述符向量;Ni 、Ni 、Ni 分别代表最近邻、次近邻及第三近邻非匹配描述符向量;D(Ri,Pi)表示匹配描述符欧氏距离;D((Ri,Pi),Ni)则表示非匹配描述符欧氏距离,且D((Ri,Pi),Ni)=min(D(Ri,Ni),D(Pi,Ni)),Ni表示任意非匹配描述符向量;权重参数w1、w2和w3取值分别为2.0、0.6和0.4;
非匹配相似描述符通过加权参与训练;
基于训练样本,通过随机梯度下降法和残差后向迭代传播,使加权损失函数Loss最终趋于最小,实现DNN模型的训练与优化;
(5)基于DNN模型的互补基元特征实现所有测试影像的准稠密匹配。