1.一种基于卷积神经网络和局部单应性变换的图像配准方法,其特征在于包括以下步骤:
步骤1:选取多幅图像用于样本生成,将每幅图像作为目标图像,将所有目标图像构成目标图像集;其中,每幅目标图像的宽度和高度均大于128;
步骤2:将目标图像集中当前待处理的目标图像定义为当前目标图像;
步骤3:将当前目标图像记为SA;然后在图像像素坐标系中将SA的左上角、右上角、左下角、右下角这四个角点分别记为P1、P2、P3、P4;接着对P1、P2、P3、P4各自的横坐标分量分别加上一个随机扰动值,同时对P1、P2、P3、P4各自的纵坐标分量也分别加上一个随机扰动值,得到P1、P2、P3、P4各自对应的扰动点,对应记为P1′、P2′、P3′、P4′;再将P1的坐标与P1′的坐标构成坐标对,将P2的坐标与P2′的坐标构成坐标对,将P3的坐标与P3′的坐标构成坐标对,将P4的坐标与P4′的坐标构成坐标对;最后根据SA的这四对坐标对,采用直接线性变换方法计算相应的全局单应性矩阵,记为 其中,针对SA的角点的横坐标分量添加的随机扰动值的取值范围为[-ρx,ρx],针对SA的角点的纵坐标分量添加的随机扰动值的取值范围为[-ρy,ρy],ρx和ρy均为正整数,-ρx为[-ρx,ρx]的下限,ρx为[-ρx,ρx]的上限,-ρy为[-ρy,ρy]的下限,ρy为[-ρy,ρy]的上限,[-ρx,ρx]中的x代表横坐标分量,[-ρy,ρy]中的y代表纵坐标分量;
步骤4:在SA中随机选取一个点,记为pA;然后以pA作为左上角点在SA中裁剪出一个尺寸为128×128的图像块,记为S′A;接着对S′A进行均匀网格划分,共划分出 个尺寸为a×a的网格块,a∈{4,8,16,32,64};再将S′A中的所有网格块的角点构成的集合记为GA,GA中包含有M×N个角点,
步骤5:利用全局单应性矩阵 对GA中的每个角点进行全局单应性变换,得到GA中的每个角点对应的第一变换点;然后将GA中的所有角点各自对应的第一变换点构成的集合记为G′A;
步骤6:对G′A中的每个第一变换点的横坐标分量和纵坐标分量分别添加一个随机扰动值,得到G′A中的每个第一变换点对应的扰动点;然后将G′A中的所有第一变换点对应的扰动点构成的集合记为 其中,针对第一变换点的横坐标分量添加的随机扰动值的取值范围为[-ρ′x,ρ′x],针对第一变换点的纵坐标分量添加的随机扰动值的取值范围为[-ρ′y,ρ′y],-ρ′x为[-ρ′x,ρ′x]的下限,ρ′x为[-ρ′x,ρ′x]的上限,-ρ′y为[-ρ′y,ρ′y]的下限,ρ′y为[-ρ′y,ρ′y]的上限, ρ′x和ρ′y均为正整数;
步骤7:将GA中的每个角点的坐标与 中对应的扰动点的坐标构成坐标对,共得到M×N对坐标对;然后根据这M×N对坐标对,采用直接线性变换方法计算相应的全局单应性矩阵,记为
步骤8:利用全局单应性矩阵 对GA中的每个角点进行全局单应性变换,得到GA中的每个角点对应的第二变换点;然后将GA中的所有角点各自对应的第二变换点构成的集合记为G″A;
步骤9:计算 中的所有扰动点的横坐标分量与G″A中的所有第二变换点的横坐标分量之间的均方根误差,记为xrmse;并计算 中的所有扰动点的纵坐标分量与G″A中的所有第二变换点的纵坐标分量之间的均方根误差,记为yrmse;然后根据xrmse和yrmse,对SA进行均匀网格划分 ,共划分为row×col个尺寸相同的互不重叠的网格块 ;其中,int()表示向
下取整函数,min()为取最小值函数,hA表示SA的高度,wA表示SA的宽度,hmin表示对SA进行均匀网格划分时的网格块的最小高度,wmin表示对SA进行均匀网格划分时的网格块的最小宽度;
步骤10:采用移动直接线性变换方法逐一计算SA的row×col个网格块中的每个网格块对应的局部单应性矩阵,将SA中的第j个网格块对应的局部单应性矩阵记为 然后将SA中的所有网格块对应的局部单应性矩阵构成的集合记为再利用 对SA进行局部单应性变换,将SA变换成一幅新的图像,记为SB,并且利用 计算出GA中的所有角点在SB上的对应点的坐标,将利用 计算出的GA中的所有角点在SB上的对应点构成的集合记为GB;
步骤11:在SB上裁剪出一个与SA中裁剪出的图像块S′A具有相同坐标和相同尺寸的图像块,记为S′B;然后将S′A和S′B构成用于训练基于卷积神经网络的图像配准的局部单应性矩阵估计模型的一对候选样本;将GB中的所有点的坐标与GA中的对应角点的坐标之间的差值的集合构成用于训练基于卷积神经网络的图像配准的局部单应性矩阵估计模型的候选样本的标签,记为H*;
步骤12:按S′A在SA中的坐标位置获取S′A在SA上的二值掩模图像,记为MA;然后利用对MA进行局部单应性变换,得到S′A在SB上对应的二值掩模图像,记为M′A;同样,按S′B在SB中的坐标位置获取S′B在SB上的二值掩模图像,记为MB;接着对M′A和MB进行交集运算得到一幅新的二值图像,记为MAB;再统计MAB中像素值为1的像素点的个数,记为NumAB;最后计算M′A和MB的重叠度,记为 若 小于阈值 则认定候选样本S′A和S′B为无效样本并予以丢弃,否则,认定候选样本S′A和S′B为有效样本并予以保留;其中,NumB表示MB中像素值为1的像素点的个数;
步骤13:将目标图像集中的下一幅目标图像作为当前目标图像,然后返回步骤3继续执行,直至目标图像集中的所有目标图像处理完毕;
步骤14:将从目标图像集中得到的所有有效样本及其对应的标签构成初始训练集;然后采用图像增广技术对初始训练集中的有效样本中的样本图像进行图像增广,即随机选择初始训练集中的有效样本中的样本图像随机改变其颜色和亮度,并且对样本图像进行随机的伽马变换,得到最终训练集;再利用最终训练集中的所有有效样本及其对应的标签训练基于卷积神经网络的图像配准的局部单应性矩阵估计模型,训练时的损失函数采用其中,1≤i≤K,K表示H*中的所有值对应的匹配点对的总数,K=M×N,符号“|| ||2”代表第2范数,τi表示H*中的第i个值对应的匹配点对的标签值, 表示H*中的第i个值对应的匹配点对所对应的卷积神经网络的输出值;
步骤15:将待配准的两幅图像作为步骤14训练得到的基于卷积神经网络的图像配准的局部单应性矩阵估计模型的输入,计算得到相应的局部单应性矩阵,并基于该局部单应性矩阵实现这两幅图像的配准。