欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023107082302
申请人: 南昌航空大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种联合可变形卷积与模态转换的图像配准方法,其特征在于,包括以下步骤:S1、获取源图像,所述源图像包括源红外图像和源可见光图像;

S2、基于循环一致性生成对抗网络构建图像模态转换网络,包括对循环一致性生成器进行编码、转换和解码操作;

编码过程采用4层残差网络,引入跳跃连接操作,将编码路径分为两条支路输出,其中一条直接连接第一个残差层,另一条跳跃连接到第三个残差层后,计算过程如下:

2 3 3 3

f=conv3(conv4(res(cat(res(conv3(x))),conv3(x))))3

其中,x表示输入的源可见光图像,conv3表示一个3×3卷积层,conv3表示3层3×3卷积

3 2

层;res表示一个残差网络,res表示3层残差网络;conv4表示两层4×4的卷积层,cat表示将得到的特征图在通道维度上进行拼接;

转换过程将输入层和对应输出层的卷积核大小由7×7减小为3×3;解码过程将编码过程中3×3的卷积核替换为大小为4×4的卷积核;

S3、基于可变形卷积构建多级细化变形场估计网络,包括两个可变形卷积特征提取器来提取图像特征和两个粗细粒度变形场估计网络进行特征匹配和变换模型估计,得到第二层细粒度变形场具体为:将伪红外图像作为参考图像,源红外图像作为浮动图像,通过变换浮动图像使源红外图像与伪红外图像进行对齐,实现源红外图像与源可见光图像的配准;

实现源红外图像与源可见光图像配准具体为通过可变形卷积对图像进行配准,可变形卷积进行特征提取方法为:其中,y(p0)表示p0处卷积运算得到的结果,R表示卷积核的采样范围,ω(pn)表示pn位置的卷积核权重,x(p0+pn+Δp)表示偏移了Δp位置得到的值,p0表示初始位置,Δp表示位置偏移量,pn是一个固定的值为R的所有枚举;

然后经过可变形卷积特征提取器输出的两组可变形卷积特征图共同输入C2F‑DFE,每个C2F‑DFE包括一个粗粒度变形场估计模块和一个细粒度变形场估计模块,第一层粗粒度变形场首先预测为:第一层细粒度变形场被估计为:

第二层粗粒度变形场被预测为:

第二层细粒度变形场被预测为:

其中,C2F‑DFE为粗细粒度变形场估计, 和Iir分别表示伪红外图像和源红外图像,表示伪红外图像和源红外图像经过最后一层可变形卷积后得到的特征图,表示伪红外图像和源红外图像经过第一层可变形卷积后得到的特征图,Mc1表示第一层粗粒度变形场估计模块,Mc2表示第二层粗粒度变形场估计模块,MR1表示第一层细粒度变形场模块,MR2表示第二层细粒度变形场模块, 表示经过第一层粗粒度变形场模块得到的预测结果, 表示经过第一层细粒度变形场模块得到的预测结果, 表示经过第二层粗粒度变形场模块得到的预测结果, 表示经过第二层细粒度变形场模块得到的预测结果, 表示将预测结果特征图进行拼接;

S4、构建重采样器,重采样器利用步骤S3得到的第二层细粒度变形场将源红外图像进行重采样,得到与伪红外图像精细配准的真实红外图像,计算公式如下:其中Iir表示源红外图像,‑φ表示得到的第二层细粒度变形场估计,表示重采样操作,表示配准后的红外图像;

S5、基于无监督图像配准构建双向相似损失函数。

2.根据权利要求1所述的一种联合可变形卷积与模态转换的图像配准方法,其特征在于,步骤S5中,所述基于无监督图像配准构建双向相似损失函数包括:采用双向相似损失约束特征空间中真实红外图像与伪红外图像的配准,计算公式如下:为正向损失函数,约束生成的配准后的红外图像 和伪红外图像的相似性; 为逆向损失函数,约束源红外图像和通过反转变形场变形后的伪红外图像之间的相似性;λrev表示逆向损失函数权重,来平衡正向损失和逆向损失的大小; 表示双向约束损失函数,||·||2表示二范数,||·||1表示一范数;

为保证变形场的平滑,定义平滑损失函数为:

其中,Lsmooth表示平滑损失函数, 表示拉普拉斯梯度算子,φ表示反向变形场估计;

然后,计算总体的配准损失函数为:

Lreg=Lsim+λsmLsmooth

其中,Lsim表示双向相似损失函数,λsm表示平滑损失函数权重,Lreg表示总体的配准损失函数。

3.根据权利要求2所述的一种联合可变形卷积与模态转换的图像配准方法,其特征在于,逆向损失函数权重λrev=0.2,平滑损失函数权重λsm=10。