1.一种基于运动友好的多对焦融合网络的图像融合方法,其特征在于,包括以下步骤:步骤S1:使用相机拍摄两张部分对焦的图像,其中一张图像前景对焦、背景模糊,另外一张图像前景模糊、背景对焦;
步骤S2:利用特征对齐模块将图像的中间特征对齐,判断两张图像中相机是否有移动,如果是,进入步骤S3,如果否,进入步骤S3或步骤S4;判断两张图像中物体是否是移动的,如果是,进入步骤S3,如果否,进入步骤S3或步骤S4;
步骤S3:使用运动友好的多对焦融合网络MTMFNet对输入的两张照片进行融合,根据运动友好的多对焦融合网络MTMFNet直接输出两张融合后的照片,与输入图像一一对应;
步骤S4:使用融合网络对输入的两张照片进行融合,并输出两张融合后的照片,与输入图像一一对应。
2.根据权利要求1所述的一种基于运动友好的多对焦融合网络的图像融合方法,其特征在于,所述特征对齐模块包括反卷积层。
3.根据权利要求1所述的一种基于运动友好的多对焦融合网络的图像融合方法,其特征在于,所述步骤S3中运动友好的多对焦融合网络MTMFNet的包括:所述运动友好的多对焦融合网络MTMFNet包括数据集;
所述数据集包括一个DAVIS视频数据集和一个Cityscapes街景图像数据集。
4.根据权利要求3所述的一种基于运动友好的多对焦融合网络的图像融合方法,其特征在于,所述数据集包括:所述数据集选取DAVIS视频数据集中的运动对象作为图像前景,选取Cityscapes中的街景图像作为图像背景;
图像前景选择了随机方向、随机幅度的非刚性运动对象,同时对图像背景做随机方向、随机幅度的非刚性运动的变换。
5.根据权利要求1所述的一种基于运动友好的多对焦融合网络的图像融合方法,其特征在于,所述步骤S3中运动友好的多对焦融合网络MTMFNet对输入的两张照片进行融合的计算方法包括:在训练运动友好的多对焦融合网络MTMFNet时,使用的损失函数为:loss=losss+0.1×lossf;
其中,
其中,losss表示空间域损失,lossf表示频率域损失。I_1p表示输入图像1对应的输出图像,I_1g表示输入图像1对应的地面真实图像。F_1p表示输入图像1对应的输出图像的傅里叶变换,F_1g表示输入图像1对应的地面真实图像的傅里叶变换;I_2p表示输入图像2对应的输出图像,I_2g表示输入图像2对应的地面真实图像。F_2p表示输入图像2对应的输出图像的傅里叶变换,F_2g表示输入图像2对应的地面真实图像的傅里叶变换。H和W分别表示输入图像的高度和宽度,i表示RGB图像的通道索引。
6.根据权利要求1所述的一种基于运动友好的多对焦融合网络的图像融合方法,其特征在于,所述步骤S4中的融合网络包括多聚焦图像融合网络。