1.一种RGB-D图像协同修复方法,其特征在于,包括:
S1.收集RGB图像、深度图像和对应的边缘图像作为图像数据集;
S2.构建RGB-D协同修复模型,利用图像数据集对RGB-D协同修复模型进行训练,得到训练好的RGB-D协同修复模型;
所述RGB-D协同修复模型包括生成器和三个判别器;
所述生成器包括依次连接的特征提取模块、FFC DenseLight模块和金字塔模块,用于修复RGB图像、深度图像和边缘图像,所述金字塔模块的输出端连接判别器的输入端;
所述判别器分别为RGB图像判别器、深度图像判别器和边缘图像判别器,用于对输入图像进行打分并回传调整生成器的参数;
所述特征提取模块包括用于提取RGB图像特征的第一分支、用于提取深度图像特征的第二分支和用于提取边缘图像特征的第三分支;
所述第一分支和第二分支分别包括一个核大小为3的普通卷积,所述第三分支包括一个扩张因子为2的扩张卷积;
将提取得到的RGB图像特征、深度图像特征和边缘图像特征相加融合,作为FFCDenseLight模块的输入;
所述FFC DenseLight模块包括n个依次连接的FFC DenseNet块和n个依次连接的FFCDenseLightNet块,所述FFC DenseLightNet块包括局部信息提取路径和全局信息提取路径,将提取得到的局部信息和全局信息相加融合后,作为金字塔模块的输入;
S3.将待修复的RGB图像、深度图像和对应的边缘图像输入训练好的RGB-D协同修复模型,得到协同修复后的RGB图像和深度图像。
2.根据权利要求1所述的RGB-D图像协同修复方法,其特征在于,还包括:对数据集中的RGB图像I、深度图像D 和边缘图像E进行掩码,公式如下:其中,、、分别表示掩码操作后的RGB图像、深度图像和边缘图像,M表示掩膜,M。
3.根据权利要求1所述的RGB-D图像协同修复方法,其特征在于,所述金字塔模块为依次连接的三层结构,顶层结构输出小尺寸RGB图像和小尺寸深度图像,作为中层结构的辅助信息;所述中层结构输出中尺寸RGB图像和中尺寸深度图像,作为底层结构的辅助信息;所述底层结构输出大尺寸RGB图像和大尺寸深度图像,作为协同修复后的RGB图像和深度图像。
4.根据权利要求3所述的RGB-D图像协同修复方法,其特征在于,在步骤S2中,还包括构建RGB图像的感知损失,步骤包括:将图像数据集中的RGB图像和生成器输出的修复后的RGB图像输入预训练的VGG网络,将VGG网络中每层提取到的特征损失相加,得到RGB图像的感知损失,的表达式如下:其中,表示期望,Ni表示VGG网络中用于特征比对的层数,表示生成器输出的修复后的RGB图像,表示RGB图像的真值,表示在VGG网络第i层提取的图片特征。
5.根据权利要求4所述的RGB-D图像协同修复方法,其特征在于,在步骤S2中,还包括构建深度图像的特征匹配损失,的表达式如下:其中,表示深度图像鉴别器的层数,表示生成器输出的修复后的深度图像,表示深度图像的实际值,表示在深度图像鉴别器第j层提取的特征图像。
6.根据权利要求5所述的RGB-D图像协同修复方法,其特征在于,在步骤S2中,还包括对三个判别器进行训练,具体包括构建三个判别器的损失函数,令收敛;的计算公式如下:其中,DIS表示判别器,。
7.根据权利要求6所述的RGB-D图像协同修复方法,其特征在于,在步骤S2中,构建RGB-D协同修复模型的总损失函数,对RGB-D协同修复模型进行训练,直到收敛;的表达式如下:其中,表示判别器计算得到的生成器输出图像与输入图像之间的损失,表示RGB图像的感知损失,表示深度图像的特征匹配损失,表示判别器的损失函数;、、和为超参数;
的计算公式如下:
其中,和为超参数。