1.一种基于深度学习的稀疏颜色传感器图像重建方法,其特征在于,按照以下步骤具体实施:步骤1、构建亮度恢复网络,根据raw图像中占96%的全色像素WS恢复出100%的全色像素图像WR,具体过程是,利用raw图像中占96%空间的全色像素WS计算出全部空间上的全色像素图像WR,亮度恢复网络的结构依次为:全色像素WS作为输入→第一个卷积层Conv1→第二个卷积层Conv2→第三个卷积层Conv3→第四个卷积层Conv4→第五个卷积层Conv5→第六个卷积层Conv6→输出全色像素图像WR,其中Conv1、Conv2和Conv3的特征映射图的总数均为64个,Conv4和Conv5的特征映射图的总数均为128个;前五个卷积层的卷积核大小均为3×3,卷积步长均为1,并通过ReLU函数激活;网络的最后一层卷积层的尺寸为H×W×1,其中H和W分别代表输入图像的高度和宽度;输出层通过双曲正切函数激活;在恢复100%的全色像素图像WR的同时,采用Canny边缘H×W×1提取算法提取出边缘特征ER作为低级特征,表达式为ER∈[0,1] ,亮度恢复网络的每一层均使用批量归一化函数进行归一化处理,在训练亮度恢复网络时,采用将L1+SSIM损失函数组合在一起作为最终的网络训练损失函数,表达式为:式(1)中,L(WG,WR)表示真实图像的全色像素图像WG和恢复出来的全色像素图像WR之间的损失;
p表示像素,P表示整个图像块,N表示图像块中像
素的总数,WG(p)和WR(p)分别是WG和WR的像素值;
其中, 和 分别表示WG和WR的平均值, 和 是标准偏差, 是真实图像的全色像素图像WG和恢复出来的全色像素图像WR的协方差,C1和C2是常量,l是亮度分量,c是对比度分量,s是结构分量;
步骤2、构建生成对抗网络WGAN,具体过程是,
构建一个颜色重建网络CRN并设置该网络的每层参数,作为生成对抗网络WGAN中的生成器,该网络的输入数据包含:步骤1获得的100%全色像素图像WR、边缘特征ER、以及raw图像中的占4%空间的稀疏RGB像素CS,网络输出为重建的RGB彩色图像IR,颜色重建过程采用对抗训练,颜色重建网络CRN作为生成器,对抗模块作为判别器,颜色重建网络CRN的结构依次为:集合K={WR,CS,ER}作为输入→第一个卷积块ConvB1→第一个密集‑过渡块Dense1‑Tran1→第二个密集‑过渡块Dense2‑Tran2→第三个密集‑过渡块Dense3‑Tran3→第二个卷积块ConvB2→第三个卷积块ConvB3→第四个卷积块ConvB4→第五个卷积块ConvB5→第六个卷积块ConvB6→第七个卷积块ConvB7→第八个卷积块ConvB8→输出RGB彩色图像IR,其中,Dense1‑Tran1与ConvB7相连,Dense2‑Tran2与ConvB6相连,Dense3‑Tran3与ConvB5相连,ConvB1的特征映射图的总数为15个,卷积核大小为3×3,卷积步长为1,通过ReLU函数激活;
ConvB1首先处理全色像素图像WR和稀疏RGB像素CS,然后将边缘特征图像PR与ConvB1的输出连接在一起,因此,输出尺寸变为H×W×16,其中H是图像高度,W是图像宽度;ConvB1的串联输出以前馈方式馈入Dense1,通过Tran1连接到Dense2,Dense2通过Tran2连接到Dense3;
Dense1、Dense2、Dense3块的输出尺寸分别为64、128和256,卷积核大小均为3×3,卷积步长均为1;此外,Dense1、Dense2、Dense3块中的每一层都通过批处理归一化函数进行归一化,并通过ReLU函数激活;使用g=8的增长率来增加每次出现密集块时的卷积层数;
Tran1、Tran2、Tran3块由卷积层和下采样层组成,每个卷积层的卷积核大小均为3×3,卷积步长均为1,并通过ReLU函数激活;下采样层卷积核大小均为3×3,卷积步长均为2;
ConvB2块有两个卷积层;ConvB3块包含五个扩张卷积层,其dilation=2;ConvB4块具有单个卷积层;ConvB2、ConvB3、ConvB4块的每一层的卷积核的核大小为3×3,步长大小为
1,深度为512,通过批量归一化函数进行归一化,并通过ReLU函数进行激活;
ConvB5、ConvB6、ConvB7块用作上采样块,输出尺寸分别为256、128、64,每个块都由一个卷积核大小为2×2上采样卷积层和另一个卷积核大小为3×3的卷积层组成,使用批量归一化函数进行归一化,并通过ReLU函数激活;
ConvB8块的输出尺寸为H×W×3,使用tanh函数激活重建的RGB彩色图像IR;
构建一个对抗模块并设置该网络的每层参数,将其作为生成对抗网络WGAN中的判别器,用来判断颜色重建网络CRN重建的RGB彩色图像IR与原始图像IG相比是否为真实样本;
步骤3、更新对抗模块参数;
步骤4,更新颜色重建网络参数;
步骤5,建立非线性映射关系,
训练对抗模块和颜色重建网络,直到对抗模块的损失值达到最大,颜色重建网络的损失值达到最小;保存训练好的颜色重建网络的结构及各层参数,得到建立好的非线性映射关系;
步骤6,获取RGB彩色图像,
将测试数据输入到训练好的颜色重建网络中,得到RGB彩色图像。
2.根据权利要求1所述的基于深度学习的稀疏颜色传感器图像重建方法,其特征在于:所述的步骤3中,具体过程是,
从输入训练样本集中随机选取一个输入训练样本,将所选取的输入训练样本输入到颜色重建网络中,将颜色重建网络的输出矩阵作为生成样本;
从输出训练样本集中选取一个与输入训练样本对应的输出训练样本;
将生成样本与输出训练样本输入到生成对抗网络GAN的对抗模块中;
利用判别器的损失函数,计算生成对抗网络GAN中的对抗模块的损失值,用该损失值更新对抗模块中的每一层参数;判别器的损失函数表达式为:式(2)中,LwGAN(D)表示所述判别器的损失函数,IG是原始图像,Pr表示真实样本的数据分布,Pg表示生成样本的数据分布,E表示符合某种分布的输入通过函数处理后得到的输出期望,D(IG)表示对真实的样本进行判别。
3.根据权利要求1所述的基于深度学习的稀疏颜色传感器图像重建方法,其特征在于:所述的步骤4中,具体过程是,
计算生成器颜色重建网络的内容损失值,表达式如下:
式(3)中,LCRN(IG,IR)表示原始图像IG和颜色重建网络CRN输出的RGB彩色图像IR之间的损失;
p表示像素,P表示整个图像块,IG(p)和IR(p)分别
是IG和IR的像素值,N表示图像块中像素的总数;
其中, 表示IG的平均值, 表示IR的平均值, 和 是标准偏差, 是两个图像的协方差,C1和C2是常量,l是亮度分量,c是对比度分量,s是结构分量,计算生成器颜色重建网络的对抗损失值,表达式如下:式(4)中,LwGAN(G)表示所述生成器的损失函数,IG是原始图像,Pg表示生成样本的数据分布,E表示符合某种分布的输入通过函数处理后得到的输出期望,D(IG)表示对真实的样本进行判别;
将颜色重建网络的内容损失值和对抗损失值相加,得到颜色重建网络的总损失值,表达式如下:*
G=LwGAN(G,D)+λLCRN(G) (5)用总损失值更新颜色重建网络中的每一层参数。