欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020102703613
申请人: 西安理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-04-28
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度学习的稀疏颜色传感器图像重建方法,其特征在于,按照以下步骤具体实施:步骤1、构建亮度恢复网络,根据raw图像中占96%的全色像素WS恢复出100%的全色像素图像WR,具体过程是,利用raw图像中占96%空间的全色像素WS计算出全部空间上的全色像素图像WR,亮度恢复网络的结构依次为:全色像素WS作为输入→第一个卷积层Conv1→第二个卷积层Conv2→第三个卷积层Conv3→第四个卷积层Conv4→第五个卷积层Conv5→第六个卷积层Conv6→输出全色像素图像WR,其中Conv1、Conv2和Conv3的特征映射图的总数均为64个,Conv4和Conv5的特征映射图的总数均为128个;前五个卷积层的卷积核大小均为3×3,卷积步长均为1,并通过ReLU函数激活;网络的最后一层卷积层的尺寸为H×W×1,其中H和W分别代表输入图像的高度和宽度;输出层通过双曲正切函数激活;在恢复100%的全色像素图像WR的同时,采用Canny边缘H×W×1提取算法提取出边缘特征ER作为低级特征,表达式为ER∈[0,1] ,亮度恢复网络的每一层均使用批量归一化函数进行归一化处理,在训练亮度恢复网络时,采用将L1+SSIM损失函数组合在一起作为最终的网络训练损失函数,表达式为:式(1)中,L(WG,WR)表示真实图像的全色像素图像WG和恢复出来的全色像素图像WR之间的损失;

p表示像素,P表示整个图像块,N表示图像块中像

素的总数,WG(p)和WR(p)分别是WG和WR的像素值;

其中, 和 分别表示WG和WR的平均值, 和 是标准偏差, 是真实图像的全色像素图像WG和恢复出来的全色像素图像WR的协方差,C1和C2是常量,l是亮度分量,c是对比度分量,s是结构分量;

步骤2、构建生成对抗网络WGAN,具体过程是,

构建一个颜色重建网络CRN并设置该网络的每层参数,作为生成对抗网络WGAN中的生成器,该网络的输入数据包含:步骤1获得的100%全色像素图像WR、边缘特征ER、以及raw图像中的占4%空间的稀疏RGB像素CS,网络输出为重建的RGB彩色图像IR,颜色重建过程采用对抗训练,颜色重建网络CRN作为生成器,对抗模块作为判别器,颜色重建网络CRN的结构依次为:集合K={WR,CS,ER}作为输入→第一个卷积块ConvB1→第一个密集‑过渡块Dense1‑Tran1→第二个密集‑过渡块Dense2‑Tran2→第三个密集‑过渡块Dense3‑Tran3→第二个卷积块ConvB2→第三个卷积块ConvB3→第四个卷积块ConvB4→第五个卷积块ConvB5→第六个卷积块ConvB6→第七个卷积块ConvB7→第八个卷积块ConvB8→输出RGB彩色图像IR,其中,Dense1‑Tran1与ConvB7相连,Dense2‑Tran2与ConvB6相连,Dense3‑Tran3与ConvB5相连,ConvB1的特征映射图的总数为15个,卷积核大小为3×3,卷积步长为1,通过ReLU函数激活;

ConvB1首先处理全色像素图像WR和稀疏RGB像素CS,然后将边缘特征图像PR与ConvB1的输出连接在一起,因此,输出尺寸变为H×W×16,其中H是图像高度,W是图像宽度;ConvB1的串联输出以前馈方式馈入Dense1,通过Tran1连接到Dense2,Dense2通过Tran2连接到Dense3;

Dense1、Dense2、Dense3块的输出尺寸分别为64、128和256,卷积核大小均为3×3,卷积步长均为1;此外,Dense1、Dense2、Dense3块中的每一层都通过批处理归一化函数进行归一化,并通过ReLU函数激活;使用g=8的增长率来增加每次出现密集块时的卷积层数;

Tran1、Tran2、Tran3块由卷积层和下采样层组成,每个卷积层的卷积核大小均为3×3,卷积步长均为1,并通过ReLU函数激活;下采样层卷积核大小均为3×3,卷积步长均为2;

ConvB2块有两个卷积层;ConvB3块包含五个扩张卷积层,其dilation=2;ConvB4块具有单个卷积层;ConvB2、ConvB3、ConvB4块的每一层的卷积核的核大小为3×3,步长大小为

1,深度为512,通过批量归一化函数进行归一化,并通过ReLU函数进行激活;

ConvB5、ConvB6、ConvB7块用作上采样块,输出尺寸分别为256、128、64,每个块都由一个卷积核大小为2×2上采样卷积层和另一个卷积核大小为3×3的卷积层组成,使用批量归一化函数进行归一化,并通过ReLU函数激活;

ConvB8块的输出尺寸为H×W×3,使用tanh函数激活重建的RGB彩色图像IR;

构建一个对抗模块并设置该网络的每层参数,将其作为生成对抗网络WGAN中的判别器,用来判断颜色重建网络CRN重建的RGB彩色图像IR与原始图像IG相比是否为真实样本;

步骤3、更新对抗模块参数;

步骤4,更新颜色重建网络参数;

步骤5,建立非线性映射关系,

训练对抗模块和颜色重建网络,直到对抗模块的损失值达到最大,颜色重建网络的损失值达到最小;保存训练好的颜色重建网络的结构及各层参数,得到建立好的非线性映射关系;

步骤6,获取RGB彩色图像,

将测试数据输入到训练好的颜色重建网络中,得到RGB彩色图像。

2.根据权利要求1所述的基于深度学习的稀疏颜色传感器图像重建方法,其特征在于:所述的步骤3中,具体过程是,

从输入训练样本集中随机选取一个输入训练样本,将所选取的输入训练样本输入到颜色重建网络中,将颜色重建网络的输出矩阵作为生成样本;

从输出训练样本集中选取一个与输入训练样本对应的输出训练样本;

将生成样本与输出训练样本输入到生成对抗网络GAN的对抗模块中;

利用判别器的损失函数,计算生成对抗网络GAN中的对抗模块的损失值,用该损失值更新对抗模块中的每一层参数;判别器的损失函数表达式为:式(2)中,LwGAN(D)表示所述判别器的损失函数,IG是原始图像,Pr表示真实样本的数据分布,Pg表示生成样本的数据分布,E表示符合某种分布的输入通过函数处理后得到的输出期望,D(IG)表示对真实的样本进行判别。

3.根据权利要求1所述的基于深度学习的稀疏颜色传感器图像重建方法,其特征在于:所述的步骤4中,具体过程是,

计算生成器颜色重建网络的内容损失值,表达式如下:

式(3)中,LCRN(IG,IR)表示原始图像IG和颜色重建网络CRN输出的RGB彩色图像IR之间的损失;

p表示像素,P表示整个图像块,IG(p)和IR(p)分别

是IG和IR的像素值,N表示图像块中像素的总数;

其中, 表示IG的平均值, 表示IR的平均值, 和 是标准偏差, 是两个图像的协方差,C1和C2是常量,l是亮度分量,c是对比度分量,s是结构分量,计算生成器颜色重建网络的对抗损失值,表达式如下:式(4)中,LwGAN(G)表示所述生成器的损失函数,IG是原始图像,Pg表示生成样本的数据分布,E表示符合某种分布的输入通过函数处理后得到的输出期望,D(IG)表示对真实的样本进行判别;

将颜色重建网络的内容损失值和对抗损失值相加,得到颜色重建网络的总损失值,表达式如下:*

G=LwGAN(G,D)+λLCRN(G)                (5)用总损失值更新颜色重建网络中的每一层参数。