1.一种基于卷积神经网络的光场图像去噪方法,其特征在于包括以下步骤:
步骤一:选取Num幅空间分辨率为W×H且角度分辨率U×V的噪声光场图像及对应的Num幅参考无噪光场图像;然后将每幅噪声光场图像重组为U×V幅单通道的宽度为W且高度为H的噪声子孔径图像,并将每幅噪声光场图像重组为一幅单通道的宽度为U×W且高度为V×H的噪声微透镜阵列图像;再将Num幅噪声光场图像、对应的Num幅参考无噪光场图像、对应的Num×U×V幅噪声子孔径图像、对应的Num幅噪声微透镜阵列图像构成训练集;其中,Num>
1;
步骤二:构建一个卷积神经网络,作为空间角度联合编码网络:空间角度联合编码网络包括用于提取光场图像空间特征的初始堆栈空间卷积块、用于提取光场图像角度特征的初始角度卷积块、用于联合处理光场图像空间特征和角度特征并提高特征表达能力的空间角度联合编码器组、用于融合光场图像空间特征和角度特征的空间角度特征融合器组、用于重建目标去噪光场图像的解码器,空间角度联合编码器组由依次连接的第一空间角度联合编码器、第二空间角度联合编码器和第三空间角度联合编码器构成,空间角度特征融合器组由第一空间角度特征融合器、第二空间角度特征融合器和第三空间角度特征融合器构成,解码器由依次连接的第一堆栈空间卷积块、第二堆栈空间卷积块和第三堆栈空间卷积块构成;
对于初始堆栈空间卷积块,其由U×V个第一卷积层组成,每个第一卷积层的输入端接收一幅单通道的宽度为W且高度为H的噪声子孔径图像,每个第一卷积层的输出端输出32幅宽度为W且高度为H的空间特征图,将第i个第一卷积层的输出端输出的所有空间特征图构成的集合记为Fs0,i,将初始堆栈空间卷积块输出的所有空间特征图构成的集合记为FS0,FS0={Fs0,1,…,Fs0,U×V};其中,1≤i≤U×V,Fs0,1表示第1个第一卷积层的输出端输出的所有空间特征图构成的集合,Fs0,U×V表示第U×V个第一卷积层的输出端输出的所有空间特征图构成的集合,U×V个第一卷积层的卷积核的尺寸均为3×3、卷积步长均为1、输入通道数均为
1、输出通道数均为32、采用的激活函数均为“Leaky ReLU”,U×V个第一卷积层共享卷积核的权重参数;
对于初始角度卷积块,其由1个第二卷积层组成,第二卷积层的输入端接收一幅单通道的宽度为U×W且高度为V×H的噪声微透镜阵列图像,第二卷积层的输出端输出32幅宽度为W且高度为H的角度特征图,将第二卷积层的输出端输出的所有角度特征图构成的集合记为FA0;其中,第二卷积层的卷积核的尺寸为U×V、水平卷积步长为U、垂直卷积步长为V、输入通道数为1、输出通道数为32、采用的激活函数为“Leaky ReLU”;
对于空间角度联合编码器组,第一空间角度联合编码器的第一输入端接收FS0中的所有空间特征图,第一空间角度联合编码器的第二输入端接收FA0中的所有角度特征图,第一空间角度联合编码器的第一输出端输出U×V组且每组32幅宽度为W且高度为H的空间特征图,并将第一输出端输出的所有空间特征图构成的集合记为FS1,FS1={Fs1,1,…,Fs1,U×V},第一空间角度联合编码器的第二输出端输出32幅宽度为W且高度为H的角度特征图,将第二输出端输出的所有角度特征图构成的集合记为FA1;第二空间角度联合编码器的第一输入端接收FS1中的所有空间特征图,第二空间角度联合编码器的第二输入端接收FA1中的所有角度特征图,第二空间角度联合编码器的第一输出端输出U×V组且每组32幅宽度为W且高度为H的空间特征图,并将第一输出端输出的所有空间特征图构成的集合记为FS2,FS2={Fs2,1,…,Fs2,U×V},第二空间角度联合编码器的第二输出端输出32幅宽度为W且高度为H的角度特征图,将第二输出端输出的所有角度特征图构成的集合记为FA2;第三空间角度联合编码器的第一输入端接收FS2中的所有空间特征图,第三空间角度联合编码器的第二输入端接收FA2中的所有角度特征图,第三空间角度联合编码器的第一输出端输出U×V组且每组32幅宽度为W且高度为H的空间特征图,并将第一输出端输出的所有空间特征图构成的集合记为FS3,FS3={Fs3,1,…,Fs3,U×V},第三空间角度联合编码器的第二输出端输出32幅宽度为W且高度为H的角度特征图,将第二输出端输出的所有角度特征图构成的集合记为FA3;其中,Fs1,1表示第一空间角度联合编码器的第一输出端输出的第1组空间特征图构成的集合,Fs1,U×V表示第一空间角度联合编码器的第一输出端输出的第U×V组空间特征图构成的集合,Fs2,1表示第二空间角度联合编码器的第一输出端输出的第1组空间特征图构成的集合,Fs2,U×V表示第二空间角度联合编码器的第一输出端输出的第U×V组空间特征图构成的集合,Fs3,1表示第三空间角度联合编码器的第一输出端输出的第1组空间特征图构成的集合,Fs3,U×V表示第三空间角度联合编码器的第一输出端输出的第U×V组空间特征图构成的集合;
对于空间角度特征融合器组,第一空间角度特征融合器的第一输入端接收FS1中的所有空间特征图,第一空间角度特征融合器的第二输入端接收FA1中的所有角度特征图,第一空间角度特征融合器的输出端输出U×V组且每组32幅宽度为W且高度为H的融合特征图,将第一空间角度特征融合器输出的所有融合特征图构成的集合记为FFused1,FFused1={Ffused1,1,…,Ffused1,U×V};第二空间角度特征融合器的第一输入端接收FS2中的所有空间特征图,第二空间角度特征融合器的第二输入端接收FA2中的所有角度特征图,第二空间角度特征融合器的输出端输出U×V组且每组32幅宽度为W且高度为H的融合特征图,将第二空间角度特征融合器输出的所有融合特征图构成的集合记为FFused2,FFused2={Ffused2,1,…,Ffused2,U×V};第三空间角度特征融合器的第一输入端接收FS3中的所有空间特征图,第三空间角度特征融合器的第二输入端接收FA3中的所有角度特征图,第三空间角度特征融合器的输出端输出U×V组且每组32幅宽度为W且高度为H的融合特征图,将第三空间角度特征融合器输出的所有融合特征图构成的集合记为FFused3,FFused3={Ffused3,1,…,Ffused3,U×V};其中,Ffused1,1表示第一空间角度特征融合器的输出端输出的第1组融合特征图构成的集合,Ffused1,U×V表示第一空间角度特征融合器的输出端输出的第U×V组融合特征图构成的集合,Ffused2,1表示第二空间角度特征融合器的输出端输出的第1组融合特征图构成的集合,Ffused2,U×V表示第二空间角度特征融合器的输出端输出的第U×V组融合特征图构成的集合,Ffused3,1表示第三空间角度特征融合器的输出端输出的第1组融合特征图构成的集合,Ffused3,U×V表示第三空间角度特征融合器的输出端输出的第U×V组融合特征图构成的集合;
对FFused1中的所有融合特征图、FFused2中的所有融合特征图、FFused3中的所有融合特征图进行级联操作,将级联操作后得到的U×V组且每组96幅宽度为W且高度为H的融合特征图构成的集合记为FCatF,FCatF={FcatF,1,…,FcatF,U×V};其中,FcatF,1表示级联操作后得到的第1组融合特征图构成的集合,FcatF,U×V表示级联操作后得到的第U×V组融合特征图构成的集合;
对于解码器,第一堆栈空间卷积块由U×V个第三卷积层组成,每个第三卷积层的输入端接收级联操作后得到的对应的一组融合特征图,即第i个第三卷积层的输入端接收级联操作后得到的第i组融合特征图构成的集合FcatF,i中的所有融合特征图,每个第三卷积层的输出端输出64幅宽度为W且高度为H的解码特征图,将第i个第三卷积层的输出端输出的所有解码特征图构成的集合记为Fd1,i,将第一堆栈空间卷积块输出的所有解码特征图构成的集合记为FD1,FD1={Fd1,1,…,Fd1,U×V};第二堆栈空间卷积块由U×V个第四卷积层组成,每个第四卷积层的输入端接收FD1中对应的一组解码特征图,即第i个第四卷积层的输入端接收FD1中的Fd1,i中的所有解码特征图,每个第四卷积层的输出端输出32幅宽度为W且高度为H的解码特征图,将第i个第四卷积层的输出端输出的所有解码特征图构成的集合记为Fd2,i,将第二堆栈空间卷积块输出的所有解码特征图构成的集合记为FD2,FD2={Fd2,1,…,Fd2,U×V};第三堆栈空间卷积块由U×V个第五卷积层组成,每个第五卷积层的输入端接收FD2中对应的一组解码特征图,即第i个第五卷积层的输入端接收FD2中的Fd2,i中的所有解码特征图,每个第五卷积层的输出端输出一幅单通道的宽度为W且高度为H的重建去噪子孔径图像,将第三堆栈空间卷积块输出的U×V幅重建去噪子孔径图像重组为重建去噪光场图像;其中,Fd1,1表示第1个第三卷积层的输出端输出的所有解码特征图构成的集合,Fd1,U×V表示第U×V个第三卷积层的输出端输出的所有解码特征图构成的集合,Fd2,1表示第1个第四卷积层的输出端输出的所有解码特征图构成的集合,Fd2,U×V表示第U×V个第四卷积层的输出端输出的所有解码特征图构成的集合,U×V个第三卷积层的卷积核的尺寸均为3×3、卷积步长均为1、输入通道数均为96、输出通道数均为64、采用的激活函数均为“Leaky ReLU”,U×V个第三卷积层共享卷积核的权重参数,U×V个第四卷积层的卷积核的尺寸均为3×3、卷积步长均为1、输入通道数均为64、输出通道数均为32、采用的激活函数均为“Leaky ReLU”,U×V个第四卷积层共享卷积核的权重参数,U×V个第五卷积层的卷积核的尺寸均为1×1、卷积步长均为1、输入通道数均为32、输出通道数均为1、不采用激活函数,U×V个第五卷积层共享卷积核的权重参数;
步骤三:将训练集中的每幅参考无噪光场图像作为标签图像;然后将训练集中的所有噪声光场图像对应的噪声子孔径图像和对应的噪声微透镜阵列图像输入到空间角度联合编码网络中进行训练,得到训练集中的每幅噪声光场图像对应的重建去噪光场图像;在训练结束后得到空间角度联合编码网络中的各卷积核的最佳权重参数,即得到训练有素的空间角度联合编码网络模型;
步骤四:任意选取一幅噪声光场图像作为测试图像;然后将测试图像重组为多幅单通道的噪声子孔径图像,并将测试图像重组为一幅单通道的噪声微透镜阵列图像;再将测试图像对应的多幅单通道的噪声子孔径图像和对应的一幅单通道的噪声微透镜阵列图像输入到空间角度联合编码网络模型中,测试得到测试图像对应的重建去噪光场图像。
2.根据权利要求1所述的一种基于卷积神经网络的光场图像去噪方法,其特征在于所述的步骤二中,第一空间角度联合编码器、第二空间角度联合编码器和第三空间角度联合编码器的结构相同,其由第四堆栈空间卷积块、第一角度卷积块和1×1卷积层组成,第四堆栈空间卷积块由U×V个第六卷积层组成,第一角度卷积块由1个第七卷积层组成;
对于第一空间角度联合编码器,对FA0中的所有角度特征图复制U×V倍,并对U×V倍的角度特征图与FS0中的U×V组空间特征图进行级联操作,将级联操作后得到的U×V组且每组
64幅宽度为W且高度为H的特征图构成的集合记为FCat,SA0,FCat,SA0={Fcat,SA0,1,…,Fcat,SA0,U×V},每个第六卷积层的输入端接收级联操作后得到的对应的一组特征图,即第i个第六卷积层的输入端接收级联操作后得到的第i组特征图构成的集合Fcat,SA0,i中的所有特征图,每个第六卷积层的输出端输出32幅宽度为W且高度为H的空间特征图,第i个第六卷积层的输出端输出的所有空间特征图构成的集合为Fs1,i,第四堆栈空间卷积块输出的所有空间特征图构成的集合为FS1;对FS0中的所有空间特征图进行重组,将重组后得到的32幅宽度为U×W且高度为V×H的特征图构成的集合记为Ftemp,S0,第七卷积层的输入端接收Ftemp,S0中的所有特征图,第七卷积层的输出端输出32幅宽度为W且高度为H的临时角度特征图,将第七卷积层的输出端输出的所有临时角度特征图构成的集合记为Ftemp,A1,对Ftemp,A1中的所有临时角度特征图和FA0中的所有角度特征图进行级联操作,将级联操作后得到的64幅宽度为W且高度为H的特征图构成的集合记为FCat,A10,1×1卷积层的输入端接收FCat,A10中的所有特征图,1×1卷积层的输出端输出32幅宽度为W且高度为H的角度特征图,1×1卷积层的输出端输出的所有角度特征图构成的集合为FA1;其中,Fcat,SA0,1表示对U×V倍的角度特征图与FS0中的U×V组空间特征图进行级联操作后得到的第1组特征图构成的集合,Fcat,SA0,U×V表示对U×V倍的角度特征图与FS0中的U×V组空间特征图进行级联操作后得到的第U×V组特征图构成的集合;
对于第二空间角度联合编码器,对FA1中的所有角度特征图复制U×V倍,并对U×V倍的角度特征图与FS1中的U×V组空间特征图进行级联操作,将级联操作后得到的U×V组且每组
64幅宽度为W且高度为H的特征图构成的集合记为FCat,SA1,FCat,SA1={Fcat,SA1,1,…,Fcat,SA1,U×V},每个第六卷积层的输入端接收级联操作后得到的对应的一组特征图,即第i个第六卷积层的输入端接收级联操作后得到的第i组特征图构成的集合Fcat,SA1,i中的所有特征图,每个第六卷积层的输出端输出32幅宽度为W且高度为H的空间特征图,第i个第六卷积层的输出端输出的所有空间特征图构成的集合为Fs2,i,第四堆栈空间卷积块输出的所有空间特征图构成的集合为FS2;对FS1中的所有空间特征图进行重组,将重组后得到的32幅宽度为U×W且高度为V×H的特征图构成的集合记为Ftemp,S1,第七卷积层的输入端接收Ftemp,S1中的所有特征图,第七卷积层的输出端输出32幅宽度为W且高度为H的临时角度特征图,将第七卷积层的输出端输出的所有临时角度特征图构成的集合记为Ftemp,A2,对Ftemp,A2中的所有临时角度特征图和FA1中的所有角度特征图进行级联操作,将级联操作后得到的64幅宽度为W且高度为H的特征图构成的集合记为FCat,A21,1×1卷积层的输入端接收FCat,A21中的所有特征图,1×1卷积层的输出端输出32幅宽度为W且高度为H的角度特征图,1×1卷积层的输出端输出的所有角度特征图构成的集合为FA2;其中,Fcat,SA1,1表示对U×V倍的角度特征图与FS1中的U×V组空间特征图进行级联操作后得到的第1组特征图构成的集合,Fcat,SA1,U×V表示对U×V倍的角度特征图与FS1中的U×V组空间特征图进行级联操作后得到的第U×V组特征图构成的集合;
对于第三空间角度联合编码器,对FA2中的所有角度特征图复制U×V倍,并对U×V倍的角度特征图与FS2中的U×V组空间特征图进行级联操作,将级联操作后得到的U×V组且每组
64幅宽度为W且高度为H的特征图构成的集合记为FCat,SA2,FCat,SA2={Fcat,SA2,1,…,Fcat,SA2,U×V},每个第六卷积层的输入端接收级联操作后得到的对应的一组特征图,即第i个第六卷积层的输入端接收级联操作后得到的第i组特征图构成的集合Fcat,SA2,i中的所有特征图,每个第六卷积层的输出端输出32幅宽度为W且高度为H的空间特征图,第i个第六卷积层的输出端输出的所有空间特征图构成的集合为Fs3,i,第四堆栈空间卷积块输出的所有空间特征图构成的集合为FS3;对FS2中的所有空间特征图进行重组,将重组后得到的32幅宽度为U×W且高度为V×H的特征图构成的集合记为Ftemp,S2,第七卷积层的输入端接收Ftemp,S2中的所有特征图,第七卷积层的输出端输出32幅宽度为W且高度为H的临时角度特征图,将第七卷积层的输出端输出的所有临时角度特征图构成的集合记为Ftemp,A3,对Ftemp,A3中的所有临时角度特征图和FA2中的所有角度特征图进行级联操作,将级联操作后得到的64幅宽度为W且高度为H的特征图构成的集合记为FCat,A32,1×1卷积层的输入端接收FCat,A32中的所有特征图,1×1卷积层的输出端输出32幅宽度为W且高度为H的角度特征图,1×1卷积层的输出端输出的所有角度特征图构成的集合为FA3;其中,Fcat,SA2,1表示对U×V倍的角度特征图与FS2中的U×V组空间特征图进行级联操作后得到的第1组特征图构成的集合,Fcat,SA2,U×V表示对U×V倍的角度特征图与FS2中的U×V组空间特征图进行级联操作后得到的第U×V组特征图构成的集合;
上述,第一空间角度联合编码器、第二空间角度联合编码器和第三空间角度联合编码器各自中的U×V个第六卷积层的卷积核的尺寸均为3×3、卷积步长均为1、输入通道数均为
64、输出通道数均为32、采用的激活函数均为“Leaky ReLU”,且U×V个第六卷积层共享卷积核的权重参数,第一空间角度联合编码器、第二空间角度联合编码器和第三空间角度联合编码器各自中的第七卷积层卷积核的尺寸为U×V、水平卷积步长为U、垂直卷积步长为V、输入通道数为32、输出通道数为32、采用的激活函数为“Leaky ReLU”,第一空间角度联合编码器、第二空间角度联合编码器和第三空间角度联合编码器各自中的1×1卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为64、输出通道数为32、采用的激活函数为“Leaky ReLU”。
3.根据权利要求1或2所述的一种基于卷积神经网络的光场图像去噪方法,其特征在于所述的步骤二中,第一空间角度特征融合器、第二空间角度特征融合器和第三空间角度特征融合器的结构相同,其由第五堆栈空间卷积块组成,第五堆栈空间卷积块由U×V个第八卷积层组成;
对于第一空间角度特征融合器,对FA1中的所有角度特征图复制U×V倍,并对U×V倍的角度特征图与FS1中的U×V组空间特征图进行级联操作,将级联操作后得到的U×V组且每组
64幅宽度为W且高度为H的特征图构成的集合记为FCat,f1,FCat,f1={Fcat,f1,1,…,Fcat,f1,U×V},每个第八卷积层的输入端接收级联操作后得到的对应的一组特征图,即第i个第八卷积层的输入端接收级联操作后得到的第i组特征图构成的集合Fcat,f1,i中的所有特征图,每个第八卷积层的输出端输出32幅宽度为W且高度为H的融合特征图,第i个第八卷积层的输出端输出的所有融合特征图构成的集合为Ffused1,i,第五堆栈空间卷积块输出的所有融合特征图构成的集合为FFused1;其中,Fcat,f1,1表示对U×V倍的角度特征图与FS1中的U×V组空间特征图进行级联操作后得到的第1组特征图构成的集合,Fcat,f1,U×V表示对U×V倍的角度特征图与FS1中的U×V组空间特征图进行级联操作后得到的第U×V组特征图构成的集合;
对于第二空间角度特征融合器,对FA2中的所有角度特征图复制U×V倍,并对U×V倍的角度特征图与FS2中的U×V组空间特征图进行级联操作,将级联操作后得到的U×V组且每组
64幅宽度为W且高度为H的特征图构成的集合记为FCat,f2,FCat,f2={Fcat,f2,1,…,Fcat,f2,U×V},每个第八卷积层的输入端接收级联操作后得到的对应的一组特征图,即第i个第八卷积层的输入端接收级联操作后得到的第i组特征图构成的集合Fcat,f2,i中的所有特征图,每个第八卷积层的输出端输出32幅宽度为W且高度为H的融合特征图,第i个第八卷积层的输出端输出的所有融合特征图构成的集合为Ffused2,i,第五堆栈空间卷积块输出的所有融合特征图构成的集合为FFused2;其中,Fcat,f2,1表示对U×V倍的角度特征图与FS2中的U×V组空间特征图进行级联操作后得到的第1组特征图构成的集合,Fcat,f2,U×V表示对U×V倍的角度特征图与FS2中的U×V组空间特征图进行级联操作后得到的第U×V组特征图构成的集合;
对于第三空间角度特征融合器,对FA3中的所有角度特征图复制U×V倍,并对U×V倍的角度特征图与FS3中的U×V组空间特征图进行级联操作,将级联操作后得到的U×V组且每组
64幅宽度为W且高度为H的特征图构成的集合记为FCat,f3,FCat,f3={Fcat,f3,1,…,Fcat,f3,U×V},每个第八卷积层的输入端接收级联操作后得到的对应的一组特征图,即第i个第八卷积层的输入端接收级联操作后得到的第i组特征图构成的集合Fcat,f3,i中的所有特征图,每个第八卷积层的输出端输出32幅宽度为W且高度为H的融合特征图,第i个第八卷积层的输出端输出的所有融合特征图构成的集合为Ffused3,i,第五堆栈空间卷积块输出的所有融合特征图构成的集合为FFused3;其中,Fcat,f3,1表示对U×V倍的角度特征图与FS3中的U×V组空间特征图进行级联操作后得到的第1组特征图构成的集合,Fcat,f3,U×V表示对U×V倍的角度特征图与FS3中的U×V组空间特征图进行级联操作后得到的第U×V组特征图构成的集合;
上述,第一空间角度特征融合器、第二空间角度特征融合器和第三空间角度特征融合器各自中的U×V个第八卷积层的卷积核的尺寸均为3×3、卷积步长均为1、输入通道数均为
64、输出通道数均为32、采用的激活函数均为“Leaky ReLU”,且U×V个第八卷积层共享卷积核的权重参数。