欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022107231270
申请人: 西安理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-04-06
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于事件相机的弱光图像增强方法,其特征在于,具体按照以下步骤实施:步骤1、数据集合成,选取一个具有正常光照图像和事件流的数据集,要求正常光照图像和事件流在空间上是配对的,之后由正常光照图像生成梯度图像和含噪声的弱光图像,预处理事件流得到具有良好边缘信息的事件伪图像;

步骤2、采用UNet梯度分支将步骤1得到的事件伪图像重建为梯度图像;所述步骤2具体如下:步骤2.1、首先利用深度学习框架PyTorch的dataset类,并在该类中图片进行transform操作,首先将图片转换为张量格式,并进行归一化操作,之后进行标准化处理,如公式(6)所示:(6)

其中表示第c个通道的输出,表示的c个通道的输入,表示第c个通道的均值,表示第c个通道的方差,接下来通过DataLoader对数据进行打包;

步骤2.2、对于打包后的数据,对其先进行特征提取得到特征图,选用UNet作为梯度分支的主干网,通过步长为2的卷积操作代替最大池化操作,之后通过batchnorm算法对数据范围进行调整,紧接着使用ReLU激活函数进行激活,在此进行七次下采样,之后通过步长为2的反卷积操作进行上采样,使用batch norm算法对数据范围进行调整并使用ReLU激活函数,同样的进行七次上采样,最后对上采样的特征图进行梯度图重建,得到重建的梯度图像,进行padding操作,将步骤1.2获得的弱光图像的信息引入梯度分支,具体的如卷积公式(7)、(8)所示和反卷积公式(9)、(10)所示:(7)

(8)

(9)

(10)

其中表示输出图像的高度,表示输出图像的宽度,表示输入图像的高度,p表示padding大小,k表示卷积核大小,s表示步长,表示输入图像的宽度;

步骤2.3、对于梯度分支输出的重建梯度图和梯度参考图,使用L1loss,如公式(11)(12)所示,(11)

(12)

其中L表示所有像素点损失值的和,x,y分别表示像素点的坐标位置,分别表示像素值,n表示像素点的个数,表示损失值,这里采用均值的方式计算损失值,利用损失值完成对梯度分支参数的更新,得到更新后的梯度分支;

步骤3、采用UNet弱光图像增强分支对步骤1得到的弱光图像进行增强,得到增强后的图像;

所述步骤3具体如下:

步骤3.1、对于步骤2.1的打包的数据输入图像增强分支,选用UNet作为图像增强分支的主干网,用步长为2的卷积操作代替下采样操作,之后进行batch norm和ReLU操作,重复七次,之后用步长为2的反卷积完成上采样操作,之后进行batch norm和ReLU操作,重复七次,得到特征图,并对特征图进行一次卷积和ReLU操作,得到通道数为3的输出图像;

步骤3.2、对于图像增强分支的输出图像和正常光照图像计算L1loss,判断输出图像和正常光照图像哪个为真,采用MSEloss,如公式(13)(14)所示,(13)

(14)

其中L表示所有像素点损失值的和,分别表示像素值,表示损失值,x,y表示像素点的坐标位置,这里采用均值的方式,利用损失值对图像增强分支参数进行更新,得到更新后的弱光图像增强分支;

步骤4、设计特征融合模块,特征融合模块即采用基于通道和空间注意力的模块CBAM,将步骤2中梯度图像包含的信息融合到步骤3的弱光图像增强分支;

步骤5、添加条件鉴别器,条件为事件伪图像和梯度图像,生成更加真实的增强图像;

步骤6、对于步骤2梯度分支和步骤3弱光图像增强分支搭建的神经网络进行训练300个epoch,验证训练结果,保存神经网络的模型;

步骤7、测试步骤6保存的神经网络的模型,输出增强后的图像。

2.根据权利要求1所述的基于事件相机的弱光图像增强方法,其特征在于,所述步骤1具体如下:步骤1.1、选取一个具有正常光照图像和事件流的数据集,要求正常光照图像和事件流在空间上是配对的,其中事件的表示方式为,其中表示一个事件,x和y表示像素点的坐标位置,t代表时间戳,p表示事件的极性,j表示第几个事件;假设事件流时间长度为,期间事件相机同时返回n个灰度帧,对于合成的伪图像的像素值,每个事件间隔表示为,由事件的极性值相加所得,得到事件伪图像;

步骤1.2、对于参考图像GT,对参考图像GT添加噪声,使用高斯盲噪声,具体做法为,用一个标准差范围生成高斯盲噪声取代用一个标准差生成高斯噪声,之后进行弱光场景的模拟,伽马矫正,如公式一所示,(1)

其中表示矫正后的图像,表示矫正前的图像,表示像素值的放缩力度;

之后将数据进行线性归一化处理,如公式二所示,

(2)

其中表示归一化后的图像,X表示坐标处的像素值,表示图像x的最小像素值,表示图像的最大像素值,得到模拟的含噪声弱光图像;

步骤1.3、对步骤1.1得到的正常光照图像进行边缘提取,利用sobel算子,具体计算方式如公式(3)(4)(5)所示:对于假设图像A:(3)

(4)

(5)

表示横向的一阶差分,表示纵向的一阶差分,G表示梯度图,其中表示卷积操作,得到G是梯度图像。

3.根据权利要求2所述的基于事件相机的弱光图像增强方法,其特征在于,所述步骤4具体如下:步骤4.1、构建特征融合块,采用基于通道和空间注意力的模块CBAM,CBAM的具体操作为:首先对于步骤2和步骤3的输出特征图进行通道注意力操作,分别在空间上进行最大池化和平均池化操作,之后输入共享的多层感知机MLP,接下来进行相加并通过tanh函数,如公式(15)所示,(15)

其中表示激活后的输出值,x表示输入值,exp表示自然对数;

之后进行空间注意力操作,在每个通道上进行最大池化和平均池化,之后进行拼接操作,同样地,经过sigmoid函数,将输出特征图送入到步骤3的弱光图像增强分支;

步骤4.2、对于步骤2和步骤3的特征图首先进行拼接操作,之后卷积得到新的特征图,对于新的特征图之后跟随一个CBAM模块,之后进行batch norm操作和ReLU操作,并且添加dropout操作,随机屏蔽掉一半步骤4.1中特征融合块的神经元,重复拼接操作直至屏蔽一半神经元操作两次,在梯度分支和弱光图像增强分支总共使用九个融合模块,得到九个特征融合模块。

4.根据权利要求3所述的基于事件相机的弱光图像增强方法,其特征在于,所述步骤5具体如下:采用相对论生成对抗神经网络RGAN,并且采用条件鉴别器的方式,添加条件控制鉴别器的输出,添加的条件为步骤1事件伪图像、重建的梯度图像和弱光图像,在计算图片为真的概率时,采用patchGAN鉴别器,判断图像的部分为真假的概率,采用sigmoid激活函数,如公式(16)所示,(16)

其中表示激活后的值,x表示输入值,exp表示自然对数,鉴别器的具体操作为首先对特征图进行拼接并通过卷积操作提取特征,之后进行instancenorm和ReLU操作,重复四次,判断步骤3的输出图像是正常光照图像的概率。

5.根据权利要求4所述的基于事件相机的弱光图像增强方法,其特征在于,所述步骤6具体如下:步骤6.1、对于步骤2和步骤3组成的神经网络,选择网络的优化器为ADAM优化器,并设置初始学习率为0.0002,调度器策略为多步长衰减策略,衰减步数分别为25和100,每次衰减一半,总共训练300个epoch,训练期间,通过观察psnr,如公式(17)、(18)所示,(17)

(18)

其中MSE表示均方误差,m和n分别表示图像的长和宽,i和j表示像素点的坐标位置,表示步骤3网络输出的图像,表示步骤1得到的正常光照图像,PSNR表示峰值信噪比,表示图像的最大像素值;

ssim如公式(23)所示,公式(22)包含三部分,亮度比较,如公式(19)所示,结构比较,如公式(21)所示,对比度比较,如公式(20)所示,和分别表示x和y的均值,和分别表示x和y的方差,表示x和y的协方差,其中表示常数,避免分母为0,通过设置和将公式(22)化简为公式(23):(19)

(20)

(21)

(22)

(23)

通过观察PSNR和SSIM两个指标动态调整超参数:学习率lr、平衡参数、和训练轮数epoch;

步骤6.2、通过Python第三方库tensorboard的SummaryWriter将训练过程loss、PSNR、SSIM参考指标输出到tensorboard中,并在验证集测试结果,之后进行模型的保存,将步骤6.1训练的神经网络参数、正在训练的轮数epoch、优化器ADAM和调度器进行保存,得到训练好的网络模型。

6.根据权利要求5所述的基于事件相机的弱光图像增强方法,其特征在于,所述步骤7具体如下:加载步骤6训练好的网络模型,将测试集输入到训练好的网络模型中,之后对测试的结果进行保存,得到增强后的图像。