欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021108062877
申请人: 桂林电子科技大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于AdaptGAN的低照度语义分割方法,其特征在于,包括如下步骤:

1)整合数据集:基于公开的Cityscapes数据集,采用模拟低照度环境下的成像特点,得到低照度环境下的数据集Cityscapes‑Night,将Cityscapes数据集作为源域,Cityscapes‑Night数据集作为目标域;

2)训练光照正则化网络,包括如下步骤:

1‑2)将所有的正常光照图片和低照度图片进行预处理,即将正常光照图片和低照度图片高度和宽度统一缩放至960×960像素;

2‑2)将正常照度图像和低照度图像输入到光照正则化网络进行处理,首先光照正则化网络从两种不同照度图像的共同潜在空间中提取到目标域和源域的共同表征,然后用光照正则化网络提取到的特征图与输入图像相加得到光照正则化图像;

3‑2)计算输入图像与光照正则化图像之间的亮度损失,损失函数如公式(1)所示:

Llight=Ltv+Lssim      (1),

其中Llight为亮度损失,Ltv为全变差损失,Lssim为结构相似度损失,全变差损失如公式(2)所示:其中I∈{Is,It}表示输入的图片,Is是源域的输入图片,It是目标域输入图片,R∈{Rs,Rt}表示光照正则化网络的输出,Rs是源域图片对应的输出,Rt是目标域图片对应的输出,N为图片对应的像素点个数, 和 分别代表相邻像素之间沿x和y方向的强度梯度,||·||1是L1范数即每个像素点计算得到的值的绝对值求和,结构相似度损失具体为公式(3)所示:2

其中,uI和uR分别表示I和R的均值,σI和σR表示标准差,σIR表示协方差,C1=0.01 ,C2=2

0.03;

3)训练语义分割网络:

语义分割网络设有顺序连接的高分辨率残差网络、并行的多尺度特征聚合模块及自注意力模块、上采样和分类预测模块,其中,自注意力模块包括并行的通道自注意力模块和空间自注意力模块,实现过程为:

1‑3)训练高分辨率残差网络:将光照正则化图像送入高分辨率残差网络进行特征提取,高分辨率残差网络从源领域和目标领域共同的潜在空间中提取特征;

2‑3)训练多尺度特征聚合模块:首先将高分辨率残差网络产生的特征图经过一个1×1卷积块进行通道降维,再将降维后的特征图送入多尺度特征聚合模块进行多尺度上下文特征提取和特征融合;

3‑3)训练空间自注意力模块:将高分辨率残差网络的输出特征图送入空间自注意力模块进行空间位置上下文关系建模;

4‑3)训练通道自注意力模块:将高分辨率残差网络的输出特征图送入通道自注意力模块进行通道之间上下文关系建模;

5‑3)将通道自注意力模块得到的特征图与空间自注意力模块的输出特征图进行相加融合,获得自注意力模块的最终输出特征图,然后用多尺度特征聚合模块的输出特征图与自注意力模块的输出特征图进行通道拼接;

6‑3)首先将5‑3)过程得到的输出特征图用大小为1×1卷积块进行特征融合,并将输出通道数调整到数据集的类别数,然后对特征图进行上采样,将特征图的分辨率恢复到与输入图片相同,最后采用softmax函数归一化输出,对于每个像素位置,选取softmax后最大概率的那个类别作为预测类别,从而得到最终的语义分割结果;

7‑3)计算源域正常照度图像的分割预测结果与源域正常照度图像的标签之间的损失,损失函数如公式(4)所示:其中N是像素点个数,C是类别数, 是二值指示器,表示第i个像素点以及第c个类别的真实标签, 表示网络的预测值;

4)训练判别器网络:包括:

1‑4)将正常照度图像和低照度图像的语义分割结果送入判别器,判别器对输入的分割结果进行识别,判断出结果是正常照度图像还是低照度图像;

2‑4)计算判别器的判断结果与输入图像的正确判别标签之间的损失,损失函数如公式(5)所示:其中,D表示判别器,Ps表示源域的预测,Pt表示目标域的预测,r为源域的标签,f为目标域的标签。

2.根据权利要求1所述的基于AdaptGAN的低照度语义分割方法,其特征在于,步骤2)中所述的光照正则化网络设有顺序连接的第一卷积块、第一下采样卷积块、第二下采样卷积块、2个堆叠的残差块、第一转置卷积块、第二转置卷积块、第三卷积块和Tanh激活层,其中,第一卷积块卷积核大小为7×7、输入通道数为3、输出通道数为64、填充为3、步长为1,卷积之后为批归一化层和ReLU激活层;

第一下采样卷积块卷积核大小为3×3、输入通道数为64、输出通道数为128、步长为2、填充为1,卷积之后为批归一化层和ReLU激活层;

第二下采样卷积块的卷积核大小为3×3、步长为2、输入通道数为128、输出通道数为

256,卷积之后为批归一化层和ReLU激活层;

每个残差块设有2个第二卷积块,每个第二卷积块设有大小为3×3、填充为1、输入特征图通道数和输出通道数都为256的卷积,以及批归一化层和ReLU激活层;

第一个转置卷积块的卷积核大小为3×3、步长为2、填充为1、输出填充为1、输入通道数为256、输出通道数为128,卷积之后为批归一化层和ReLU激活层;

第二转置卷积块的卷积核大小为3×3、输入特征图通道数为128、输出特征图通道数为

64、步长为2、填充为1、输出填充为1,卷积之后为批归一化层和ReLU激活层;

第三卷积块的卷积核大小为5×5、填充为2、输入通道数64、输出通道数为3,实现过程为:

4‑2)将输入图片读取为RGB的3通道格式,首先经过一个卷积块,卷积块的卷积核大小为7×7、输入通道数为3、输出通道数为64、填充为3、步长为1,卷积块之后为批归一化层和ReLU激活层,然后采用卷积核大小为3×3、输入通道数为64、输出通道数为128、步长为2、填充为1的下采样卷积块将特征图分辨率降低为输入图片的一半,卷积之后为批归一化层和ReLU激活层;接着再采用卷积核大小为3×3、步长为2、输入通道数为128、输出通道数为256的下采样卷积块将分辨率降低为输入图片的四分之一,卷积之后为批归一化层和ReLU激活层;

5‑2)将步骤4‑2)的输出特征图传递给2个堆叠的残差块,每个残差块设有2个卷积块,每个卷积块设有大小为3×3、填充为1、输入特征图通道数和输出通道数都为256的卷积,以及批归一化层和ReLU激活层;

6‑2)将步骤5‑2)得到的低分辨率特征图用2个转置卷积块进行上采样恢复到与输入图片相同的分辨率,第一个转置卷积的卷积核大小为3×3、步长为2、填充为1、输出填充为1、输入通道数为256、输出通道数为128,卷积之后为批归一化和ReLU函数激活;第二个转置卷积的卷积核大小为3×3、输入特征图通道数为128、输出特征图通道数为64、步长为2、填充为1、输出填充为1,卷积后接着采用批归一化层和ReLU激活层;

7‑2)将步骤6‑2)得到的特征图用卷积层提取特征,卷积层的卷积核大小为5×5、填充为2、输入通道数64、输出通道数为3,然后采用Tanh激活函数进行非线性激活得到最终的特征图,最后将最终的特征图与步骤4‑2)中3通道的RGB图像逐元素相加,获得光照正则化后的图像。

3.根据权利要求1所述的基于AdaptGAN的低照度语义分割方法,其特征在于,步骤3)中所述的高分辨率残差网络依次设有:第四卷积块,第四卷积块包含一个卷积、批归一化层和ReLU激活层,其中卷积的卷积核大小为7×7、输入通道数为3、输出通道数为64、步长为2,第四卷积块之后为最大池化层,最大池化层的池化大小3×3、步长为2、填充为1;

堆叠的3个卷积组,对于每个卷积组,首先为一个卷积核大小为1×1、输入特征图通道数为64、输出特征图通道数为64、步长为1的卷积,然后再接一个卷积核大小为3×3、输出特征图通道数为64的卷积,最后使用卷积核大小为1×1、输出特征图通道数为256的卷积,每一个卷积之后都接批归一化层和ReLU激活层;

堆叠的4个卷积组,每个卷积组包含3个卷积层,第一个卷积层的卷积核大小为1×1、输出特征图通道数为128、输入通道数为256,第二个卷积层的卷积核大小为3×3、输出通道数为128,第三个卷积层的卷积核大小为1×1、输出通道数为512,每一个卷积之后紧接着为批归一化层和ReLU激活层;

堆叠的23个空洞卷积残差块,每一个空洞卷积残差块包含3个卷积层,第一个卷积层为输出通道数为256、卷积核大小为1×1的卷积,第二个卷积层为输出通道数为256、卷积核大小为3×3、空洞率为2、填充为2以及步长为1的卷积,第三个卷积层为卷积核大小为1×1、输出特征图通道数为1024的卷积,每一个卷积之后都采用批归一化层和ReLU激活层;

最后设有堆叠的3个空洞卷积残差块,对于每一个空洞卷积残差块,首先为一个卷积核大小为1×1、输出特征图通道数为512的卷积,然后为卷积核大小为3×3、空洞率为4、填充为4、输出通道数为512的空洞卷积,最后为一个输出通道数为2048、卷积核的大小为1×1的卷积,在每一个卷积层之后紧接着为批归一化层和ReLU激活层,实现过程为:

8‑3)将光照正则化后的图像送入一个卷积核大小为7×7、输入通道数为3、输出通道数为64、步长为2的卷积,卷积之后接着为批归一化层和ReLU激活层,卷积后的特征图分辨率降低为输入图片的二分之一,然后采用最大池化层进行下采样,池化大小为3×3、步长为2、填充为1,最大池化后的输出特征图分辨率降低为输入图片的四分之一;

9‑3)将步骤8‑3)中的输出特征图用堆叠的3个卷积组进行进一步的特征提取,对于每个卷积组,首先为一个卷积核大小为1×1、输入特征图通道数为64、输出特征图通道数为64的卷积,然后再接一个卷积核大小为3×3、输出特征图通道数为64的卷积,最后使用卷积核大小为1×1、输出特征图通道数为256的卷积,每个卷积之后都接批归一化层和ReLU激活层;

10‑3)将步骤9‑3)的输出特征图用4个堆叠的卷积组提取特征,从而增强网络的视觉表征能力,每个卷积组包含3个卷积层,第一个卷积层采用卷积核大小为1×1、输出特征图通道数为128、输入通道数为256的卷积,第二个卷积层采用卷积核大小为3×3、输出通道数为

128的卷积,第三个卷积层采用卷积核大小为1×1、输出通道数为512的卷积,每一个卷积之后紧接着采用批归一化层和ReLU激活层;此外,通过将第一个卷积组的第二个卷积的卷积步长设置为2,从而将特征图的分辨率降低为输入图片的八分之一;

11‑3)将步骤10‑3)得到的特征图用堆叠的23个空洞卷积残差块继续进行特征提取,每个空洞卷积残差块由3个卷积层、批归一化层和ReLU激活层构成,第一个卷积层为输出通道数为256、卷积核大小为1×1的卷积,第二个卷积层为输出通道数为256、卷积核大小为3×

3、空洞率为2、填充为2以及步长为1的卷积,第三个卷积层采用大小为卷积核大小1×1、输出特征图通道数为1024的卷积,在每一个卷积之后都使用批归一化层和ReLU激活;

12‑3)最后将步骤11‑3)得到的特征图用堆叠的3个空洞卷积残差块进一步提取特征,对于每一个空洞卷积残差块,首先用一个卷积核大小为1×1、输出特征图通道数为512的卷积,然后采用卷积核大小为3×3、空洞率为4、填充为4、输出通道数为512的空洞卷积,最后使用一个输出通道数为2048、卷积核的大小为1×1的卷积,在每一个卷积之后紧接着使用批归一化层和ReLU激活层。

4.根据 权利要求1所述的基于AdaptGAN的低照度语义分割方法,其特征在于,步骤3)中所述的多尺度特征聚合模块设有并行的五个卷积层与一个全局平均池化层,其中第一个卷积层的卷积核大小为1×1、输入通道数和输出通道数都为256,第二个卷积层的输入特征图通道数和输出特征图通道数为256、卷积核大小为3×3、空洞率为2、填充为2,第三个卷积层的卷积核大小为3×3、空洞率为4、填充为4、输入通道数和输出通道数都为256,第四个卷积层的输入通道数以及输出通道数都为256、卷积核大小为3×3、空洞率为8、填充据为8,第五个卷积层的卷积核大小为3×3、空洞率为16、填充为16;然后为卷积核大小为1×1、输入通道数为1536、输出通道数为256的卷积层,实现过程为:

13‑3)多尺度特征聚合模块首先采用并行的五个卷积块与一个全局平均池化层对输入的特征图进行处理,第一个卷积块的卷积核大小为1×1、输入通道数和输出通道数都为

256;第二个卷积块的输入特征图通道数和输出特征图通道数为256、卷积核大小为3×3、空洞率为2、填充为2;第三个卷积的卷积核大小为3×3、空洞率为4、填充为4、输入通道数和输出通道数都为256;第四个卷积的输入通道数以及输出通道数都为256、卷积核大小为3×3、空洞率为8、填充据为8;第五个卷积块的卷积核大小为3×3、空洞率为16、填充为16;此外,全局平均池化后,再采用双线性插值将池化后的特征图分辨率上采样到与池化前的大小一致;

14‑3)首先将步骤13‑3)中五个卷积块和全局平均池化层得到的特征图按通道维度进行拼接,然后再使用一个卷积核大小为1×1、输入通道数为1536、输出通道数为256的卷积进行通道降维。

5.根据权利要求1所述的基于AdaptGAN的低照度语义分割方法,其特征在于,步骤3)中所述的空间自注意力模块实现过程为:

15‑3)将高分辨率残差网络得到的特征图记为特征图 其中C为特征图通道

数、H为特征图的高、W为特征图的宽,首先用3个并行的卷积层对特征图A分别进行卷积操作,3个卷积层的超参数相同即输入通道数为2048、输出通道数为512、卷积核大小为1×1,经过卷积处理后得到3个新的输出特征图,分别记为特征图其次将特征图D调整形状变换为矩阵 其中N=H×W,再对矩阵K进行

T

转置得到矩阵 同时将E调整形状变为矩阵 然后用矩阵K 与矩阵Q相乘

得到新的矩阵 再用softmax函数对矩阵O进行归一化后可得空间注意力矩阵接着将特征图F改变形状变为矩阵 用矩阵V与自注意力矩阵S相乘得到矩阵 最后将矩阵M调整到与特征图A相同的形状,记为特征图

16‑3)将特征图A与特征图B对应位置元素相加,再使用一个卷积核大小为1×1、输出通道数为256的卷积进行通道降维,卷积后的输出特征图为空间自注意力模块的最终输出。

6.根据权利要求1所述的基于AdaptGAN的低照度语义分割方法,其特征在于,步骤3)中所述的通道自注意力模块实现过程为:

17‑3)将高分辨率残差网络得到的特征图记为特征图 首先分别对特征图A

改变形状后得到3个新的矩阵,分别记为矩阵 其中N=H×

T

W;其次将矩阵N转置得矩阵 再用矩阵L与矩阵N 相乘得到新的矩阵 然

后用softmax函数对矩阵U进行归一化后可得通道自注意力矩阵 最后用自注意力矩阵Z与矩阵P相乘得到矩阵 再将I调整到与特征图A相同的形状,记为特征图

18‑3)将特征图A与特征图G按对应位置元素进行相加,再将相加的结果用一个卷积核大小为1×1、输出通道数为256的卷积进行通道降维,把降维后的输出特征图作为通道自注意力模块的最终输出。

7.根据权利要求1所述的基于AdaptGAN的低照度语义分割方法,其特征在于,步骤4)所述的判别器网络为:包括串联的4个卷积层和1个分类器,第一个卷积层的卷积核大小为4×4、步长为2、填充为1、输入通道数为类别数、输出通道数为64;第二个卷积层的卷积核大小为4×4、输入特征图通道数为64、输出特征图通道数为128、步长为2、填充为1;第三个卷积层的卷积核大小为4×4、输入通道数为128、输出通道数为256、填充为1、步长为2;第四个卷积层的卷积核大小为4×4、输入通道数和输出通道数都为256、步长为2、填充为1;在每一个卷积层之后都接上一个负数区域激活值为0.2的泄露修正线性单元LeakyReLU激活函数,最后采用一个输出通道数为1、卷积核大小为4×4的卷积作为分类器。