1.基于融合感知损失的深度语义分割图像压缩方法,其特征在于,包括:利用预训练的语义分割网络获得原始图像的图像增强语义图,并对其进行无损编码;
将所述图像增强语义图和原始图像输入全卷积编码器进行压缩编码,生成图像的紧凑表示,作为基础图像描述信息,并对其进行无损编码;
将上采样的基础图像描述信息及图像增强语义图作为图像残差网络的输入,获得增强重构图像,通过将增强重构图像和原始图像作差,得到重构图像残差信息,并对所述重构图像残差信息进行有损编码;
将所述图像重构增强信息与所述重构图像残差信息相加,获得重构图像;
其中,网络的预训练采用融合感知损失函数对所述压缩网络及图像残差网络进行基于子块的训练。
2.如权利要求1所述的基于融合感知损失的深度语义分割图像压缩方法,其特征在于,所述的图像残差网络,使用图像增强语义图和上采样的基础图像描述信息通过GAN网络中的生成器来拟合图像在压缩过程中损失的图像特征信息,获得增强重构图像,进而通过将增强重构图像和原始图像做差得到重构图像残差信息。
3.如权利要求1所述的基于融合感知损失的深度语义分割图像压缩方法,其特征在于,所述基于子块的训练包括:首先将原始图像分为大小相等的若干个子块,作为网络输入的基本单位;然后使用判别器网络对各个子块进行特征提取,以获得不同范围内的图像分布特征;最后通过融合感知损失与Adam优化器共同对原有GAN网络以及压缩网络进行有效的训练。
4.如权利要求1所述的基于融合感知损失的深度语义分割图像压缩方法,其特征在于,所述基于子块的训练中,使用基于融合感知对抗损失来进行梯度回传,其中GAN网络中使用的基于子块的总体对抗损失可以表示为:LE=LDp+LGp
所述GAN网络中判别器的目标则是最大化LDp:其中, 表示判别器网络从第i个子块中在d个尺度(0为原始大小、1为2x大小)下通过网络的第l层网络层提取出的图像的特征信息,这里图像一共分为n个子块。
5.如权利要求1所述的基于融合感知损失的深度语义分割图像压缩方法,其特征在于,所述GAN网络中生成器的目标是最小化GAN标准损失,这里采用了基于子块的融合损失:LGp=Lp+L1+LMS‑SSIM+LVGG其中,基于子块的损失Lp:
j
其中,原始图像以及生成图像被等分为c个大小相等的子块,Dd 表示从判别网络中的第j层网络提取的特征信息,t则代表目标图像;在判别网络模型中子块被设置为初始大小和
2x大小(其中1是原始大小,2代表的是上采样2倍的子块),在区域的网络架构中共有n层网络,λ分别为Lp损失函数的总的权重系数。
6.如权利要求1所述的基于融合感知损失的深度语义分割图像压缩方法,其特征在于,所述压缩网络采用全卷积架构,其前4层网络中依次采用了64、128、256、512数量的过滤器,除首层采用7*7大小的卷积核外,其余各层均采用3*3的卷积核大小以及stride=2的步长来获取图像的隐式特征分布信息,且每层卷积层后均跟有实例规范化和ReLU激活函数。
7.如权利要求1所述的基于融合感知损失的深度语义分割图像压缩方法,其特征在于,为了获得指定维度和大小的图像,所述压缩网络在原有的神经网络架构的最后增加了一个卷积核大小为7*7、过滤器为3、步长为1的一个卷积网络,且在网络的最后使用了Tanh激活函数。
8.基于融合感知损失的深度语义分割图像压缩系统,其特征在于,包括:语义信息获取单元,其用于利用预训练的语义分割网络提取原始图像的语义信息;
编码单元,其用于将所述语义信息和原始图像作为压缩网络的输入,生成压缩图像;将所述压缩图像及语义信息作为图像残差网络的输入,获得重构图像;计算所述重构图像与原始图像间的重构损失信息,并对其进行有损编码;
解码单元,其用于所述重构图像与解码后的重构损失信息相加,得到最终的重建图像;
所述压缩系统采用融合感知损失函数对所述压缩网络及图像残差网络进行基于子块的训练。
9.一种电子设备,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,其特征在于,所述计算机指令被处理器运行时,执行如权利要求1‑7任一项所述的基于融合感知损失的深度语义分割图像压缩方法。
10.一种计算机可读存储介质,用于存储计算机指令,其特征在于,所述计算机指令被处理器执行时,执行如权利要求1‑7任一项所述的基于融合感知损失的深度语义分割图像压缩方法。