欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202010043890X
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于语义分割和深度学习的图片背景风格迁移方法,其特征在于,包括以下步骤:步骤(1)、选择内容图片和风格图片并进行图片预处理;

步骤(2)、将预处理后的内容图片和风格图片分别输入至ResNet‑50网络中,并且在最后一层池化层输出之后将内容图片和风格图片输出结果和进行加权相加,公式为将输入到ResNet‑50进行上采样,得到跟输入的图片大小相同的图片步骤(3)、将风格图片输入至VGG‑19网络中,获得风格约束;

步骤(4)、将内容图片输入至VGG‑19网络中,获得内容约束;

步骤(5)、为了将风格图片的风格迁移到内容图片上,采用步骤(2)得到的输出图片作为待合成的图像,该图像同时匹配的内容表示和的风格表示,将其输入VGG‑19网络中,使用损失函数计算步骤(3)得到的风格图片与步骤(2)得到的输出图片的损失选取需要获得其背景风格的风格图片,为了获得更好的效果,选取风格明显且强烈的图片作为风格图片;

最后将内容图片和风格图片裁切为相同尺寸,获得预处理后的内图片和风格图片。

3.根据权利要求2所述的一种基于语义分割和深度学习的图片背景风格迁移方法,其特征在于,步骤(3)具体方法如下:将风格图片输入至VGG‑19网络中,并且将风格图片标记为为了获得输入图像风格的表示,采用用于捕获纹理信息的特征空间;所述的特征空间建立在网络的任何层的滤波器响应之上,由不同滤波器响应之间的特征相关性组成,其中期望值占据了特征映射的空间范围;所述的特征相关性由Gram矩阵给出,其中是第l层中向量化特征图i和j之间的内积;

通过内积操作,可以得到输入图像的风格表示;通过构造与给定输入图像的风格表示相匹配的图像,来可视化这些构建在网络不同层上的风格特征空间捕获的信息;通过对进行梯度下降可以实现风格迁移,其中损失函数定义为风格图片的Gram矩阵项和要生成的图像的Gram矩阵项之间的均方距离;

Al和Gl分别是和在层l中各自的特征表示;第l层卷积层对总损耗的贡献为:总的损失可以表示为

式中,wl是各层对总损失贡献的权值;关于层l中的活动,El的导数可以通过分析计算得出:Fl表示在第l层中所有卷积核经过激活后的特征表示;El相对于中的每个像素的值的梯度可以容易地使用标准误差反向传播来计算,分别取VGG‑19网络的第一层,第三层,第五层,第九层,第十三层的输出作为风格约束。

4.根据权利要求3所述的一种基于语义分割和深度学习的图片背景风格迁移方法,其特征在于,步骤(4)具体方法如下:将内容图片输入至VGG‑19网络中,并且将内容图片标记为为了将在不同卷积层编码的图像信息进行可视化,对步骤(2)输出的图像进行梯度下降操作,以找到与原始图像的特征响应相匹配的另一图像;Pl表示在层l中的特征表示,Fl表示在第l层中所有卷积核经过激活后的特征表示,然后定义两个特征表示之间的平方误差损失这个损失相对于层l中激活数据体的导数等于

从中可以使用标准误差反向传播计算相对于图像的梯度;因此,可以通过改变初始随机图像,直到它在卷积神经网络的某一层中产生与原始图像相同的响应,所述的初始随机图像并不是完全随机的噪点图,而是步骤(2)的输出结果取VGG‑19网络的第十层的输出作为内容约束。