1.一种基于稀疏表示的风格迁移图像质量客观评价方法,其特征在于包括训练阶段和测试阶段两个过程,训练阶段包含多尺度内容字典训练阶段和多尺度风格字典训练阶段;
所述的多尺度内容字典训练阶段的具体步骤如下:
步骤1_1:选取Nc幅原始的无失真自然图像,并构成内容图像训练集,记为{ICi|1≤i≤Nc};其中,Nc≥1,ICi表示{ICi|1≤i≤Nc}中的第i幅内容图像,i为正整数,1≤i≤Nc,{ICi|1≤i≤Nc}中的每幅内容图像的宽度为WC且高度为HC;
步骤1_2:采用多尺度高斯差分滤波技术对{ICi|1≤i≤Nc}中的每幅内容图像实施多尺度结构分离,得到{ICi|1≤i≤Nc}中的每幅内容图像对应的不同尺度的结构图像,将{ICi|1≤i≤Nc}中的所有内容图像对应的不同尺度的结构图像构成的集合记为其中,z和o均为正整数,1≤z≤Z,1≤o≤O,Z表示多尺度高斯差分滤波技术中所采用的高斯金字塔中的总组数,O表示多尺度高斯差分滤波技术中所采用的高斯金字塔中的每组中的总层数,表示ICi对应的第z组中的第o层的结构图像,的宽度为WC且高度为HC;
步骤1_3:将中的每幅结构图像划分成个互不重叠的尺寸大小为8×8的子块;然后将中属于同一尺度的Nc幅结构图像中的所有子块构成一个集合,将中属于第z组中的第o层的Nc幅结构图像中的所有子块构成的集合记为再采用在线字典学习方法对中属于同一尺度的Nc幅结构图像中的所有子块构成的集合进行字典训练操作,得到中属于同一尺度的Nc幅结构图像中的所有子块构成的集合对应的内容字典表,将对进行字典训练操作得到的对应的内容字典表记为CDz,o;最后得到对应的多尺度内容字典,记为{CDz,o|1≤z≤Z,1≤o≤O};其中,WC和HC均能够被8整除,1≤t≤M,表示中属于第z组中的第o层的Nc幅结构图像中的所有子块中的第t个子块中的所有像素点的像素值组成的列向量,的维度为64×1,CDz,o的维度为64×K,K表示设定的字典的原子数,K≥1;
所述的多尺度风格字典训练阶段的具体步骤如下:
步骤2_1:选取Ns幅原始的艺术风格图像,并构成艺术风格图像训练集,记为{ISj|1≤j≤Ns};其中,Ns≥1,ISj表示{ISj|1≤j≤Ns}中的第j幅艺术风格图像,j为正整数,1≤j≤Ns,ISj的宽度为WSj且高度为HSj;
步骤2_2:采用图像深层结构与纹理相似性度量准则,对{ISj|1≤j≤Ns}中的每幅艺术风格图像进行处理,生成{ISj|1≤j≤Ns}中的每幅艺术风格图像对应的五层卷积层的三维特征图,将{ISj|1≤j≤Ns}中的所有艺术风格图像对应的五层卷积层的三维特征图构成的集合记为再计算中的每幅三维特征图的基于格拉姆矩阵的风格特征向量,将的基于格拉姆矩阵的风格特征向量记为其中,1≤γ≤5,表示ISj对应的第γ层卷积层的三维特征图,的维度为Cγ表示由图像深层结构与纹理相似性度量准则中的第γ层卷积层生成的三维特征图的通道数,表示对ISj由图像深层结构与纹理相似性度量准则中的第γ层卷积层生成的三维特征图的高度,即的高度,表示对ISj由图像深层结构与纹理相似性度量准则中的第γ层卷积层生成的三维特征图的宽度,即的宽度,的维度为Cγ×1;
步骤2_3:将中属于同一层卷积层的Ns幅三维特征图的基于格拉姆矩阵的风格特征向量构成一个集合,将中属于第γ层卷积层的Ns幅三维特征图的基于格拉姆矩阵的风格特征向量构成的集合记为再采用在线字典学习方法对中属于同一层卷积层的Ns幅三维特征图的基于格拉姆矩阵的风格特征向量构成的集合进行字典训练操作,得到中属于同一层卷积层的Ns幅三维特征图的基于格拉姆矩阵的风格特征向量构成的集合对应的风格字典表,将对进行字典训练操作得到的对应的风格字典表记为SDγ;最后得到对应的多尺度风格字典,记为{SDγ|1≤γ≤5};其中,SDγ的维度为Cγ×Bγ,Bγ表示针对第γ层卷积层设定的字典的原子数,Bγ≥1;
所述的测试阶段的具体步骤如下:
步骤3_1:对于任意一幅测试的风格迁移图像,将其记为Rtest;并将Rtest对应的原始的内容图像记为ICorg,将Rtest对应的原始的艺术风格图像记为ISorg;其中,Rtest、ICorg的宽度为WC且高度为HC,ISorg的宽度为WSorg且高度为HSorg;
步骤3_2:按照步骤1_2的过程,以相同的方式获取Rtest对应的不同尺度的结构图像和ICorg对应的不同尺度的结构图像,将Rtest对应的不同尺度的结构图像构成的集合记为将ICorg对应的不同尺度的结构图像构成的集合记为其中,表示Rtest对应的第z组中的第o层的结构图像,表示ICorg对应的第z组中的第o层的结构图像,的宽度为WC且高度为HC;
步骤3_3:将中的每幅结构图像划分成个互不重叠的尺寸大小为8×8的子块;并将中的每幅结构图像划分成个互不重叠的尺寸大小为8×8的子块;然后将中的每幅结构图像中的所有子块构成一个集合,将中的所有子块构成的集合记为并将中的每幅结构图像中的所有子块构成一个集合,将中的所有子块构成的集合记为接着根据{CDz,o|1≤z≤Z,1≤o≤O}中的每个内容字典表,获取中的对应尺度的结构图像中的所有子块构成的集合中的每个元素的内容稀疏系数矩阵,将的内容稀疏系数矩阵记为同样,根据{CDz,o|1≤z≤Z,1≤o≤O}中的每个内容字典表,获取中的对应尺度的结构图像中的所有子块构成的集合中的每个元素的内容稀疏系数矩阵,将的内容稀疏系数矩阵记为其中,表示中的第t'个子块中的所有像素点的像素值组成的列向量,的维度为64×1,表示中的第t'个子块中的所有像素点的像素值组成的列向量,的维度为64×1,的维度均为K×1;
步骤3_4:根据中的每幅结构图像中的所有子块构成的集合中的每个元素的内容稀疏系数矩阵、中的每幅结构图像中的所有子块构成的集合中的每个元素的内容稀疏系数矩阵,计算Rtest的内容保持度客观评价预测值,记为Qcontent;
步骤3_5:按照步骤2_2的过程,以相同的方式获取Rtest对应的五层卷积层的三维特征图和ISorg对应的五层卷积层的三维特征图,将Rtest对应的五层卷积层的三维特征图构成的集合记为将ISorg对应的五层卷积层的三维特征图构成的集合记为然后将中的每幅三维特征图重新聚合成维度为Cγ×(HCγ×WCγ)的二维特征图,将重新聚合成的二维特征图记为同样,将中的每幅三维特征图重新聚合成维度为的二维特征图,将重新聚合成的二维特征图记为再计算中的每幅三维特征图重新聚合成的二维特征图的格拉姆矩阵,将的格拉姆矩阵记为同样,计算中的每幅三维特征图重新聚合成的二维特征图的格拉姆矩阵,将的格拉姆矩阵记为其中,1≤γ≤5,表示Rtest对应的第γ层卷积层的三维特征图,表示ISorg对应的第γ层卷积层的三维特征图,的维度为Cγ×HCγ×WCγ,的维度为Cγ表示由图像深层结构与纹理相似性度量准则中的第γ层卷积层生成的三维特征图的通道数,HCγ表示对Rtest由图像深层结构与纹理相似性度量准则中的第γ层卷积层生成的三维特征图的高度,WCγ表示对Rtest由图像深层结构与纹理相似性度量准则中的第γ层卷积层生成的三维特征图的宽度,表示对ISorg由图像深层结构与纹理相似性度量准则中的第γ层卷积层生成的三维特征图的高度,表示对ISorg由图像深层结构与纹理相似性度量准则中的第γ层卷积层生成的三维特征图的宽度,的维度均为Cγ×Cγ,上标“T”表示向量或矩阵的转置;
步骤3_6:根据{SDγ|1≤γ≤5}中的每个风格字典表,获取中的对应卷积层的三维特征图重新聚合成的二维特征图的格拉姆矩阵的风格稀疏系数矩阵,将的风格稀疏系数矩阵记为同样,根据{SDγ|1≤γ≤5}中的每个风格字典表,获取中的对应卷积层的三维特征图重新聚合成的二维特征图的格拉姆矩阵的风格稀疏系数矩阵,将的风格稀疏系数矩阵记为其中,的维度均为Bγ×Cγ,Bγ≥1,Cγ≥1;
步骤3_7:根据中的每幅三维特征图重新聚合成的二维特征图的格拉姆矩阵的风格稀疏系数矩阵、中的每幅三维特征图重新聚合成的二维特征图的格拉姆矩阵的风格稀疏系数矩阵,计算Rtest的风格相似度客观评价预测值,记为Qstyle;
步骤3_8:根据Qcontent和Qstyle,计算Rtest的整体视觉客观评价预测值,记为Qoverall。
2.根据权利要求1所述的一种基于稀疏表示的风格迁移图像质量客观评价方法,其特征在于所述的步骤1_3中,CDz,o通过在线字典学习方法求解得到;其中,min()为取最小值函数,符号“|| ||2”为求取矩阵的L2范数符号,Yz,o表示中的所有列向量构成的矩阵,Yz,o的维度为64×M,为中的第1个列向量,亦表示中属于第z组中的第o层的Nc幅结构图像中的所有子块中的第1个子块中的所有像素点的像素值组成的列向量,为中的第t个列向量,为中的第M个列向量,亦表示中属于第z组中的第o层的Nc幅结构图像中的所有子块中的第M个子块中的所有像素点的像素值组成的列向量,Xz,o表示内容稀疏系数矩阵,Xz,o的维度为K×M,表示Xz,o中的第1个列向量,表示Xz,o中的第t个列向量,表示Xz,o中的第M个列向量,的维度均为K×1,符号“[]”为向量或矩阵表示符号,“s.t.”表示“受约束于……”,表示对于任意一个t,1≤t≤M,符号“|| ||0”为求取矩阵的L0范数符号,为误差系数。
3.根据权利要求1或2所述的一种基于稀疏表示的风格迁移图像质量客观评价方法,其特征在于所述的步骤2_2中,的获取过程为:将重新聚合成维度为的二维特征图,记为然后计算的格拉姆矩阵,记为再计算的行平均即计算中的每行中的所有元素的平均值,将得到的列向量作为的基于格拉姆矩阵的风格特征向量其中,的维度为Cγ×Cγ,上标“T”表示向量或矩阵的转置。
4.根据权利要求3所述的一种基于稀疏表示的风格迁移图像质量客观评价方法,其特征在于所述的步骤2_3中,SDγ通过在线字典学习方法求解得到;其中,min()为取最小值函数,符号“|| ||2”为求取矩阵的L2范数符号,Gγ表示中的所有列向量构成的矩阵,Gγ的维度为Cγ×Ns,为中的第1个列向量,亦表示中属于第γ层卷积层的第1幅三维特征图的基于格拉姆矩阵的风格特征向量,为中的第j个列向量,亦表示中属于第γ层卷积层的第j幅三维特征图的基于格拉姆矩阵的风格特征向量,为中的第Ns个列向量,亦表示中属于第γ层卷积层的第Ns幅三维特征图的基于格拉姆矩阵的风格特征向量,Vγ表示风格稀疏系数矩阵,Vγ的维度为Bγ×Ns,表示Vγ中的第1个列向量,表示Vγ中的第j个列向量,表示Vγ中的第Ns个列向量,的维度均为Bγ×1,符号“[]”为向量或矩阵表示符号,“s.t.”表示“受约束于……”,表示对于任意一个j,1≤j≤Ns,符号“|| ||0”为求取矩阵的L0范数符号,τ为误差系数。
5.根据权利要求4所述的一种基于稀疏表示的风格迁移图像质量客观评价方法,其特征在于所述的步骤3_3中,其中,(CDz,o)+表示CDz,o的广义逆矩阵。
6.根据权利要求1所述的一种基于稀疏表示的风格迁移图像质量客观评价方法,其特征在于所述的步骤3_4中,其中,符号“<>”表示内积操作符号,符号“|| ||2”为求取矩阵的L2范数符号,η是一个很小的常数,防止分母为零。
7.根据权利要求1所述的一种基于稀疏表示的风格迁移图像质量客观评价方法,其特征在于所述的步骤3_6中,其中,(SDγ)+表示SDγ的广义逆矩阵。
8.根据权利要求1所述的一种基于稀疏表示的风格迁移图像质量客观评价方法,其特征在于所述的步骤3_7中,其中,符号“<>”表示内积操作符号,符号“|| ||2”为求取矩阵的L2范数符号,η是一个很小的常数,防止分母为零。
9.根据权利要求1所述的一种基于稀疏表示的风格迁移图像质量客观评价方法,其特征在于所述的步骤3_8中,其中,ω1表示用来调节Qcontent的权重,ω2表示用来调节Qstyle的权重。