欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2018103337176
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-06-04
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种图像变换方法,其特征在于,包括:

基于图像变换网络对图像进行特征提取,得到图像特征;

基于所述图像特征中的部分或全部特征,确定目标图像特征;包括通过对所述部分或全部特征中对应的数值增加第一设定数值,使所述图像中增加一个或多个人脸属性,以确定所述目标图像特征;或,通过对所述部分或全部特征中对应的数值减少第二设定数值,使所述图像中一个或多个人脸属性消减掉,以确定所述目标图像特征;

基于所述图像变换网络对所述目标图像特征进行解码,得到目标图像。

2.根据权利要求1所述的方法,其特征在于,所述基于所述图像特征中的部分或全部特征,确定目标图像特征,包括:对所述图像特征中的部分或全部特征进行特征变换,得到目标图像特征。

3.根据权利要求1所述的方法,其特征在于,所述基于所述图像特征中的部分或全部特征,确定目标图像特征之前,还包括:基于所述图像变换网络中各网络层的参数,确定所述图像特征中待变换数值的有效特征;

存储所述有效特征的位置信息;

所述对所述图像特征中的部分或全部特征进行数值变换,得到目标图像特征,包括:对所述图像特征中的所述有效特征进行数值变换,得到目标图像特征。

4.根据权利要求3所述的方法,其特征在于,所述图像变换网络包括至少一个卷积层;

基于所述图像变换网络中各网络层的参数,确定所述图像特征中待变换数值的有效特征,包括:基于所述至少一个卷积层中各卷积层的卷积核大小和步长,确定所述图像特征中能够表达所述图像的有效特征。

5.根据权利要求4所述的方法,其特征在于,所述基于所述至少一个卷积层中各卷积层的卷积核大小和步长,确定所述图像特征中能够表达所述图像的有效特征,包括:基于第一卷积层输出的第一卷积特征或所述图像,利用第二卷积层的卷积核大小和步长,确定所述第二卷积层输出的第二卷积特征中的有效特征;所述第一卷积层的输出特征为所述第二卷积层的输入。

6.根据权利要求1‑5任一所述的方法,其特征在于,所述基于图像变换网络对图像进行特征提取,得到图像特征之前,还包括:基于样本图像,对所述图像变换网络进行训练。

7.根据权利要求6所述的方法,其特征在于,所述基于样本图像,对所述图像变换网络进行训练,包括:基于所述图像变换网络对所述样本图像进行特征提取得到样本图像特征,基于样本图像特征获得待转换数值的样本特征构成的转换特征;

对所述转换特征中各特征进行数值变换,得到目标样本图像特征;

基于所述图像变换网络对所述目标样本图像特征进行解码,得到目标样本图像;

基于所述样本图像、所述目标样本图像和所述转换特征确定编码损失;

基于所述编码损失调整所述图像变换网络的参数。

8.根据权利要求7所述的方法,其特征在于,所述基于所述样本图像、所述目标样本图像和所述转换特征确定编码损失,包括:基于所述样本图像与所述转换特征确定第一损失;基于所述样本图像和所述目标样本图像确定第二损失;

基于所述第一损失和所述第二损失确定所述编码损失。

9.根据权利要求7所述的方法,其特征在于,所述基于样本图像,对所述图像变换网络进行训练,包括:基于所述图像变换网络对所述样本图像进行先增加后减少的数值变换,得到第一目标图像;

基于所述图像变换网络对所述样本图像进行先减少后增加的数值变换,得到第二目标图像;

基于所述第一目标图像、所述第二目标图像和其分别对应的所述样本图像,确定所述图像变换网络的循环一致损失;

基于所述循环一致损失调整所述图像变换网络的参数。

10.根据权利要求9所述的方法,其特征在于,所述基于样本图像,对所述图像变换网络进行训练,包括:基于所述编码损失和所述循环一致损失加权求和的结果调整所述图像变换网络的参数。

11.根据权利要求9所述的方法,其特征在于,所述基于样本图像,对所述图像变换网络进行训练,包括:结合判别网络训练所述图像变换网络,所述判别网络用于判断输入图像是真实图像或图像变换网络得到的目标图像。

12.根据权利要求11所述的方法,其特征在于,所述结合判别网络训练所述图像变换网络,包括:基于所述图像变换网络对所述样本图像进行变换,得到目标图像;

将所述目标图像和所述样本图像输入所述判别网络,得到判别结果,所述判别结果包括所述目标图像和所述样本图像分别是否为真实图像;

基于所述判别结果确定所述判别网络和所述图像变换网络的判别损失;

基于所述判别损失训练所述判别网络和所述图像变换网络。

13.根据权利要求12所述的方法,其特征在于,所述基于所述判别损失训练所述判别网络和所述图像变换网络,包括:基于第一判别损失调整所述图像变换网络的参数,基于第二判别损失调整所述判别网络的参数;所述第一判别损失和所述第二判别损失分别基于所述判别网络相邻两次判别得到的判别结果获得。

14.根据权利要求12所述的方法,其特征在于,所述基于样本图像,对所述图像变换网络进行训练,包括:基于所述编码损失、所述循环一致损失和所述判别损失加权求和的结果调整所述图像变换网络的参数。

15.根据权利要求12所述的方法,其特征在于,所述基于样本图像,对所述图像变换网络进行训练,包括:对样本图像进行特征提取得到样本图像特征;

对经所述图像变换网络变换得到的目标样本图像进行特征提取,得到目标样本图像特征;

基于所述样本图像特征和所述目标样本图像特征,调整所述图像变换网络的参数。

16.根据权利要求15所述的方法,其特征在于,基于所述样本图像特征和所述目标样本图像特征,调整所述图像变换网络的参数,包括:基于所述样本图像特征和所述目标样本图像特征之间的距离,确定所述图像变换网络的特征损失;

基于所述特征损失调整所述图像变换网络的参数。

17.根据权利要求16所述的方法,其特征在于,所述基于样本图像,对所述图像变换网络进行训练,包括:基于所述编码损失、所述循环一致损失、所述判别损失和所述特征损失加权求和的结果调整所述图像变换网络的参数。

18.根据权利要求16所述的方法,其特征在于,所述基于样本图像,对所述图像变换网络进行训练,包括:对样本图像进行背景提取得到图像背景;

对经所述图像变换网络变换得到的目标样本图像进行背景提取,得到目标图像背景;

基于所述图像背景和所述目标图像背景,调整所述图像变换网络的参数。

19.根据权利要求18所述的方法,其特征在于,所述基于所述图像背景和所述目标图像背景,调整所述图像变换网络的参数,包括:基于所述图像背景和所述目标图像背景之间的距离,确定所述图像变换网络的背景损失;

基于所述背景损失调整所述图像变换网络的参数。

20.根据权利要求19所述的方法,其特征在于,所述基于样本图像,对所述图像变换网络进行训练,包括:基于所述编码损失、所述循环一致损失、所述判别损失、所述特征损失和所述背景损失加权求和的结果调整所述图像变换网络的参数。

21.一种图像变换装置,其特征在于,包括:

编码单元,用于基于图像变换网络对图像进行特征提取,得到图像特征;

变换单元,用于基于所述图像特征中的部分或全部特征,确定目标图像特征;通过对所述部分或全部特征中对应的数值增加第一设定数值,使所述图像中增加一个或多个人脸属性,以确定所述目标图像特征;或,通过对所述部分或全部特征中对应的数值减少第二设定数值,使所述图像中一个或多个人脸属性消减掉,以确定所述目标图像特征;

解码单元,用于基于图像变换网络对所述目标图像特征进行解码,得到目标图像。

22.根据权利要求21所述的装置,其特征在于,所述变换单元,具体用于对所述图像特征中的部分或全部特征进行特征变换,得到目标图像特征。

23.根据权利要求21所述的装置,其特征在于,还包括:有效特征单元,用于基于所述图像变换网络中各网络层的参数,确定所述图像特征中待变换数值的有效特征;

存储单元,用于存储所述有效特征的位置信息;

所述变换单元,具体用于对所述图像特征中的所述有效特征进行数值变换,得到目标图像特征。

24.根据权利要求23所述的装置,其特征在于,所述图像变换网络包括至少一个卷积层;

所述有效特征单元,具体用于基于所述至少一个卷积层中各卷积层的卷积核大小和步长,确定所述图像特征中能够表达所述图像的有效特征。

25.根据权利要求24所述的装置,其特征在于,所述有效特征单元,用于基于第一卷积层输出的第一卷积特征或所述图像,利用第二卷积层的卷积核大小和步长,确定所述第二卷积层输出的第二卷积特征中的有效特征;所述第一卷积层的输出特征为所述第二卷积层的输入。

26.根据权利要求21‑25任一所述的装置,其特征在于,还包括:训练单元,用于基于样本图像,对所述图像变换网络进行训练。

27.根据权利要求26所述的装置,其特征在于,所述训练单元,包括:转换特征模块,用于基于所述图像变换网络对所述样本图像进行特征提取得到样本图像特征,基于样本图像特征获得待转换数值的样本特征构成的转换特征;

数值变换模块,用于对所述转换特征中各特征进行数值变换,得到目标样本图像特征;

特征解码模块,用于基于所述图像变换网络对所述目标样本图像特征进行解码,得到目标样本图像;

编码损失模块,用于基于所述样本图像、所述目标样本图像和所述转换特征确定编码损失;

第一参数调整模块,用于基于所述编码损失调整所述图像变换网络的参数。

28.根据权利要求27所述的装置,其特征在于,所述编码损失模块,具体用于基于所述样本图像与所述转换特征确定第一损失;基于所述样本图像和所述目标样本图像确定第二损失;

基于所述第一损失和所述第二损失确定所述编码损失。

29.根据权利要求27所述的装置,其特征在于,所述训练单元,包括:第一图像模块,用于基于所述图像变换网络对样本图像进行先增加后减少的数值变换,得到第一目标图像;

第二图像模块,用于基于所述图像变换网络对所述样本图像进行先减少后增加的数值变换,得到第二目标图像;

循环一致损失模块,用于基于所述第一目标图像、所述第二目标图像和其分别对应的所述图像,确定所述图像变换网络的循环一致损失;

第二参数调整模块,用于基于所述循环一致损失调整所述图像变换网络的参数。

30.根据权利要求29所述的装置,其特征在于,所述训练单元,具体用于基于所述编码损失和所述循环一致损失加权求和的结果调整所述图像变换网络的参数。

31.根据权利要求29所述的装置,其特征在于,所述训练单元,具体用于结合判别网络训练所述图像变换网络,所述判别网络用于判断输入图像是真实图像或图像变换网络得到的目标图像。

32.根据权利要求31所述的装置,其特征在于,所述训练单元,包括:图像变换模块,用于基于所述图像变换网络对所述样本图像进行变换,得到目标图像;

图像判别模块,用于将所述目标图像和所述样本图像输入所述判别网络,得到判别结果,所述判别结果包括所述目标图像和所述样本图像分别是否为真实图像;

判别损失模块,用于基于所述判别结果确定所述判别网络和所述图像变换网络的判别损失;

第三参数调整模块,用于基于所述判别损失训练所述判别网络和所述图像变换网络。

33.根据权利要求32所述的装置,其特征在于,所述第三参数调整模块,具体用于基于第一判别损失调整所述图像变换网络的参数,基于第二判别损失调整所述判别网络的参数;所述第一判别损失和所述第二判别损失分别基于所述判别网络相邻两次判别得到的判别结果获得。

34.根据权利要求32所述的装置,其特征在于,所述训练单元,具体用于基于所述编码损失、所述循环一致损失和所述判别损失加权求和的结果调整所述图像变换网络的参数。

35.根据权利要求32所述的装置,其特征在于,所述训练单元,包括:样本特征模块,用于对样本图像进行特征提取得到样本图像特征;

变换特征提取模块,用于对经所述图像变换网络变换得到的目标样本图像进行特征提取,得到目标样本图像特征;

第四参数调整模块,用于基于所述样本图像特征和所述目标样本图像特征,调整所述图像变换网络的参数。

36.根据权利要求35所述的装置,其特征在于,所述第四参数调整模块,具体用于基于所述样本图像特征和所述目标样本图像特征之间的距离,确定所述图像变换网络的特征损失;基于所述特征损失调整所述图像变换网络的参数。

37.根据权利要求36所述的装置,其特征在于,所述训练单元,用于基于所述编码损失、所述循环一致损失、所述判别损失和所述特征损失加权求和的结果调整所述图像变换网络的参数。

38.根据权利要求36所述的装置,其特征在于,所述训练单元,包括:图像背景模块,用于对样本图像进行背景提取得到图像背景;

背景提取模块,用于对经所述图像变换网络变换得到的目标样本图像进行背景提取,得到目标图像背景;

第五参数调整模块,用于基于所述图像背景和所述目标图像背景,调整所述图像变换网络的参数。

39.根据权利要求38所述的装置,其特征在于,所述第五参数调整模块,具体用于基于所述图像背景和所述目标图像背景之间的距离,确定所述图像变换网络的背景损失;基于所述背景损失调整所述图像变换网络的参数。

40.根据权利要求39所述的装置,其特征在于,所述训练单元,用于基于所述编码损失、所述循环一致损失、所述判别损失、所述特征损失和所述背景损失加权求和的结果调整所述图像变换网络的参数。

41.一种电子设备,其特征在于,包括处理器,所述处理器包括权利要求21至40任意一项所述的图像变换装置。

42.一种电子设备,其特征在于,包括:存储器,用于存储可执行指令;

以及处理器,用于与所述存储器通信以执行所述可执行指令从而完成权利要求1至20任意一项所述图像变换方法的操作。

43.一种计算机存储介质,用于存储计算机可读取的指令,其特征在于,所述指令被执行时执行权利要求1至20任意一项所述图像变换方法的操作。