1.一种基于注意力机制的目标变换方法,其特征在于,包括:训练所述神经网络模型:
步骤1,使用随机数初始化神经网络模型的参数;
步骤2,输入一张属于类别X的图像x到模型的生成器G中,进入编码阶段,x经过一个卷积层来计算出第一层特征图f1;
步骤3,随后f1会经过两个分支网络:(a)一个卷积层得到未经注意力掩膜处理的第二层特征图 (b)先经过两个卷积层再经过一个反卷积层得到与 对应的注意力掩膜M2;将M2与 逐个元素相乘,所得乘积再与 的元素逐个相加,得到处理后的第二层特征图f2;
步骤4,f2再按步骤3的方式得到下一层的特征图f3;随后,f3会经过6层卷积核尺寸为3*
3、步长为1的残差卷积层进一步精细特征;
步骤5,进入解码阶段,反卷积层作为解码器;f3会经过两个分支网络:(a)一个反卷积层得到未经注意力掩膜处理的第二层特征图 (b)先经过两个反卷积层再经过一个卷积层得到与 对应的注意力掩膜M4;将M4与 逐个元素相乘,所得乘积再与 的元素逐个相加,得到处理后的第二层特征图f5;
步骤6,进入输出阶段,f5通过(a)一个反卷积层得到转换的图像y′;(b)先经过两个反卷积层再经过一个卷积层得到与y′对应的注意力掩模MG(x);
步骤7,y′会被输入另一个生成器F中,经过与步骤2-6相同的操作后得到x′和对应的注意力掩摸MF(G(x));
步骤8,将x和x′输入判别器DX中,判别器DX会返回输入图像属于类别X的概率;同样地,y和y′输入判别器DY中,得到y和y′属于类别Y的概率;由此计算出对抗损失函数的值:步骤9,根据x,x′,y,y′计算出循环一致损失函数的值:Lcyc(G,F)=||x′-x||1+||y′-y||1#(3)步骤10,使用MG(x)将x和y′中背景与转换目标分离,算出背景变化损失:Lbg(x,G)=γ*||B(x,MG(x))-B(y′,MG(x))||1#(4)B(x,MG(x))=H(x,1-MG(x))#(5)γ设置为0.000075到0.0075;H(a,b)函数的值为a中元素逐个与b中相乘;同样,可以用MF(G(x))将y和x′算出背景变化损失Lbg(y,F);
步骤11,用MG(x)和MF(G(x))算出注意力变化损失:Latt(x,G,F)=α*||MG(x)-MF(G(x))||1+β*(MG(x)+MF(G(x)))#(6)α设置为0.000003到0.00015,β设置为0.0000005到0.00005;
步骤12,学习率为0.00002到0.002的反向传播算法,根据之前步骤8-11中得出的误差,调节模型参数;
步骤13,将y当做输入图像,再经过步骤2-11的操作算出误差,不同的是是先经过生成器F再经过生成器G);再按步骤12的方法调节模型参数;
步骤14,不断重复步骤2-13,直到模型参数收敛;
利用上述训练得到的神经网络模型进行图像的目标变换。
2.根据权利要求1所述的基于注意力机制的目标变换方法,其特征在于,α设置为
0.000015。
3.根据权利要求1所述的基于注意力机制的目标变换方法,其特征在于,β设置为
0.000005。
4.根据权利要求1所述的基于注意力机制的目标变换方法,其特征在于,γ设置为
0.00075。
5.根据权利要求1所述的基于注意力机制的目标变换方法,其特征在于,所述反向传播算法经过Adam优化。
6.根据权利要求1所述的基于注意力机制的目标变换方法,其特征在于,所述反向传播算法的学习率为0.0002。
7.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1到6任一项所述方法的步骤。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1到6任一项所述方法的步骤。
9.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1到6任一项所述的方法。