1.一种用于图像掩码预训练的知识蒸馏方法,其特征在于,步骤包括:
S01.获取待学习图像数据样本集,将所述待学习图像数据样本集中各图像数据样本均匀不重叠切割成图片块,并抽取出指定比例的图像块作为可见块;
S02.将抽取出的可见块输入至学生模型,生成可见块的低级语义表示和整个图像的高级语义表示;
S03.根据所述高级语义表示生成第一图像标记,以及使用第一老师模型生成整个图像的第二图像标记,根据所述第一图像标记与所述第二图像标记计算高级语义表示损失,所述第一老师模型为基于Token Reconstruction的图像掩码模型;
S04.将可见块输入到第二老师模型中生成可见块的低级语义表示,根据所述第二老师模型生成的所述低级语义表示与步骤S02中学生模型生成的所述低级语义表示计算低级语义表示损失,所述第二老师模型为基于Pixel Reconstruction的图像掩码模型;
S05.根据所述低级语义表示损失以及所述高级语义表示损失,建立图像掩码知识蒸馏的目标函数以完成图像掩码知识蒸馏。
2.根据权利要求1所述的用于图像掩码预训练的知识蒸馏方法,其特征在于,所述步骤S02包括:S201.将抽取出的可见块转换成一个二维的特征矩阵,并通过线性映射层扩展每一个图片块的特征维度,得到可见块特征;
S202.初始化一个额外的cls token,并与所述可见块特征拼接成一个特征矩阵;
S203.将拼接成的所述特征矩阵与对应的位置信息共同作为学生模型的输入;
S204.由所述学生模型根据输入生成可见块表示,所述可见块表示包括低级语义表示和整个图像的高级语义表示。
3.根据权利要求1所述的用于图像掩码预训练的知识蒸馏方法,其特征在于,所述学生模型为Transformer-Encoder模块,通过所述Transformer-Encoder模块前向传播生成可见块表示,包括:通过多头注意力层和Add&Norm层提取潜在特征:
el′=LayerNorm(el+MultiHeadAttention(el))其中,el是第l层Transformer-Encoder模块的输入,el′是第l层提取出的潜在特征,MultiHeadAttention(·)是多头注意力层,LayerNorm(·)是所述Add&Norm层中的LayerNormalization层以用于将神经网络中的隐藏层归一化为标准正态分布,el+MultiHeadAttention(el)对应为所述Add&Norm层中的Add层,多头注意力层函数MultiHeadAttention(el)将多个自注意力函数Self-Attention(el)的输出特征拼接在一起;
将第l层提取出的潜在特征el′输入到Feed Forward层和Add&Norm层以提取语义特征:el+1=LayerNorm(el′+FeedForward(el′))其中,FeedForward(·)是一个两层的全连接层,第一层的激活函数为ReLU,第二层不使用激活函数,采用如下公式进行表述:max(0,el′Wl1+bl1)Wl2+bl2
其中,Wl1和Wl2为待训练的特征矩阵;bl1和bl2为待训练的特征偏置;
完成所有可见块的特征提取后,最终得到关于每一个可见块的低级语义信息和整个图像的高级语义信息。
4.根据权利要求3所述的用于图像掩码预训练的知识蒸馏方法,其特征在于,各个所述自注意力函数Self-Attention(el)包括:Ql=el*Wl,Q
Kl=el*Wl,K
Vl=el*Wl,V
其中,Wl,Q、Wl,K、Wl,V是第l个Encoder模块中待训练的三个特征矩阵,用于对特征el进行线性映射操作,d是矩阵Ql和Kl的列数,不同自注意力函数Self-Attention(el)对应不同的线性映射矩阵Wl,Q、Wl,K、Wl,V。
5.根据权利要求1所述的用于图像掩码预训练的知识蒸馏方法,其特征在于,所述步骤S03中,使用图像标记建模头生成所述高级语义表示的第一图像标记,所述图像标记建模头包括一个线性层和一个Softmax层,表达式为:其中,WsHv[0]+bs对应表示线性层,Ws为待训练的特征矩阵,bs为待训练的特征偏置,Hv[0]表示高级语义表示。
6.根据权利要求5所述的用于图像掩码预训练的知识蒸馏方法,其特征在于,所述步骤S03中,使用交叉熵函数构建高级语义表示损失函数以计算所述高级语义表示损失,所述高级语义表示损失函数表示为:其中,losss()是交叉熵函数,表示根据所述高级语义表示生成的第一图像标记,Ys表示第一老师模型生成的第二图像标记。
7.根据权利要求1~6中任意一项所述的用于图像掩码预训练的知识蒸馏方法,其特征在于,所述步骤S04中,使用均方误差函数构建低级语义表示损失函数以计算低级语义表示损失,所述低级语义表示损失函数表示为:其中,表示学生模型生成的低级语义表示,Yl表示第二老师模型生成的所述低级语义表示,lossl()是均方误差函数,Yli∈Yl表示每一个可见块i的低级特征表示,Hv[i]表示第i个可见块的信息,Hv[i]中Hv[1:I]表示低级语义表示。
8.根据权利要求1~6中任意一项所述的用于图像掩码预训练的知识蒸馏方法,其特征在于,所述步骤S05中,将所述低级语义表示损失以及所述高级语义表示损失相加,建立得到图像掩码知识蒸馏的目标函数,即:其中,表示所述高级语义表示损失,表示根据所述高级语义表示生成的第一图像标记,Ys表示第一老师模型生成的第二图像标记,表示所述低级语义表示损失,losss()是交叉熵函数,表示学生模型生成的低级语义表示,Yl表示第二老师模型生成的所述低级语义表示,lossl()是均方误差函数。
9.根据权利要求1~6中任意一项所述的用于图像掩码预训练的知识蒸馏方法,其特征在于,所述步骤S01中还包括对原始图像数据样本集进行转、裁剪、着色处理以扩充样本量,再将各样本转换为统一尺寸得到待学习图像数据样本集,对待学习图像数据样本集中各图像数据样本均匀不重叠切割成相同大小、相同数量的图片块。
10.一种用于图像掩码预训练的知识蒸馏装置,包括处理器以及存储器,所述存储器用于存储计算机程序,其特征在于,所述处理器用于执行所述计算机程序以执行如权利要求1~8中任意一项所述方法。