1.一种端到端的图像掩码预训练方法,其特征在于,当图像块表示的维度不为1时,所述预训练方法的步骤包括:S1.对原始图像数据集中各数据样本分别进行预处理操作,得到待处理图像数据集;
S2.对所述待处理图像数据集中各数据样本分别进行不重叠切割,并从切割得到的各图片块中随机采样出指定比例的图像块作为可见块、剩余图像块作为掩码块;
S3.将所述可见块分别输入至两个不同的编码器中,由其中一个编码器生成可见块表示,另一个编码器用于根据可见块内容推理出掩码块表示;
S4.根据所述掩码块对所述掩码块表示与掩码块位置进行匹配和排序,匹配排序后将所述可见块表示和所述掩码块表示组合构建形成完整的原图像表示输入到解码器中进行原始图像重构;
所述步骤S2中,通过对所述待处理图像数据样本中每一个样本进行均匀不重叠切割,形成相同大小、相同数量的图片块,并按指定比例随机抽取出一个集合可见块,将剩余的图像块作为掩码块,其中。
2.根据权利要求1所述的端到端的图像掩码预训练方法,其特征在于,所述步骤S3的步骤包括:S301.将所述可见块中每一个图像块通过线性映射层将RGB三通道扩展成指定维度,得到可见块特征;
S302.初始化一个额外的cls token 并与所述可见块特征进行拼接构成一个特征矩阵,其中用于聚集所有可见块的特征以作为输入的全局特征;
S303.将所述特征矩阵与对应的位置信息共同作为输入特征,分别输入至两个编码器中以分别得到对应的可见块表示、掩码块表示。
3.根据权利要求1所述的端到端的图像掩码预训练方法,其特征在于,两个编码器均为基于Transformer-Encoder模块构成,通过所述Transformer-Encoder模块中Add & Norm层、Feed Forward层和多头注意力层提取图像块的高级语义特征,所述Add & Norm层包括Add层和Layer Normalization层,其中Add层用于进行残差连接,所述LayerNormalization 层用于将神经网络中的隐藏层归一化为标准正态分布。
4.根据权利要求3所述的端到端的图像掩码预训练方法,其特征在于,所述步骤S3中,两个编码器基于Transformer-Encoder模块生成可见块表示和掩码块表示,步骤包括:将第l层Transformer-Encoder模块的输入作为第l+1层Transformer-Encoder的输入,通过多头注意力层和Add & Norm层提取高级特征:其中,是多头注意力层,是LayerNormalization层,对应Add层;
将提取的所述高级特征输入到Feed Forward层和Add & Norm层以提取高级语义特征:其中,是一个两层的全连接层,第一层的激活函数为 ReLU,第二层不使用激活函数,采用如下公式进行表述:其中,和为待训练的特征矩阵;和为待训练的特征偏置;
由各图像块提取得到的高级语义特征最终得到各可见块和掩码块对应的高级语义表示,得到所述可见块表示和掩码块表示。
5.根据权利要求4所述的端到端的图像掩码预训练方法,其特征在于,所述多头注意力层函数中包括若干个自注意力函数,所述多头注意力层将所有自注意力函数的输出特征拼接在一起,所述自注意力函数包括:其中,、、是第l个Encoder模块中待训练的三个特征矩阵,用于对特征进行线性映射操作,每个自注意力函数所对应的线性映射矩阵、、不同,是矩阵和的列数。
6.根据权利要求1~5中任意一项所述的端到端的图像掩码预训练方法,其特征在于,所述步骤S4中,通过掩码表示匹配头根据所述掩码块将所述掩码块表示与掩码块位置进行匹配和排序,所述掩码表示匹配头的具体执行步骤包括:将掩码块输入到第三个编码器以获取掩码块嵌入空间,并与对应的掩码块的位置信息一一对应组合构建得到一个表示空间,所述第三编码器为在预训练过程中对第一编码器进行梯度滑动平均得到,第一编码器为所述两个编码器中用于生成可见块表示的编码器,掩码块表示由所述两个编码器中第二编码器生成得到;
使用掩码块表示和所述掩码块嵌入空间中的元素对应构建出两个集合和,并通过将集合中元素排序使得两个集合和元素间的KL散度最小;
根据排序后的的元素值相对应中的元素在构建的所述表示空间中查找对应匹配的掩码表示的位置信息,并根据查找得到的掩码块表示的位置信息对掩码块表示进行排序,得到排序后的掩码块表示。
7.根据权利要求6所述的端到端的图像掩码预训练方法,其特征在于,所述步骤S4中,按照下式构建模型的预训练目标函数:其中,是组合后的完整图像嵌入,为可见块表示,表示解码器,表示根据学习的图像嵌入生成的图像,MSE表示均方误差函数以用于计算生成的图像和原图像X之间的像素损失。
8.根据权利要求1所述的端到端的图像掩码预训练方法,其特征在于,当图像块表示的维度为1时,所述预训练方法的步骤包括:S1.对原始图像数据集中各数据样本分别进行预处理操作,得到待处理图像数据集;
S2.对所述待处理图像数据集中各数据样本分别进行不重叠切割,并将切割出的各图像块随机分成集合A、B;
S3.将集合A作为可见块输入到模型中,生成可见块集合A的特征表示、以及推理出将集合B作为掩码块的特征表示;将集合B作为可见块输入到模型中,生成可见块集合B的特征表示、以及推理出作为将集合A作为掩码块的特征表示;
S4.通过掩码表示匹配头对特征表示进行排序,以使得特征表示和特征表示间的KL散度最小,以及通过掩码表示匹配头对特征表示进行排序,使得特征表示和特征表示间的KL散度最小;
S5.分别将排序后的特征表示与特征表示、排序后的特征表示与特征表示进行组合后,共同作为目标图像的高级语义表示。
9.一种计算机装置,包括处理器以及存储器,所述存储器用于存储计算机程序,其特征在于,所述处理器用于执行所述计算机程序以执行如权利要求1~8中任意一项所述方法。