欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202310778826X
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于掩码预训练的图像自监督表示学习方法,其特征在于,步骤包括:

S01.获取图像数据样本集并进行预处理操作,得到处理后图像数据样本集;

S02.将处理后图像数据样本集中各图像数据样本均匀不重叠切割成图片块,从切割成的图片块中选取部分作为可见块、其余部分作为掩码块;

S03.将所述可见块分别输入至两个不同的编码器,其中第一编码器用于生成可见块标记,第二编码器用于根据可见块内容来推理出掩码块标记;

S04.将原始图像数据样本输入至VAE模型中,生成整个图像对应的图像标记,所述图像标记包括可见块标记以及掩码块标记;

S05.将两个编码器生成的所述可见块标记、所述掩码块标记以及VAE模型生成的所述图像标记进行拟合训练,得到训练好的模型;

S06.使用所述训练好的模型学习目标图像中每一个图像块对应的高级语义表征。

2.根据权利要求1所述的基于掩码预训练的图像自监督表示学习方法,其特征在于,所述步骤S03包括:S301.将所述可见块转换成二维的特征矩阵,并通过线性映射层以扩展每一个图片块的特征维度,得到可见块特征;

S302.初始化两个额外的cls token,并分别与所述可见块特征进行拼接,得到两个特征矩阵;

S303.分别将两个所述特征矩阵加上对应的位置信息,并分别作为所述第一编码器、第二编码器的输入特征;

S304.由两个编码器中第一编码器生成可见块对应的标记以及由第二编码器推理出掩码块对应的标记。

3.根据权利要求1所述的基于掩码预训练的图像自监督表示学习方法,其特征在于,所述步骤S05中,还包括将第二编码器推理出的所述掩码块标记与掩码块位置进行匹配,以根据匹配结果构建掩码块对应的标记。

4.根据权利要求3所述的基于掩码预训练的图像自监督表示学习方法,其特征在于,所述将第二编码器推理出的所述掩码块标记与掩码块位置进行匹配,以根据匹配结果构建掩码块对应的标记的步骤包括:将VAE模型生成的图像标记与对应的掩码块的位置信息一一对应组合,构建一个标记空间;

分别由VAE模型生成的图像标记、第二编码器推理出的所述掩码块标记构建形成两个集合Au和将构建的Au和 集合进行排序以使得两个集合间的均方误差最小;

根据排序后的 集合的元素值相对应Au集合中的元素在所述标记空间中查找和匹配对应的掩码标记的位置信息;

使用查找出的所述掩码标记的位置信息作为第二编码器推理出的掩码块标记的位置信息以对掩码块标记进行排序,构建得到所述掩码块对应的标记。

5.根据权利要求1所述的基于掩码预训练的图像自监督表示学习方法,其特征在于,所述步骤S05中,还包括构建模型预训练目标函数,步骤包括:根据第一编码器生成的可见块标记、VAE模型生成的可见块标记计算可见块标记损失,以及根据第二编码器生成的掩码块标记、VAE模型生成的掩码块标记计算掩码块损失;

根据所述可见块标记损失、所述掩码块损失构建模型预训练目标函数。

6.根据权利要求5所述的基于掩码预训练的图像自监督表示学习方法,其特征在于,构建的所述模型预训练目标函数为:其中, 表示可见块标记损失,Yv表示第一编码器生成的可见块标记, 表示VAE模型生成的可见块标记,lc()表示交叉熵函数, 表示掩码块损失,Yu表示第二编码器生成的掩码块标记, 表示VAE模型生成的掩码块标记根据掩码标记的位置排序后的标记,λ是掩码块语义信息在整个图像语义信息中的占比。

7.根据权利要求1~6中任意一项所述的基于掩码预训练的图像自监督表示学习方法,其特征在于,所述步骤S06中,通过将目标图像输入至训练好的模型中,获取整个图像中每一个图像块对应的高级语义表征,其中由第一编码器生成的图像块表示直接作为对应的图像块表示,将第二编码器推理的掩码块表示与掩码块表示的位置信息进行匹配,推理出最终的掩码块表示。

8.根据权利要求7所述的基于掩码预训练的图像自监督表示学习方法,其特征在于,所述步骤S06的具体步骤包括:S601.将目标图像均匀不重叠切割成图像块,并按指定比例划分为第一集合A、第二集合B;

S602.将所述第一集合A作为可见块、第二集合B作为掩码块输入至训练后的模型中,得到可见块集合对应的第一特征表示eA和第一标记 以及推理出掩码块集合对应的第二特征表示eA→B和第二标记 以及将所述第二集合B作为可见块、第一集合A作为掩码块输入至训练后的模型中,得到可见块集合对应的第三特征表示eB和第三标记 以及推理出作为掩码块集合的第四特征表示eB→A和第四标记S603.将所述第三标记 和所述第二标记 进行匹配,以根据所述第三标记 的位置信息对所述第一特征表示eA→B进行排序,以及根据所述第一标记 的位置信息对所述第四特征表示eB→A进行排序;

S604.分别将排序后的所述第一特征表示eA→B、排序后的所述第四特征表示eB→A与所述第一特征表示eA进行组合,得到目标图像的高级语义表示。

9.根据权利要求1~6中任意一项所述的基于掩码预训练的图像自监督表示学习方法,其特征在于,两个所述编码器均分别包括Transformer‑Encoder模块、线性层和Softmax层,所述Transformer‑Encoder模块通过Add&Norm层、Feed Forward层和多头注意力层提取可见块的高级语义特征,所述高级语义特征包括可见块表示和掩码块表示,所述Add&Norm层包括Add和Layer  Normalization层,所述Add层为用于实现残差连接,所述Layer Normalization层用于将神经网络中的隐藏层归一化为标准正态分布,所述Feed Forward层为包含两层的全连接层,其中第一层的激活函数为ReLU,第二层不使用激活函数;两个编码器按照 生成对应的标记,其中 表示第一编码器生成的可见块标记或者第二编码器生成的掩码块标记,er表示所述Transformer‑Encoder模块的输出,Softmax表示所述Softmax层,wrer+br表示所述线性层,Wr为待训练的特征矩阵;br为待训练的特征偏置。

10.一种计算机装置,包括处理器以及存储器,所述存储器用于存储计算机程序,其特征在于,所述处理器用于执行所述计算机程序以执行如权利要求1~9中任意一项所述方法。