欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202110401006X
申请人: 广州大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-12-24
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于增强多模态对齐的广义零样本图像分类方法,其特征在于,包括以下步骤:图像获取步骤:获取待识别图像;

图像分类步骤:将所述待识别图像输入广义零样本图像分类模型中确定待识别图像的识别目标类别;

所述广义零样本图像分类模型为通过训练步骤和测试步骤得出;

所述训练步骤具体包括:

特征编码步骤:采用两个超球面变分自编码器分别对训练样本的视觉特征和语义特征编码进共享的潜层空间中;

潜层向量对齐步骤:设置损失函数,将训练模型的优化方向趋向于视觉潜层向量和语义潜层向量的分布对齐,即通过将超球面变分损失、交叉对齐损失、潜层分布损失、互信息损失、联合熵损失以及分类损失相结合形成混合损失,优化损失函数,收敛训练模型,使用梯度下降法训练视觉编码器、语义编码器、视觉解码器、语义解码器和第一分类器的参数,当训练模型的测试准确率达到预设训练准确度阈值时,保存训练模型所有的最优参数,基于所述训练模型所有的最优参数得到广义零样本图像分类模型的参数;

分布边界阈值获取步骤:将已见类的语义潜层向量定义为对应样本的类中心,寻找每一个已见类在潜层空间中的分布边界阈值;

所述测试步骤具体包括:

第一分类处理步骤:将测试样本通过视觉编码器编码到潜层空间中,计算与每一个已见类中心的余弦相似度再与分布边界阈值进行比较;

通过比较结果判断测试样本是否投影到已见类的边界里面,如果是,交由已见类分类器处理,否则交由未见类分类器处理;

第二分类处理步骤:分别对已见类和未见类进行类别识别。

2.根据权利要求1所述的基于增强多模态对齐的广义零样本图像分类方法,其特征在于,所述第二分类处理步骤,具体步骤包括:当交由已见类分类器处理时,利用第一分类器进行分类,所述第一分类器由所述潜层向量对齐步骤得到;当交由未见类分类器处理时,利用第二分类器进行分类,第二分类器采用基于减缓特征混淆的零样本分类器。

3.根据权利要求1所述的基于增强多模态对齐的广义零样本图像分类方法,其特征在于,所述特征编码步骤,具体包括以下步骤:部署两个超球面变分自编码器,用于在单位超球面上建立潜层空间,在所述潜层空间中,根据近似圆进行划分数据,令近似圆包围的数据作为已见类数据,令散布在近似圆之外的数据为未见类数据;

所述超球面变分自编码器遵循编解码结构的范式,编码器将输入特征编码得到潜层向量,解码器将潜层向量表示为输入特征的概率分布;

在潜层空间中每个类基于vMF分布表示。

4.根据权利要求3所述的基于增强多模态对齐的广义零样本图像分类方法,其特征在于,所述部署两个超球面变分自编码器,具体步骤为:设置两个超球面变分自编码器,即第一超球面变分自编码器和第二超球面变分自编码器,初始化两个超球面变分自编码器,所述第一超球面变分自编码器设有视觉编码器、视觉解码器,所述第二超球面变分自编码器设有语义编码器、语义解码器。

5.根据权利要求4所述的基于增强多模态对齐的广义零样本图像分类方法,其特征在于,所述在潜层空间中每个类基于vMF分布表示,具体步骤为:将已见类的视觉特征、语义特征分别通过视觉编码器、语义编码器编码到潜层空间中,对于每一个特征经过编码后的输出均服从近似于均值为u,方差为σ的高斯分布,从不同模态合成的高斯分布中分别采样第一潜层向量z1和第二潜层向量z2,且第一潜层向量z1和第二潜层向量z2均服从vMF分布。

6.根据权利要求1所述的基于增强多模态对齐的广义零样本图像分类方法,其特征在于,所述潜层向量对齐步骤,具体包括以下步骤:重构原始数据步骤:利用超球面变分自编码器重构原始数据,建立超球面变分损失,所述超球面变分损失包括两个超球面变分自编码器的损失,所述超球面变分自编码器的损失表示为对数似然函数的变分下界;

模态不变信息捕获步骤:基于交叉对齐损失对潜层向量捕获模态不变信息;

潜层向量分布对齐步骤:最小化潜层分布损失,其中潜层分布损失为在高斯分布的情况下,根据两个分布的参数之间的Wasserstein距离进行对齐潜层向量分布得到;

模态对齐步骤:基于互信息损失对齐潜层空间中的不同模态的潜层向量;

联合分布的熵最大化步骤:最大化联合熵损失;

第一分类器构建步骤:构建第一分类器,所述第一分类器用于对已见类数据编码在潜层空间的向量进行分类、在所述测试步骤中当判断为已见类时进行监督分类,在训练阶段将已见类数据编码在潜层空间的向量直接用于分类,即构建分类损失;

训练步骤:通过将超球面变分损失、交叉对齐损失、潜层分布损失、互信息损失、联合熵损失以及分类损失相结合形成混合损失,优化损失函数,收敛训练模型,使用梯度下降法训练视觉编码器、语义编码器、视觉解码器、语义解码器和第一分类器的参数,最终保存训练模型所有的最优参数,基于所述训练模型所有的最优参数得到广义零样本图像分类模型的参数;

所述混合损失具体为:

Loss=LSVAE+LCA+LDA+LMI+LEM+Lcls;

其中,Loss表示混合损失,LsVAE表示超球面变分损失,LCA表示交叉对齐损失,LDA表示潜层分布损失,LMI表示互信息损失,LEM表示联合熵损失,Lcls表示分类损失。

7.根据权利要求1所述的基于增强多模态对齐的广义零样本图像分类方法,其特征在于,所述分布边界阈值获取步骤,具体包括以下步骤:已见类数据分布步骤:将每个已见类数据在潜层空间中由vMF分布表示,同一类样本在潜层空间中的分布近似地用单位超球面上的一个圆来表示;

分布边界阈值确定步骤:寻求已见类数据在潜层空间中的边界;

设定语义特征在潜层空间中的表示Ci作为类中心,视觉特征在潜层空间中的表示zij围绕类中心Ci进行随机分布;

计算每个视觉潜层向量zij与每个类中心Ci之间的余弦相似度D(zij,Cj);

通过设定数据界限值γ,确定在每一个视觉潜层向量zij与类中心Ci的余弦相似度中抽取预设距离数据作为分布边界阈值η,所述分布边界阈值η小于γ,其中γ∈(0,1)且η大于

1‑γ。

8.根据权利要求1所述的基于增强多模态对齐的广义零样本图像分类方法,其特征在于,所述第一分类处理步骤,具体包括以下步骤:设置一个测试样本的视觉特征,将视觉特征通过训练好的视觉编码器将其编码在潜层空间中得到潜层向量;

根据分布边界阈值去比较测试样本和已见类中心之间的余弦相似度,进而确定测试样本是否被投影到流形中;

如果是,交由已见类分类器处理,否则交由未见类分类器处理。

9.根据权利要求8所述的基于增强多模态对齐的广义零样本图像分类方法,其特征在于,所述根据分布边界阈值去比较测试样本和已见类中心之间的余弦相似度,利用分布边界阈值η,通过分类归属公式判断测试样本属于未见类还是已见类;

所述分类归属公式具体为:

其中Result代表数据归属情况,具体的,0代表未见类,1代表已见类,zij表示第i个类别的第j个视觉特征,Ci表示第i个类别的中心,D(zij,Ci)表示视觉潜层向量zij与类中心Ci之间的余弦相似度,max表示取最大值处理,AS表示已见类样本的语义特征。

10.根据权利要求1所述的基于增强多模态对齐的广义零样本图像分类方法,其特征在于,在所述训练步骤执行前,还包括训练准备步骤;

所述训练准备步骤,具体包括以下步骤:数据集获取步骤:采用预先由卷积神经网络提取的高维图像特征作为视觉特征,采用人工标注信息作为语义特征;

数据集划分步骤:将数据集划分为两种类别互不重叠的已见类和未见类。