1.一种基于零次学习的自适应跨模态特征映射图像识别方法,其特征在于,包括以下步骤:S1、提取细粒度视觉特征;
S2、构建鸟类语义知识图谱并提取关联语义特征;
S3、将鸟类图像特征和语义特征映射到特征空间中,优化正负例样本对的相似概率,将数据分别与正例样本和负例样本在特征空间进行对比。
2.根据权利要求1所述的基于零次学习的自适应跨模态特征映射图像识别方法,其特征在于,所述S1提取细粒度视觉特征具体步骤如下:S11、鸟类图像预处理;
S12、对预处理好的鸟类图像进行Patch编码和位置编码;
S13、将编码后的向量输入视觉特征提取模块,输出细粒度视觉特征。
3.根据权利要求2所述的基于零次学习的自适应跨模态特征映射图像识别方法,其特征在于,S11鸟类图像预处理的具体步骤如下:S111、调整图像大小:将鸟类图像尺寸统一调整为224×224大小;
S112、归一化处理:使图像像素值分布在0‑255之间的点的值分布在[0,1]之间;
S113、鸟类图像切分:将输入224×224大小的图像按照16×16大小的Patch进行划分,划分后得到196个Patches;
S114、划分数据集:将鸟类图像数据集随机分成鸟类图像训练集和鸟类图像测试集。
4.根据权利要求2所述的一种基于零次学习的自适应跨模态特征映射图像识别方法,其特征在于,S114划分数据集中,鸟类图像训练集和鸟类图像测试集的比例为8:2;且200种鸟类都均匀地分布在鸟类图像训练集和鸟类图像测试集中。
5.根据权利要求2所述的基于零次学习的自适应跨模态特征映射图像识别方法,其特征在于,S12对预处理好的鸟类图像进行Patch编码和位置编码的具体步骤如下:Patch编码:通过线性映射将每个数据格式为[16,16,3]的Patch映射得到一个长度为
768的向量;然后在得到的向量中插入一个用于分类的分类向量,该分类向量是一个可训练的参数,长度为768;再与之前从图片中生成的向量拼接在一起,得到编码格式为[197,768]的向量;
位置编码:选择一个可训练的参数累加在原向量上,位置编码的格式为[197,768]:其中,PE是位置编码,pos是Patch在图像中的位置,i是编码的位置,dmodel是Patch编码的长度。
6.根据权利要求3所述的基于零次学习的自适应跨模态特征映射图像识别方法,其特征在于,S13将编码后的向量输入视觉特征提取模块,输出细粒度视觉特征的具体步骤如下:使用层标准化对每个编码后的向量进行标准化处理,然后传入多头自注意力模块,根据当前查询对输入信息赋予不同的权重聚合向量query、key和value;其中key和value是成对的,对于一个给定的 表示d维的实数向量,通过内积计算来匹配k个key向量,得到的内积通过Softmax来归一化得到k个权重,则query其注意力的输出就是k个key向量对应的value向量的加权平均值;然后对query、key和value进行线性变换得到矩阵Q,K,V:Q=XWQ
K=XWK
V=XWV
其中,WQ,WK,WV是权重矩阵,X是输入的token向量, 表示N个d维实数向量;对于矩阵 可以通过矩阵计算它们的注意力输出:T
其中, 是缩放因子以避免点积带来的方差影响,K是矩阵K的转置,Softmax()是激活函数;将注意力输出传入多头自注意力模块输出,并将多头自注意力得到的输出拼接在一起,最后通过线性变换得到最终的输出:y是预测结果,LN是层归一化, 表示第L层的第0个向量。
7.根据权利要求6所述的基于零次学习的自适应跨模态特征映射图像识别方法,其特征在于,所述多头自注意力采用6个自注意力应用在输入序列上,最后再将6个不同的自注意力头得到的输出拼接在一起;
0
MultiHead(Q,K,V)=Concat(head1,head2,...,head6)W0
其中,W为权值矩阵,MultiHead()为多头自注意力函数,Concat()为拼接函数,head1,head2,...,head6表示6个自注意力头。
8.根据权利要求1所述的基于零次学习的自适应跨模态特征映射图像识别方法,其特征在于,所述S2中构建鸟类语义知识图谱包括知识抽取、知识融合、知识加工三个阶段,具体如下:S211、知识抽取:使用基于规则和词典的方法在现有知识库中提取鸟类实体概念、属性以及实体间的相互关系,在此基础上形成本体化的知识表达;
S212、知识融合:在获得鸟类新知识之后,消除实体、关系、属性等指称项与事实对象之间的歧义,使不同来源的知识能够得到规范化整合;
S213、知识加工:对经过融合的新知识进行质量评估,将评估合格的部分加入知识库中。
9.根据权利要求1所述的基于零次学习的自适应跨模态特征映射图像识别方法,其特征在于,所述S2中提取关联语义特征的具体方法如下:基于语义知识图谱G构建其邻接矩阵A和度矩阵D;利用初始化方法将节点信息转化成向量X,然后构建2层的GCN提高生成语义的质量,采用ReLU和Softmax作为激活函数,整体的正向传播公式为:(0)
其中, 为缩放邻接矩阵,ReLU为激活函数,X为节点特征向量,W 为GCN第一层的权值(1)矩阵,用于将节点的特征表示映射为相应的隐层状态,W 为GCN第二层的权值矩阵,用于将节点的隐层表示映射为相应的输出;最终输出节点向量Z即为该节点的语义特征向量。
10.根据权利要求1所述的基于零次学习的自适应跨模态特征映射图像识别方法,其特征在于,S3将鸟类图像特征和语义特征映射到特征空间中,优化正负例样本对的相似概率的具体方法为:通过语义到视觉空间映射、视觉到语义空间映射、视觉和语义到第三方空间映射三种不同的映射方式将图像特征In和语义特征Gn分别映射到三个不同的特征空间O1、O2、O3当中,然后将映射之后的图像特征和语义特征划分为正例样本对和负例样本对,利用交叉熵损失优化正负例样本对的相似概率,使得正例样本对的相似性越来越高,负例样本对的相似性越来越低,具体为:其中,LI表示图像I的对比学习损失,G+为图像特征I的对应语义特征,τ表示温度超参数,C代表样本对的数量;最后,通过将数据分别与正例样本和负例样本在特征空间进行对比,来学习样本的特征表示。