1.一种基于自我对比学习克服视觉问答的语言先验方法,其特征在于:所述方法的具体步骤如下:Step1、首先将问题、图像与答案选项作为实验数据,其次对图像进行预处理提取特征图,并将问题预处理生成问题特征向量;
Step2、使用注意力层学习去识别图像与问题相关区域;经Step1预处理操作之后,注意力机制利用问题来计算图像区域上的注意力权重,以定位与问题相关的图像区域,将得到的问题特征q和加权后的图像特征 融合为联合表示r;
Step3、使用反注意力层识别当前不相关或不太相关的图像区域;以利用Step2获得的注意力权重值,将问题特征q和加权后的反图像特征 融合为联合表示r0,将问题集中在不相关的区域并忽略图像上的相关区域以形成对比;
Step4、后处理:通过Step3得到的联合表示r0以及Step1得到的联合表示r,训练网络来优化自对比损失Lscl和基础VQA分类损失Lvqa的联合损失,能专注于相关区域来预测关于输入图像的给定问题的正确答案。
2.根据权利要求1所述基于自我对比学习克服视觉问答的语言先验的方法,其特征在于:所述步骤Step1包括如下:Step1.1、首先对图像使用预训练模型Faster‑R‑CNN提取一系列视觉目标特征;
Step1.2、将问题进行词嵌入,传递到一个单层GRU生成问题特征。
3.根据权利要求1所述基于自我对比学习克服视觉问答的语言先验的方法,其特征在于:所述步骤Step2的具体步骤如下:Step2.1、经过提取出图像和问题特征之后,将其传递到注意力层,将图像特征和问题特征转换到相同维度的空间;
Step2.2、计算注意力权重,然后为每一个特征图生成一个归一化注意力权重,最终的图像特征为所有输入特征加权之和;
Step2.3、将加权后的图像特征与问题特征融合为联合特征表示r,进而计算在候选答案集A每一个答案a的概率分布
4.根据权利要求1所述基于自我对比学习克服视觉问答的语言先验的方法:所述步骤Step3的具体步骤如下:Step3.1、注意力机制使用问题来计算图像区域上的注意力权重,以定位与问题相关的图像区域;然而,反注意力机制是注意力机制的对立面,它通过将问题集中在不相关的区域并忽略图像上的相关区域以形成对比来帮助VQA模型克服语言先验;
Step3.2、以Step2得到注意力权重值为中心出发,使用注意力层获得的注意力权重a,‑a归一化的反注意力权重α′,其执行负操作,Opponent(a)=‑a或者Opponent(a)=e 使得大的权重变小,小的权重变大,从而使用softmax函数输出的注意力权重集中在不相关的区域上;
Step3.3、学习完反注意力权重之后,生成加权后的反图像特征 随后类似于注意力层将加权后的反图像特征 与Step1得到的问题特征q融合为联合特征表示r0,进而计算在候选答案集A每一个答案a的概率分布
5.根据权利要求1所述基于自我对比学习克服视觉问答的语言先验的方法:所述步骤Step4的具体步骤如下:Step4.1、首先损失层包含两个分支,第一个损失层旨在利用基础的VQA模型概率分布其通过最小化二进值交叉熵损失来进行优化,损失函数被定义为Lvqa;
Step4.2、另一个分支是自对比层,旨在利用自对比层预测的答案分布来增加问题和图像之间的相关性和依赖性,首先考虑了类似于QICE[36]的目标函数,得益于此,认为基于同一图像中的相关和不相关区域的问题预测的答案之间存在一定的相关性,即预测的答案是相互排斥的,因此排除了自对比层定义为的部分答案,然后提出了自对比学习损失Lscl来增加问题与图像的相关性;
Step4.3、训练了所提出的网络来优化Step4.2中的自对比损失Lscl和Step4.1中的基础VQA分类损失Lvqa的联合损失,通过这个方案,能专注于相关区域来预测关于输入图像的给定问题的正确答案。
6.根据权利要求1所述基于自我对比学习克服视觉问答的语言先验的方法,其特征在于:所述反注意力层的模型类似于注意力层,首先使用注意力层获得的注意力权重a,归一化的反注意力权重α′计算为:α′=softmax(opponent(a)),在学习完反注意力权重之后,生成反图像特征 如下所示: 将加权后的反图像特征 与得到的问题特征q融合为联合特征表示r0,进而计算在候选答案集A每一个答案a的概率分布 其公式表示如下:q′0=f″q(q),v′0=f″v(v), 其中,fv,fq,f0是变换函数并且w0表示需要学习的权重矩阵。