1.一种基于记忆网络和卷积增强的视觉问答处理方法,其特征在于,包括如下步骤:
S1、对视觉问答数据集进行预处理,获得同一图像对应的问题本文对;
S2、对同一图像对应的问题本文对分别进行特征提取,对应获得图像初始特征和问题初始特征;
S3、以图像初始特征与问题初始特征为输入,以问题的全局特征、图像的全局特征、卷积增强后图像的问题引导特征为输出,构建协同注意力层,获得问题的全局特征、图像的全局特征、卷积增强后图像的问题引导特征;
S4、以问题的全局特征、图像的全局特征、以及卷积增强后图像的问题引导特征为输入,以图像的记忆交互特征为输出构建记忆交互层,获得含有互补信息的图像的记忆交互特征;
S5、以步骤S3获得的问题的全局特征、卷积增强后图像的问题引导特征,以及步骤S4获得的图像的记忆交互特征为输入,以图文融合特征为输出构建特征融合层,进行特征融合,获得图文融合特征;
S6、以图文融合特征为输入,以预测的问题答案为输出构建分类层,获得图像预测的答案。
2.根据权利要求1所述的一种基于记忆网络和卷积增强的视觉问答处理方法,其特征在于,步骤S1包括如下子步骤:S101、根据视觉问答数据集中图像id,将相同图像id和其问题文本进行聚集,获得聚类后的数据,S102、按照预设批次加载步骤S101得到的聚类后的数据,对任一批次的数据,首先进行随机排序,然后按照id对图像‑问题文本对进行分组,获得同一图像对应的问题本文对。
3.根据权利要求1所述的一种基于记忆网络和卷积增强的视觉问答处理方法,其特征在于,步骤S2中,图像的图像初始特征,按如下方法获得:利用目标检测器Faster R‑CNN针对各个图像进行特征提取,对在图像上检测到的物体的概率设置置信度阈值,并且获得检测到的物体的数量为p,图像的初始特征为:单元包括顺序连接的第一多头自注意力‑残差连接与归一化模块、第二多头自注意力‑残差连接与归一化模块、以及卷积增强的FFN模块Conv‑ffn、残差连接与归一化模块;
第一个堆叠的自注意力单元用于接收来自特征提取层输出的问题的初始特征,第一个卷积增强的引导注意力单元用于接收来自特征提取层输出的图像的初始特征;每个堆叠的自注意力单元对前一个堆叠的自注意力单元输出的特征进行叠加,最后一个堆叠的自注意力单元作为协同注意力层的第一输出端,用于输出问题的全局特征;
最后一个堆叠的自注意力单元将问题的全局特征输出至第一个卷积增强的引导注意力单元,第一个卷积增强的引导注意力单元将图像的初始特征和问题的全局特征进行卷积增强,然后输出至第一个卷积增强的引导注意力单元之后顺序连接的卷积增强的引导注意力单元,得到图像的全局特征、以及卷积增强后图像的问题引导特征。
6.根据权利要求5所述的一种基于记忆网络和卷积增强的视觉问答处理方法,其特征在于,步骤S3中,每个堆叠的自注意力单元配置执行两个阶段操作,然后得到问题的全局特征,具体为:第一阶段为SAphase1,包括多头自注意力环节、残差连接环节、以及归一化处理环节;
第二阶段为SAphase2,包括前馈神经网络环节、残差连接环节、以及归一化处理环节,
具体如下式:SA_Qo=SA_Qi+norm(MSA(SA_Qi)) (1)
SA_Qs=SA_Qo+norm(FFN(SA_Qo)) (2)
其中,SA_Qi表示输入堆叠的自注意力单元进行处理的问题特征,SA_Qo表示经过堆叠的自注意力单元第一个阶段操作后得到的问题特征,SA_Qs表示经过堆叠的自注意力单元第二个阶段操作后得到的单层堆叠的自注意力单元最终输出的问题特征;+表示残差连接操作,norm( )表示归一化处理,MSA( )表示多头注意力操作,FFN( )表示对特征进行非线性变换;
SA_Qs经过多层堆叠的自注意力单元叠加得到最终的自注意力特征,即问题的全局特征SA_Q,计算如公式(3):其中,l表示多层堆叠的自注意力单元堆叠的层数,l∈[1,6],表示第l层堆叠的自注意力单元的第一个阶段操作,表示第l层堆叠的自注意力单元的第二个阶段操作,对于第l层堆叠的自注意力单元,SA_Ql‑1表示为该层的输入,SA_Ql表示为该层的输出,同时以递归方式进一步送入第l+1层堆叠的自注意力单元作为输入,对于第一层堆叠的自注意力单元的输入SA_Q0则为问题的初始特征Q。
7.根据权利要求6所述的一种基于记忆网络和卷积增强的视觉问答处理方法,其特征在于,步骤S3中,通过m个相同的卷积增强的引导注意力单元进行叠加来获取卷积增强后图像的问题引导特征,每个卷积增强的引导注意力单元被配置执行两个阶段操作,然后得到卷积增强后图像的问题引导特征,具体是:第一个阶段为GCAphase1,图像的初始特征V经过多头自注意力环节、残差连接环节、归一化处理环节,获得图像的全局特征GCA_Vglobal;然后GCA_Vglobal与问题的全局特征SA_Q再次经过多头自注意力环节、残差连接环节、归一化处理环节得到由问题引导的图像特征GCA_Vguided;
第二阶段为GCAphase2,将GCA_Vguided输入卷积增强的FFN模块Conv‑ffn、残差连接与归一化模块,获得图像的局部特征GCA_Vlocal;
图像的局部特征GCA_Vlocal计算过程如公式(4)至公式(6)所示:GCA_Vlocal1=gelu(Conv1(GCA_Vguided)) (4)GCA_Vlocal2=DWconv(GCA_Vlocal1) (5)
GCA_Vlocal=gelu(Conv2(GCA_Vlocal2)) (6)
其中,经过卷积增强的FFN模块Conv‑ffn的第一、二层卷积操作后分别得到图像特征GCA_Vlocal1与GCA_Vlocal2,GCA_Vlocal表示经过卷积增强的FFN模块Conv‑ffn的第三层卷积操作后得到的卷积增强的FFN模块Conv‑ffn层最终输出的图像的局部特征,Conv1与Conv2为常规的二维卷积,DWconv为深度可分离卷积,操作分为两步进行:深度卷积和点卷积,最后将图像的局部特征GCA_Vlocal与问题引导的图像特征GCA_Vguided进行残差连接与层归一化得到信息更加全面的引导注意力特征,计算如公式(7)所示:GCA_Vt=GCA_Vguided+norm(GCA_Vlocal) (7)
其中,GCA_Vt表示单层卷积增强的引导注意力单元处理后得到的卷积增强后图像的问题引导特征,该特征融合了问题引导下图像的局部和全局信息;
GCA_Vt经过多层卷积增强的引导注意力单元叠加得到最终的卷积增强后图像的问题引导特征GCA_V,计算过程如公式(8):其中,m表示卷积增强的引导注意力单元堆叠的层数,m∈[1,6],表示第m层卷积增强的引导注意力单元的第一个阶段操作,表示第m层卷积增强的引导注意力单元的第二个阶段操作;对于第m层卷积增强的引导注意力单元,GCA_Vm‑1表示为该层的输入,GCA_Vm表示为该层的输出同时以递归方式进一步输入第m+1层卷积增强的引导注意力单元作为输入,对于第一层卷积增强的引导注意力单元的输入GCA_V0则为图像的初始特征V,图像的全局特征GCA_Vglobal经过多层叠加逐层更新。
8.根据权利要求6所述的一种基于记忆网络和卷积增强的视觉问答处理方法,其特征在于,步骤S4中,构建记忆交互层包括输入特征的生成、通用记忆的存储、注意力的计算、记忆交互特征的输出,具体包括以下步骤:以下子步骤:S401、输入特征的生成:根据图像id获取与该图像对应的当前问题的特征向量SA_Qid,生成一个二元组(id,SA_Qid)作为记忆交互层的输入;
S402、通用记忆的存储:通用记忆M采用键值对存储记忆,以图像id为键Key,以该图像对应的历史问题的特征向量的拼接值为值Value,键值增量式存储,对于输入特征中的一个二元组(id,SA_Qid),在通用记忆M的键中未查询到id,则新增以图像id为键的条目,其值为当前问题的特征向量SA_Qid;若在通用记忆M的键中查询到id,则先提取其对应的值SA_Q_Mid,再与当前问题的特征向量SA_Qid拼接后更新原值,通过增量的方式记忆图像所对应的所有历史信息;
S403、注意力计算:使用通用记忆M中存储的历史问题的特征SA_Q_M,以及卷积增强的引导注意力单元计算过程中产生的图像全局特征GCA_Vglobal,经过注意力操作得到图像的记忆补充特征ATT_V,计算过程如公式(9):ATT_V=attention(SA_Q_M,SA_Q_M,GCA_Vglobal) (9)其中,attention为注意力计算;
S404、记忆交互特征的输出:对卷积增强后图像的问题引导特征GCA_V和图像的记忆补充特征ATT_V进行重加权融合操作得到图像的记忆交互特征ATT_VR,计算过程如公式(10)至公式(12):a_v=softmax(GCA_V) (10)
ATT_Vrw=fc(a_v*ATT_V) (11)
ATT_VR=concat(ATT_Vrw,fc(GCA_V)) (12)
其中,a_v为对GCA_V进行归一化后得到的概率分布,softmax为归一化激活函数,fc为全连接层,concat为向量拼接操作;通过softmax归一化GCA_V后得到a_v,利用a_v对ATT_V进行重加权得到ATT_Vrw最后将GCA_V与ATT_Vrw经全连接层维度变换后拼接得到最终的图像记忆交互特征ATT_VR。
9.根据权利要求8所述的一种基于记忆网络和卷积增强的视觉问答处理方法,其特征在于,步骤S5中构建特征融合层,进行特征融合,具体是:对记忆交互层的输出ATT_VR再次进行重加权融合操作得到图文融合特征JOINT,从更深层次优化图像特征,精确提取视觉问题中的互补信息,计算过程如公式(13)至公式(16):joint=GCA_V*SA_Q (13)
a_j=softmax(joint) (14)
VJ=fc(a_j*ATT_VR) (15)
JOINT=concat(VJ,fc(joint)) (16)
其中,joint为初始的图文融合特征,a_j为对joint进行归一化后得到的概率分布,VJ为a_j对ATT_VR进行重加权后得到的图像特征。
10.根据权利要求9所述的一种基于记忆网络和卷积增强的视觉问答处理方法,其特征在于,步骤S6具体为:将图文融合特征JOINT输入由多个线性层组成的网络,最后通过sigmoid函数将结果控制在0‑1之间,作为每个候选答案的概率,分类的计算过程如公式(17):S=sigmoid(linear(JOINT)) (17)
其中,sigmoid为非线性激活函数,S∈RA为模型预测答案,RA为可映射的答案空间,A为训练集中预设的答案的数目,linear表示特征经过多个线性层变换,取S中概率最大的为模型预测答案,并使用二元交叉熵函数作为损失函数训练多分类器。