1.一种基于复杂网络分析方法的视觉问答问题解决方法,其特征在于:包括语义概念网络构建、非随机深度游走、图像和文本特征融合及分类器,语义概念网络构建旨在挖掘概念的共现模式以增强语义表达,非随机深度游走实现复杂网络关系到低维特征的映射,在构建图像语义概念网络的基础上,应用深度游走算法学习语义概念网络中节点的潜在关系,并将复杂网络中的节点映射成一个低维特征向量,从而挖掘高维数据中的低维结构,提取到的特征向量既包含节点即语义概念本身的属性,也包含节点即语义概念之间的关系属性,多项式逻辑回归融合图像和文本特征,将融合后图像和文本特征输入分类器以解决视觉问答问题。
2.根据权利要求1所述基于复杂网络分析方法的视觉问答问题解决方法,其特征在于:包括以下步骤:
步骤1)给定一幅图像提取它的卷积神经网络特征;
步骤2)给定图像对应的一个文本问题提取它的词袋特征;
步骤3)给定训练集,对训练集中每幅图像进行目标检测,提取检测目标对应的语义概念,集合训练集中的所有问答对提取的语义概念组建语义概念词汇表;
步骤4)应用语义概念词汇表,基于词激活力构建语义概念网络;
步骤5)提取给定图像的语义概念,并根据其在图像中的位置信息组成语义概念序列;
步骤6)把获取的语义概念序列输入到之前构建好的语义概念网络中,执行非随机深度游走,由此获取深度游走特征矢量;
步骤7)融合深度游走特征矢量、步骤1)提取的卷积神经网络特征以及步骤2)提取的词袋特征得到融合特征;
步骤8)将融合特征应用分类器给出问题答案。
3.根据权利要求2所述基于复杂网络分析方法的视觉问答问题解决方法,其特征在于:所述步骤4中的基于词激活力构建语义概念网络的方法:
步骤41)计算概念词汇表中两两成对概念的词激活力和亲和力,词激活力的定义如下式所示,
在一个语料库中,假设给定一对词,记为词一i和词二j的词频一fi和词频二fj,以及他们的共生频率fij,那么词激活力wafij预测了词一i和词二j表现出的激活力强度,其中dij是词一i和词二j共生频率中词一i和词二j前向距离的平均值,对成对词汇词一i和词二j,他们之间的亲和力 计算公式为:Kij={k|wafki>0orwafkj>0},Lij={l|wafil>0orwafjl>0},OR(x,y)=min(x,y)/max(x,y).
其中,OR(x,y)表示两个查询词入链和出链的平均重叠率,Kij表示入链词集合,Lij表示出链词集合,k表示入链词,wafki表示词k和词i间的激活力强度,wafkj表示表示词k和词j间的激活力强度,wafil表示词i和词l间的激活力强度,wafjl表示词j和词l间的激活力强度;
步骤42),构建网络结构N=(V,E,W),其中V表示节点集,E表示连接节点的边缘集,局部共现活跃性或者亲和力,作为边缘权重W的衡量标准。
4.根据权利要求1所述基于复杂网络分析方法的视觉问答问题解决方法,其特征在于:所述分类器为Softmax分类器。