1.一种基于CCA算法的中文社区问答跨模态检索方法,其特征在于,具体步骤如下:(1)从中文社区的问答对中提取数据集,数据集中包括文本数据和图像数据,然后分别采用LDA主题模型提取文本数据的特征向量、采用卷积神经网络特征提取方法和K-means聚类方法提取图像数据的特征向量,分别得到文本数据的特征向量集X和图像数据的特征向量集Y;
(2)用CCA算法将步骤(1)文本数据的特征向量集和图像数据的特征向量集映射到同一个特征空间,然后计算文本和图像的相似度,构建图像和文本跨模态检索模型;
(3)利用步骤(2)得到的跨模态检索模型进行跨模态检索,实现图文交叉检索。
2.根据权利要求1所述的基于CCA算法的中文社区问答跨模态检索方法,其特征在于:所述步骤(1)采用LDA主题模型提取文本数据的特征向量,具体步骤如下:Step1:将数据集中文本数据进行预处理,预处理包括分词、去除停用词、词干提取;
Step2:将预处理后的所有文本数据即问答对中的单词作为行,文本问答对中各单词出现的频率作为列,构建文本词频矩阵;
Step3:将步骤(2)的文本词频矩阵转化为一个向量列表,该列表包括单词以及单词出现的频率;
Step4:利用LDA主题模型计算每个单词对应文本数据中每条问答对的概率,设所有问答对组成的集合为D,集合D中的第k条问答对为dk,设主题的集合为T,集合T中第i个主题为ti,设每条问答对dk由一个以上的单词组成,单词集合为{w1,w2,,,wj,,,wn},则D中涉及的所有的不同的单词组成词典VOC,则每条问答对对应主题集合T中的第i个主题的概率pti为:其中,nti表示每条问答对中对应第i个主题的单词的数目,n是问答对中所有单词的总数;
计算主题集合T中的主题t生成词典VOC中第j个单词的概率pwj:其中,Nti表示主题t对应到词典VOC中第j个单词出现的数目,N表示主题t下所有单词的总数;
则第k条问答对dk中的第j个单词wj对应主题ti的概率Pi(wj|dk)为:Pi(wj|dk)=pti*pwj;
然后对主题集合T中的所有主题求概率,得到问答对中的第j个单词wj对应的所有主题的概率,并将概率最大的作为第j个单词wj最终对应的主题;
将问答对集合D中所有的问答对分别重复以上步骤,得到分类主题,即完成用LDA模型对文本数据进行分类,分类后的结果作为文本数据的特征向量集X。
3.根据权利要求1所述的基于CCA算法的中文社区问答跨模态检索方法,其特征在于:所述步骤(1)采用卷积神经网络特征提取方法和K-means聚类方法提取图像数据的特征向量的具体步骤如下:Step1:首采用opencv图像处理方法将原始图像在不改变像素的基础上调整为统一大小的图像,并将处理后的图片作为卷积神经网络的输入层;
Step2:图像数据集经过卷积神经网络进行特征提取,卷积神经网络模型输出图像数据集的特征向量空间集,且特征向量空间集中的每个特征向量列表表示每张图像的局部特征;
Step3:然后采用K-means聚类方法将Step2得到的特征向量空间集中的所有的特征向量进行聚类分析,聚类后得到的特征向量集为图像数据的特征向量集Y。
4.根据权利要求1所述的基于CCA算法的中文社区问答跨模态检索方法,其特征在于:所述步骤(2)用CCA算法将步骤(1)文本数据的特征向量集和图像数据的特征向量集映射到同一个特征空间,然后计算文本和图像的相似度,并对图文进行交叉检索,具体步骤如下:Step1:分别计算文本数据的特征向量集X、图像数据的特征向量集Y的均值Step2:然后根据 计算数据集的协方差矩阵Cw(X,Y):Step3:将文本数据的特征向量集X进行线性表示,投影到一维,并定义μ=aTX,将图像数据的特征向量集Y进行线性表示,投影到一维,并定义v=bTY,其中aT,bT分别为特征向量的转置,然后最大化μ和v的相关性,μ和v的相关性表示如下:对该公式进行求解,首先固定分母,求解分子,将Corr(μ,v)的求解条件重写为:Maximize:aTCw(X,Y)b
subject to:aTCw(X,X)a=1,bTCw(Y,Y)b=1对其求解的方式是构造Lagrangian等式:
其中,λ和θ为参数,对λ和θ分别求导,并令导数为0,得到方程组:Cw(X,Y)b-λCw(X,X)a=0 (1)
Cw(Y,X)a-θCw(Y,Y)b=0 (2)
再将其转换为:
aT(Cw(X,Y)b-λCw(X,X)a)=0
bT(Cw(Y,X)a-θCw(Y,Y)b)=0
根据已知条件中aTCw(X,X)a=1,bTCw(Y,Y)b=1,得到:λ=θ=aTCw(X,Y)b
求出的λ即为Corr(μ,v),故只需计算λ的最大值,将上面的方程(1)(2)进一步简化,得到Cw(X,X)-1Cw(X,Y)b=λa(3)
Cw(Y,Y)-1Cw(Y,X)b=λb(4)
其矩阵的表示形式为:
最终求解结果为:
-1 -1 2
Cw(X,X) Cw(X,Y)Cw(Y,Y) Cw(Y,X)=λa对其求解特征值λ2和特征向量a,再根据上述等式(3)求得b,故得到了文本数据X和图像数据Y的替代变量u和v,λ是u和v的相关系数;
Step4:令向量ρD作为文本特征向量集X映射到u的最大子空间上的一个空间坐标,令向量ρI作为图像特征空间Y映射到v的最大子空间上的一个空间坐标,给定一个查询问答对dk和它的文本特征投影向量ρD,求出文本特征投影向量ρD与所有的图像数据特征投影向量之间的距离d(ρT,ρI),将计算的d(ρT,ρI)最小值的图像作为与文本特征投影向量ρD最匹配的检索图像,通过文本数据的投影向量与图像数据的投影向量得到文本数据集中的问答对与图像数据集中的最匹配的图像;同理,给定一个查询图像I和它的投影ρI,求出图像的投影ρI与所有的文本数据的投影ρD之间的距离d(ρI,ρD),将计算的d(ρI,ρD)的最小值的问答对作为与图像投影最匹配的问答对,从而实现图像和文本间的交叉检索,构建了图像和文本的跨模态检索模型。