1.一种协方差度量驱动小样本GIF短视频情感识别方法,其特征在于,包括如下步骤:(1)从给定的数据集之中抽取样本构成支撑集和查询集,所述支撑集和查询集共享相同的标记空间;
(2)将支撑集和查询集的GIF短视频按照设定帧率分割为若干候选帧图像;
(3)利用3D卷积神经网络C3D提取由设定长度的候选帧图像组成的视频片段的序列特征,同时利用卷积神经网络CNN按顺序提取相应视频片段中帧图像的图像特征,将CNN提取到的每帧图像特征进行哈达玛内积运算,得到最终的图像视觉特征,将序列特征与图像视觉特征串联融合,输入到卷积长短时记忆神经网络ConvLSTM中,得到具有时间序列的GIF短视频特征;
(4)将支撑集和查询集的每个样本按照步骤(3)提取GIF短视频特征,并进行拼接后输入协方差度量模块计算查询集样本和支撑集样本之间的相似性;
(5)根据查询集样本和支撑集样本之间的相似性的高低,利用softmax分类器预测查询集样本最终的情感类别的概率矩阵,采用批量随机梯度下降法来优化损失函数,得到训练好的网络模型;
(6)将测试集样本输入上述训练好的网络模型当中,预测出待识别的GIF短视频情感类别;
所述步骤(1)中对于给定的数据集,从待训练的N类数据集随机抽取C类作为支撑集,C
2.根据权利要求1所述的协方差度量驱动小样本GIF短视频情感识别方法,其特征在于,所述步骤(3)中包括:
(3.1)将步骤(2)提取出的视频候选帧图像每连续L帧视为一个序列,使用3D卷积神经网络提取出每个序列的池化五层特征;其中L为设定的序列长度,不足L帧时对最后一帧进行过采样,填补为一个序列;
(3.2)将每个序列中的图像按顺序输入卷积神经网络CNN提取出每帧图像的池化五层特征,将CNN提取到的每帧图像特征进行哈达玛内积运算,得到最终的图像视觉特征;
(3.3)将步骤(3.1)中的池化五层序列特征与步骤(3.2)中的图像视觉特征串联融合作为表示视频片段的底层输入特征;
(3.4)将步骤(3.3)融合后的视频片段底层特征输入双层ConvLSTM网络,得到GIF短视频的高层语义特征。
3.根据权利要求1所述的协方差度量驱动小样本GIF短视频情感识别方法,其特征在于,所述步骤(4)中包括:
(4.1)支撑集每个样本xj提取的特征f(xj),j∈[1,C*K],查询集每个样本xi提取的特征f(xi),i∈[1,M],特征f(xj)和f(xi)通过特征拼接得到 其中,C为支撑集中随机抽取的类别数量,K为支撑集中每个类别抽取的样本数量,M为查询集每个类别抽取的样本数量;
(4.2)支撑集样本和查询集样本拼接后的特征共同输入协方差度量模块g,协方差度量模块计算出支撑集样本与查询集样本之间的相似性rj,i。
4.根据权利要求3所述的协方差度量驱动小样本GIF短视频情感识别方法,其特征在于,支撑集样本和查询集样本特征拼接的方式为:当支撑集与查询集都为单个样本时 表示每类支撑集样本xj的特征与查询集样本xi的特征分别进行Concatenate操作,即按列进行拼接,当K>1或M>1时,先分别将支撑集各个类别的样本特征相加,然后将查询集的样本特征相加,最后将支撑集与查询集相加后的特征进行拼接。
5.根据权利要求3所述的协方差度量驱动小样本GIF短视频情感识别方法,其特征在于,所述协方差度量模块为:T
rj,i=(f(xj)‑f(xi)) W(f(xj)‑f(xi))d*l d*l d*d
其中f(xi)∈R ,f(xj)∈R ,d,l分别表示样本特征的行数和列数,W∈R 表示拼接后特征行向量之间的协方差矩阵,是由Eα,β,α∈[1,d],β∈[1,d],组成的对称矩阵,其中表示拼接后α,β行的特征表示,μα,μβ表示拼接后α,β行的均值。
6.根据权利要求1所述的协方差度量驱动小样本GIF短视频情感识别方法,其特征在于,所述步骤(5)中包括:
(5.1)利用Softmax分类器进行分类,得到最终的情感分类概率矩阵结果:其中,C为支撑集中随机抽取的类别数量,K为每个类别抽取的样本数量,M为查询集每个类别抽取的样本数量,rj,i为支撑集样本xj与查询集样本xi之间的相似性,pji是查询集样本xi属于支撑集样本xj的概率;
(5.2)利用交叉熵损失函数进行优化,损失函数如下:i
利用批量随机梯度下降法来优化损失函数,学习得到min J,其中,y是查询集样本xi的j
类别标签,y 是支撑集样本xj的类别标签,ξ[·]是指示函数,当表达式为真时输出为1否则输出为0。
7.根据权利要求1所述的协方差度量驱动小样本GIF短视频情感识别方法,其特征在于,所述步骤(6)中包括:
(6.1)对于T类测试集样本,该T类测试集样本与训练过程N类样本不相交,从T类数据集随机抽取C类作为支撑集,每次测试从C类中各抽取K张GIF短视频样本,将支撑集剩余的数据集中每个类别各随机抽取M张未标记的GIF短视频样本作为模型待识别的查询集;C
(6.2)将分配好的测试集输入训练好的模型当中,将输入的未标记的查询集样本不断地与支撑集样本进行协方差度量,根据相似性的高低,最终预测出未标记的查询集样本的所属类别。
8.一种协方差度量驱动小样本GIF短视频情感识别系统,其特征在于,包括:样本划分模块,用于从给定的数据集之中抽取样本构成支撑集和查询集,所述支撑集和查询集共享相同的标记空间;对于给定的数据集,从待训练的N类数据集随机抽取C类作为支撑集,C
视频分割模块,用于将支撑集和查询集的GIF短视频按照设定帧率分割为若干候选帧图像;
视频特征提取模块,利用3D卷积神经网络C3D提取由设定长度的候选帧图像组成的视频片段的序列特征,同时利用卷积神经网络CNN按顺序提取相应视频片段中帧图像的图像特征,将CNN提取到的每帧图像特征进行哈达玛内积运算,得到最终的图像视觉特征,将序列特征与图像视觉特征串联融合,输入到卷积长短时记忆神经网络ConvLSTM中,得到具有时间序列的GIF短视频特征;
协方差度量模块,用于计算GIF短视频特征之间的相似性;
情感识别模块,用于将支撑集样本和待识别的查询集样本之间提取的特征进行拼接,并将拼接后的特征利用协方差度量模块计算出待识别的查询集样本与支撑集样本之间相似性,根据相似性的高低,利用softmax分类器预测待识别的查询集样本最终情感类别,其中预测情感类别的损失函数,采用随机梯度下降法进行优化。
9.一种协方差度量驱动小样本GIF短视频情感识别系统,其特征在于,包括至少一台计算机设备,所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1‑7任一项所述的协方差度量驱动小样本GIF短视频情感识别方法。