1.基于多通道张量池化的多模态深度分层融合情感分析方法,其特征在于包括以下步骤:步骤1、获取多模态信息数据
步骤2、多模态信息数据预处理
采用长短期记忆网络或者门控循环单元网络,分别提取每个模态信息数据各时刻的短期记忆向量作为该时刻的特征向量;
其中 代表第m个模态向量的第t个时刻对应的特征向量,即是LSTM网络第t个时刻的短期记忆向量,gout为LSTM网络的输出门,C(t)为LSTM网络的长时记忆单元,f为激活函数;
步骤3、多模态数据信息组织
将步骤2预处理后的各模态信息数据特征向量组织成伪二维矩阵G,第一个维度为时间维度,第二个维度为模态维度,矩阵中的每一个元素代表的是对应时刻模态的特征向量;
其中T表示数据时间维度的大小,M表示模态数;
步骤4、注意力机制设置
针对步骤3所得伪二维矩阵G,对所有时刻所有模态数据设置一个注意力网络,得到新的伪二维矩阵G1:其中t∈[1,T], 分别为各模态 第t个时刻的权重; 表示模乘;
步骤5、多模态信息的多通道高阶多项式张量池化操作
5.1初始化迭代次数k=1,时间维度大小T0=T;
5.2在大小为T0时间维度上,对伪二维矩阵Gk进行时间窗口内任意两模态所有特征向量拼接,得到新的特征向量zij;然后根据公式(4)对zij进行高阶(P阶)多项式融合操作得到P阶数据张量Zp:其中 表示张量积操作,i,j∈[1,M];
上述时间窗口长度为T1、步长为s;
再对Zp按照P阶张量的各维度进行C个单通道低秩张量池化操作,最终获得C个新的特征向量 其中特征向量 第h个数据元素zh如下:其中Wh为P阶张量权重,i1,…,ip为P阶张量每一个维度的下标;
对上述C个新的特征向量 进行最大池化,得到该时间窗口内两模态信息融合的局部特征向量 其中 的第h个数据元素z′h如下:其中C为同一个时间窗口内的模态信息进行单通道张量池化操作的次数,即为多通道hc张量池化操作的通道数;W 为第c个通道的P阶张量权重;
对伪二维矩阵Gk内所有模态特征向量均进行上述两模态融合操作得到若干个 最终构建大小为 的伪二维矩阵Gk+1;
5.3判断是否满足k≥N,N为最大迭代次数,若是则输出当前伪二维矩阵Gk+1,反之则重置k=k+1, 并跳转至步骤5.2;
步骤6、多模态全局交互
对步骤(5)输出的伪二维矩阵Gk+1内所有特征向量拼接,得到新的特征向量z′;然后对z′进行高阶多项式融合操作得到P阶数据张量Z′p,再对Z′p按照P阶张量的各维度进行多通道低秩张量池化操作,最终得到全局特征向量z;
步骤7、多模态信息数据分类
将步骤(6)得到的全局交互向量z与事先的情绪类别标签进行对比,最终得到分类的结果。