欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021111209326
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于注意力引导双向胶囊网络的多模态情感分类方法,其特征在于:步骤1、获取多模态数据;

提取被测对象的三种模态数据;所述的三种模态数据分别为音频模态Xa、视频模态Xv、文本模态Xt;三种模态数据分别记为 Ti(i∈{a,v,t})是时域维度的尺寸,di(i∈{a,v,t})是每一个时刻的特征向量的长度;

步骤2、对三种模态数据进行交互增强;

采用多模态动态交互增强模块对三种模态数据进行交互增强;多模态动态交互增强模块包括一个或多个进程头;每个进程头包括一个或多个自适应迭代;进程头数量为M;每个进程头中自适应迭代的数量为N;

多模态动态交互增强模块获取文本感知的音频表示 的过程如下:对于单个进程头情况, 和 将先被输入模块中以寻找相似系数;经过N次迭代的文本增强的音频表示 公式如下:

其中, 为第m个进程头的第n次自适应迭代得到的文本增强音频表示, 为第m个进程头的第n‑1次自适应迭代得到的文本增强音频表示, 为第m个进程头的第i次自适应迭代得到的文本增强音频表示;softmax(·)表示softmax函数运算;m=1,2,...,M;

MulHead

利用每个进程头迭代得到的文本增强的音频表示 获取多路文本增强表示Xa ,并进一步获取文本感知的音频表示 计算过程如下:其中,concat(·)为多头的连接函数;Conv(·)为卷积组件;

获取文本感知的音频表示 的过程与获取文本感知的音频表示 的过程相同;之后,将 与 以学习得到的第一比例Ca和第二比例Cv加到文本模态Xt中,获得增强的文本模态 具体如下:步骤3、注意力引导的双向胶囊网络;

3‑1.以步骤2的输出作为输入,通过注意力引导的双向胶囊网络提取全局多模态公共信息;注意力引导的双向胶囊网络包括低层多模态表示胶囊 和高层模态感知公共胶囊 其中,Nu和Nv分别为低层和高层胶囊的数量;

每个低层多模态表示胶囊ui,均进行卷积投影,得到新的胶囊 如下:其中,Conv(·)为卷积组件;kernel为可变卷积核;

进一步建立多头的投票矩阵 如下:

其中,s为卷积投影头的序数;kernel为第s个可变卷积核;i=1,2,...,Nu;

3‑2.利用Transformer的编码器从表现空间中挖掘内在的多模态上下文;第s个头的多[s]模态上下文atten 的表达式如下:

其中,Tran(·)表示Transformer的编码器;

3‑3.采用具有Nv迭代的动态路由过程,获取多种模态之间的全局最优公共表示;在每次迭代时,利用耦合系数 来分析 和 之间的信息流,该耦合系数 通过基于初始化为0的临时累积变量 计算得到,具体表达式如下:[s]

3‑4.以胶囊 的加权和为基础,并借助相应的 和多模态上下文atten ,获得高层胶囊 如下:

3‑5.通过卷积操作,多头的高层胶囊 集成到最终的模态感知公共信息{coma,comv,comt}中;然后,通过卷积操作将所有感知模态的公共信息合并到最终的多模态公共表示common=conv(concat(coma,comv,comt),kernel);

步骤四、将步骤三所得的多模态公共表示common输入线性分类层,将输出信息与情感类别标签进行对比,得到被测对象在提取被测数据时所处的情感分类情况。

2.根据权利要求1所述的一种基于注意力引导双向胶囊网络的多模态情感分类方法,其特征在于:三种模态数据用于识别被测对象所处的公众情感基准;公众情感基准共有两种,分别为正类情感和负类情感。

3.根据权利要求1所述的一种基于注意力引导双向胶囊网络的多模态情感分类方法,其特征在于:步骤三中,利用HingeLoss函数参与分析非线性信息,减少模态注意公共信息之间的差异;具体如下:其中,SimilarityLoss为相似性误差;max(·)为取最大值运算;D(·)为查找向量运算;

计算差异性误差DifferenceLoss的表达式如下:其中, 是弗罗贝尼乌斯范数;spei(i∈a,v,t)为模态私有信息。

4.一种多模态情感分类系统,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器执行所述机器可执行指令以实现权利要求1‑3任一项所述的方法。

5.一种机器可读存储介质,其特征在于,该机器可读存储介质存储有机器可执行指令,该机器可执行指令在被处理器调用和执行时,机器可执行指令促使处理器实现权利要求1‑

3任一项所述的方法。