1.面向物联网环境中对话分析的图对抗情绪识别方法,其特征在于,包括:采集包含多位发言者的对话文本数据;
基于预训练的文本模型对对话文本数据中的每个话语进行编码,获得对话数据的文本特征表示;
构建语境分析模块,基于话语依赖图分析发言者进行对话时的语境依赖性,利用图神经网络聚合对话数据的文本特征表示之间的信息;
构建因果感知模块,提取对话中的因果关系,并使用自注意机制动态调整因果线索在对话中的权重,获取对情感变化最具影响力的因果关系;
在输入数据中加入微小的扰动生成对抗样本,基于对比学习损失分别计算原始样本和对抗性样本的对比学习损失, 并将其综合以优化模型的情感分类性能;
获取语境分析模块和因果感知模块的邻接矩阵,并通过差分正则化项,衡量语境分析模块和因果感知模块的邻接矩阵之间的差异,基于相互交叉注意力机制促进语境分析模块和因果感知模块之间的信息交互;
在完成语境分析模块和因果感知模块信息交互后,将语境分析模块特征信息和因果感知模块特征信息进行拼接,生成的特征表示作为最终输入,经过全连接层进行情感分类,得到最终的情绪识别结果。
2.根据权利要求1所述的面向物联网环境中对话分析的图对抗情绪识别方法,其特征在于,在包含多位发言者的对话文本数据后,对文本数据进行分词、去除停用词和标点符号的预处理。
3.根据权利要求2所述的面向物联网环境中对话分析的图对抗情绪识别方法,其特征在于,所述基于预训练的文本模型对对话文本数据中的每个话语进行编码,获得对话数据的文本特征表示,具体为:选择RoBERTa-large作为话语编码器,将对话数据预处理为模型可接受的格式,每个发言被标记为单独的文本单元,并进行标记化处理;给定输入序列;;RoBERTa-large使用Transformer结构对其进行编码:(1);
其中,表示对话数据的特征表示,表示文本序列;从最后一层的自注意力层输出中,提取每个发言的特征表示,选取标记的输出表示整个发言的特征表示。
4.根据权利要求3所述的面向物联网环境中对话分析的图对抗情绪识别方法,其特征在于,所述构建语境分析模块,基于话语依赖图分析发言者进行对话时的语境依赖性,利用图神经网络聚合对话数据的文本特征表示之间的信息,具体为:所述话语依赖图中的每个节点对应一个基本话语单位,节点集合为;节点集合表示对话中的所有发言,每个节点对应其中一个对话数据的特征;边集合表示节点和之间的依赖关系,其中每条边对应一种话语依赖类型;
对于每对相邻节点和,计算每对相邻节点之间的注意力系数,计算公式如下:(2);
其中,表示在依赖关系下,目标话语到邻居话语的边的权重;依赖关系r表示两个节点之间边的类型;边的类型包括:评论、澄清问题、详细说明、确认、延续、解释、条件、问答对、交替、问题详细说明、结果、背景、叙述、修正、平行和对比;是一个可学习的参数权重向量,是注意力机制下的线性权重矩阵,和分别是节点和节点的特征表示;表示向量拼接操作,LeakyReLU是激活函数;
为了研究注意力系数在所有邻接点之间的关系,基于softmax函数进行归一化处理;最终的注意力系数用于对邻接节点的特征进行加权求和,从而得到节点的语境依赖特征,具体为:(3);
其中,表示节点通过依赖关系相连的邻居节点集合。
5.根据权利要求4所述的面向物联网环境中对话分析的图对抗情绪识别方法,其特征在于,所述提取对话中的因果关系,并使用自注意机制动态调整因果线索在对话中的权重,获取对情感变化最具影响力的因果关系,具体为:基于COMET模型提取对话中的因果关系,因果关系包括:内部因果关系和外部因果关系;将内部因果关系和外部因果关系输入到COMET网络,COMET模型的最后一个编码层融合了来自输入事件和关系类型的上下文信息,提取该编码层的隐藏状态表示,将其作为因果线索C;
其中,因果线索映射为对话图中的边,表示发言之间的因果依赖关系;使用自注意力机制计算这些线索在不同发言中的权重,通过自注意力层,模型能够调整不同发言之间的注意力分布,边的权重越大,表示该因果关系对情感变化的影响越强,注意力也越集中于相关节点;因果线索关联得分计算公式如下:(4);
(5);
其中,表示将转化为查询向量,表示将转化为键向量,是线性变换;表示从ATOMIC常识知识图谱中获得与话语,相关的内部因果线索;mask是一个掩码,确保检索过程只考虑同一说话者的之前的话语;是一个映射函数,将话语的索引映射到相应的说话者;表示向量的维度,用于归一化;除了考虑同一发言者内部的因果线索,还需要计算不同发言者之间的因果线索关联得分:(6);
(7);
其中,为计算得到的跨说话者因果线索分数,这里的因果线索来自于不同发言者之间的互动;在获得内部和外部因果线索的权重分数后,将其联合起来,以综合考虑所有潜在的因果关系,最终形成因果感知上下文表示:(8);
(9);
其中,和分别表示内部和外部说话者之间的因果线索权重;和分别表示与话语的说话者内部和外部的话语集合;为综合内部和外部的因果线索权重的因果线索特征。
6.根据权利要求5所述的面向物联网环境中对话分析的图对抗情绪识别方法,其特征在于,所述在输入数据中加入微小的扰动生成对抗样本,基于对比学习损失分别计算原始样本和对抗性样本的对比学习损失, 并将其综合以优化模型的情感分类性能,具体为:通过计算输入数据的梯度,生成对抗样本:(10);
(11);
(12);
其中,公式(10)是为了获得输入样本在训练时的梯度,表示对输入样本的梯度计算,表示模型预测的条件概率分布;公式(11)基于输入的梯度信息生成一个扰动向量,并通过归一化确保对抗扰动的大小被控制在范围内;通过梯度信息确定如何修改输入样本以增加损失函数,从而“欺骗”模型做出错误预测;表示扰动幅度,用于控制对抗扰动的大小,表示梯度的范数;公式(12)为在输入样本中添加对抗扰动;
引入对比学习损失分别计算原始样本和对抗样本的对比学习损失,通过以下公式计算其对比损失:(13);
(14);
其中,公式(13)为原始样本的对比损失;公式(14)为对抗样本的对比学习损失;表示当前批次中与样本属于同一类别的所有样本的索引集合; 表示当前样本中的所有样本索引,除了样本;表示第个样本的特征向量与第 n 个样本的特征向量之间的相似度,是温度参数,用于调节相似度的分布;表示第个样本的特征向量与第n个样本的特征向量在添加噪声对抗之后的两者之间的相似度;在计算完所有对抗样本的对比学习损失后,将其与原始样本的损失联合,得到最终的对比损失函数,具体公式如下:(15)。
7.根据权利要求6所述的面向物联网环境中对话分析的图对抗情绪识别方法,其特征在于,所述获取语境分析模块和因果感知模块的邻接矩阵,具体为:基于因果线索特征的集合,获取因果感知模块的邻接矩阵;基于语境依赖特征的集合,获取语境分析模块的邻接矩阵;
通过差分正则化项,衡量语境分析模块和因果感知模块的邻接矩阵之间的差异,具体为:(16);
其中,表示Frobenius范数,用于衡量语境分析模块和因果感知模块输出之间的差异。
8.根据权利要求7所述的面向物联网环境中对话分析的图对抗情绪识别方法,其特征在于,所述基于相互交叉注意力机制促进语境分析模块和因果感知模块之间的信息交互,具体为:采用相互交叉注意力机制结合语境分析模块和因果感知模块之间的信息交互,捕捉语境依赖特征向量与因果线索特征向量之间的交互关系,具体为:(17);
(18);
(19);
(20);
其中,和是注意力矩阵;表示将因果线索特征投影到语境依赖特征上,强调了每个话语关注不同线索的特征的过程,表示将语境依赖特征投影到因果线索特征上;表示经过因果线索特征增强的最终语境特征表示;表示经过语境依赖特征增强的最终因果线索特征表示;和是可学习的参数矩阵;训练目标是最小化以下总目标函数:(21);
(22);
其中,和是正则化系数和对比学习的权重系数;标准交叉熵损失,用于衡量模型预测与真实标签之间的差异;B表示对话的数量,表示对第个对话中的第个发言的预测概率;为第K个对话中的话语数量,在不同的对话中,话语数量不固定。
9.根据权利要求8所述的面向物联网环境中对话分析的图对抗情绪识别方法,其特征在于,所述在完成语境分析模块和因果感知模块信息交互后,将语境分析模块特征信息和因果感知模块特征信息进行拼接,生成的特征表示作为最终输入,经过全连接层进行情感分类,得到最终的情绪识别结果,具体为:所述完成语境分析模块和因果感知模块信息交互,具体为:将语境分析模块和因果感知模块信息进行L层交互;
所述L层交互为每一层都包含两个模块:语境依赖模块用于处理话语结构信息和因果感知模块用于处理说话者感知的因果信息;每一层的输出会通过相互交叉注意力机制进行语境分析模块和因果感知模块之间的信息交换,从而使得话语结构信息和说话者感知信息能够在不同层之间传递和融合,完成当前层的交互;最终,在第L层交互后,输出的和被拼接起来,作为最终的表示用于情感预测;
全连接层的计算公式如下:
(23);
(24);
(25);
其中,通过公式(23)将语境分析模块和因果感知模块的特征进行结合,并通过线性变换和激活函数生成用于下一步计算的最终特征表示;通过公式(24)实现分类任务的最后一层,将模型输出转化为对各个类别的概率估计;公式(25)根据模型预测的概率分布,选择概率最大的类别作为最终的预测结果;,是全连接层的权重矩阵,和是全连接层的偏置向量,是激活函数;是预测的情感标签,结果取概率最高的作为情感标签;k表示类别的索引,k的取值范围是类别的集合y,即,表示样本属于类别k的概率;表示第个样本经过全连接层后的隐藏表示。
10.面向物联网环境中对话分析的图对抗情绪识别系统,其特征在于,包括:采集模块,所述采集模块采集包含多位发言者的对话文本数据;
编码模块,所述编码模块基于预训练的文本模型对对话文本数据中的每个话语进行编码,获得对话数据的文本特征表示;
分析模块,所述分析模块构建语境分析模块,基于话语依赖图分析发言者进行对话时的语境依赖性,利用图神经网络聚合对话数据的文本特征表示之间的信息;
权重调整模块,所述权重调节模块构建因果感知模块,提取对话中的因果关系,并使用自注意机制动态调整因果线索在对话中的权重,获取对情感变化最具影响力的因果关系;
对抗学习模块,所述对抗学习模块在输入数据中加入微小的扰动生成对抗样本,基于对比学习损失分别计算原始样本和对抗性样本的对比学习损失, 并将其综合以优化模型的情感分类性能;
信息交互模块,所述信息交互模块获取语境分析模块和因果感知模块的邻接矩阵,并通过差分正则化项,衡量语境分析模块和因果感知模块的邻接矩阵之间的差异,基于相互交叉注意力机制促进语境分析模块和因果感知模块之间的信息交互;
情绪分类模块,所述情绪分类模块在完成语境分析模块和因果感知模块信息交互后,将语境分析模块特征信息和因果感知模块特征信息进行拼接,生成的特征表示作为最终输入,经过全连接层进行情感分类,得到最终的情绪识别结果。