1.一种基于上下文层级自注意力网络的话语情绪识别方法,其特征在于,具体包括以下步骤:S1、获取单个话语的词向量,即针对话语中的词通过一个预训练语言模型获取该词的向量表示,对未登录词进行随机初始化;
S2、采用双向长短时记忆网络获得词向量的多层前向和后向隐层向量表示,并将每一层对应的前向和后向隐层词向量表示拼接在一起,得到每一层的隐层向量;
S3、根据每一层词的隐层向量计算每一层词的隐层向量的注意力权重;
S4、将当前话语中第i个词的词向量与该词的隐层向量,基于注意力权重拼接在一起后使用k‑max池化方式获得i个词的k维特征向量;
S5、将当前话语每个词的k维特征向量拼接在一起后使用全局k‑max池化进行处理获得当前话语的k维特征向量,得到话语矩阵;
S6、采用双向长短时记忆网络获得话语矩阵的多层前向和后向隐层向量表示,并每一层对应的前向和后向隐层向量表示进行拼接,得到每一层的隐层向量;
S7、根据话语的隐层向量计算每一层话语的隐层向量的注意力权重;
S8、基于每一层话语的隐层向量的注意力权重,将当前话语的k维特征向量与该话语的隐层向量拼接融合后使用k‑max池化方式获得该话语的k维特征向量;
S9、将步骤S8得到的话语的k维特征向量输入由多层感知机及softmax函数构成的语情绪类型的预测模块,预测得到当前话语的情绪类型。
2.根据权利要求1所述的一种基于上下文层级自注意力网络的话语情绪识别方法,其特征在于,对S1~S9构成的预测方法的训练过程中,将具有真实情感标签的话语通过步骤S1~S9进行处理得到一个预测情感标签,通过交叉熵计算真实情感标签与预测情感标签的损失差值,通过该差值进行反向传播,当损失差值小于设定阈值时结束训练。
3.根据权利要求1所述的一种基于上下文层级自注意力网络的话语情绪识别方法,其特征在于,通过交叉熵计算真实情感标签与预测情感标签的损失差值,即训练的损失函数表示为:其中,Ni为语料的数量;L为对话的数量;ω(cj)为第j个语料损失权重;|C|为所有情绪标签的集合中标签的数量; 为第j个语料对应的真实标签yj中对应于类型为c的标签的值; 为第j个语料对应的预测标签 中对应于类型为c的标签的值; 为j个语料分配的损失权重ω(cj)与类型为c的训练语料数目的反比;α为平滑参数;c′表示类型为c中的一个语料。
4.根据权利要求1所述的一种基于上下文层级自注意力网络的话语情绪识别方法,其特征在于,通过BiLSTM计算话语矩阵Ui中每个词的前向隐层 和后向隐层 拼接两个隐层向量串联形成一个词的隐层向量
5.根据权利要求4所述的一种基于上下文层级自注意力网络的话语情绪识别方法,其特征在于,前向隐层向量 和后向隐层向量 的计算包括:其中,e(wk)表示词wk的词嵌入序列。
6.根据权利要求1所述的一种基于上下文层级自注意力网络的话语情绪识别方法,其特征在于,步骤S3或步骤S7根据隐层向量计算注意力权重的过程中,通过隐层向量构建上下文向量,上下文向量至少包括全局上下文向量、深度上下文向量和深度全局上下文向量中的一种,将上下文向量输入注意力机制得到对应的注意力,获取全局上下文向量、深度上下文向量和深度全局上下文向量的过程包括:构建一个只有一层的BiLSTM,通过该BiLSTM计算所有词的隐层向量,将隐层向量的平均值作为全局上下文向量;
构建一个l层的BiLSTM,层间采用密集连接策略,将一个词第1到l‑1层隐藏层的输出拼接起来得到一个词的深度上下文向量;
构建一个l层的BiLSTM,层间采用密集连接策略,计算每一层的隐藏向量的平均值,将所有层的平均值拼接在一起得到深度全局上下文向量。
7.根据权利要求6所述的一种基于上下文层级自注意力网络的话语情绪识别方法,其特征在于,计算注意力权重的过程包括:根据输入的上下文向量计算对应的重要性权重;
利用重要性权重更新注意力机制的查询Q和键K;
根据更新后的查询Q和键K计算得到注意力权重。
8.根据权利要求7所述的一种基于上下文层级自注意力网络的话语情绪识别方法,其特征在于,根据上下文向量计算重要性权重的过程包括:其中, 为重要性权重,δ(·)表示sigmoid激活函数; 为可训练参数; 为可训练的参数矩阵,n为输入层的层数,dc为输入状态的维度,C表示上下文向量,H为构建上下文向量采用的隐层向量。
9.根据权利要求7所述的一种基于上下文层级自注意力网络的话语情绪识别方法,其特征在于,利用重要性权重更新注意力机制的查询Q和键K的过程表示为:其中,C表示全局上下文向量、深度上下文向量或深度全局上下文向量。
10.根据权利要求7所述的一种基于上下文层级自注意力网络的话语情绪识别方法,其特征在于,对查询Q和键K进行更新,根据更新后的查询Q和键K计算得到注意力权重的过程表示为:其中,o表示注意力权重;V表示注意力机制中的值V; 为更新后的查询Q、键K,d为T和 的维度,() 表示转置操作。