1.一种基于双词嵌入的情感分析方法,其特征在于,包括以下步骤:
获取待测语句以及预设的情感分析模型,其中,所述待测语句包括若干个单词,所述情感分析模型包括第一词嵌入模块、第二词嵌入模块、语义特征提取模块、句法特征提取模块、注意力交互模块以及情感分析模块;
将所述待测语句分别输入至所述第一词嵌入模块以及第二词嵌入模块中,获取所述待测语句的若干个单词的第一词嵌入向量以及第二词嵌入向量,并将所述若干个单词的第一词嵌入向量以及第二词嵌入向量进行拼接,获得若干个单词的拼接词向量;
将所述待测语句的若干个单词的第一词嵌入向量输入至所述语义特征提取模块中,所述语义特征提取模块还包括第一双向门控循环单元,将所述待测语句的若干个单词的第一词嵌入向量输入至所述第一双向门控循环单元中进行转换处理,获得所述待测语句的若干个单词的第一隐藏层向量;
根据所述待测语句的若干个单词的第一隐藏层向量以及预设的第一注意力系数计算算法,获得所述若干个单词的第一注意力系数,其中,所述第一注意力系数计算算法为:式中,i为单词的位置索引,n为所述待测语句的单词数目, 为第i个单词的第一注意力系数,tanh()为双曲函数,W1为第一权重参数, 为第i个单词的第一隐藏层向量,b1为第一偏置参数;
根据所述待测语句的若干个单词的第一隐藏层向量、第一注意力系数以及预设的语义特征计算算法,获得所述若干个单词的初始语义特征向量,并对所述若干个单词的初始语义特征向量进行滤波处理以及池化处理,获得所述若干个单词的语义特征向量,其中,所述语义特征计算算法为:式中, 为第i个单词的初始语义特征向量;
获取所述待测语句的邻接矩阵,所述邻接矩阵包括若干个节点对应的单词彼此的位置关联向量,所述位置关联向量用于指示节点对应的单词彼此的位置关系;
将所述待测语句的若干个单词的第二词嵌入向量以及邻接矩阵输入至所述句法特征提取模块中,所述句法特征提取模块为多层图注意网络单元、第二双向门控循环单元以及注意力单元,所述多层图注意网络包括若干个图注意力网络层,将所述待测语句的若干个单词的第二词嵌入向量输入至所述第二双向门控循环单元中进行转换处理,获得所述待测语句的若干个单词的第二隐藏层向量;
将所述若干个单词的第二隐藏层向量作为所述多层图注意网络单元的首层的输入节点信息,根据所述若干个节点之间对应的单词的位置关联向量以及预设的状态特征向量计算算法,获取所述多层图注意网络单元最后一层输出的若干个单词的状态特征向量,其中,所述状态特征向量计算算法为:式中,LeakyReLU ( )为非线性激活函数; 为在所述第l个图注意力网络层,第x个节l点和第y个节点之间的单词的注意力得分数据,a为预设的可训练权重向量,||表示为拼接操作, 为第二权重参数, 为第l层的第x个节点对应的单词的状态特征向量,oxy为第x个节点和第y个节点之间的单词的位置关联向量, 为归一化处理后,在所述第l个图注意力网络层,第x个节点和第y个节点之间的注意力权重参数,q为节点的索引,N(q)为所有与节点q相邻的节点集合,σ()为非线性激活函数,N(x)为所有与节点x相邻的节点集合;
将所述若干个单词的状态特征向量输入至所述第二双向门控循环单元中进行转换处理,获得所述待测语句的若干个单词的第三隐藏层向量,将所述若干个单词的第三隐藏层向量输入至所述注意力单元,根据预设的第二注意力系数计算算法,获得所述若干个单词的第二注意力系数,其中,所述第二注意力系数计算算法为:式中,i为单词的位置索引,n为所述待测语句的单词数目, 为第i个单词的第二注意力系数,tanh()为双曲函数,Ww为第三权重参数, 为第i个单词的第三隐藏层向量,bw为第二偏置参数;
根据所述若干个单词的第三隐藏层向量、第二注意力系数以及预设的句法特征计算算法,获得所述若干个单词的句法特征向量,其中,所述句法特征计算算法为:式中, 为第i个单词的句法特征向量;
将所述待测语句的若干个单词的语义特征向量、句法特征向量以及拼接词向量输入至所述注意力交互模块中进行注意力交互处理,获取所述待测语句的若干个单词的注意力交互特征向量;
将所述待测语句的若干个单词的注意力交互特征向量输入至所述情感分析模块中进行情感分析,获取所述待测语句的预测情感极性,作为所述待测语句的情感分析结果。
2.根据权利要求1所述的基于双词嵌入的情感分析方法,其特征在于:所述注意力交互模块还包括第三双向门控循环单元;
所述将所述待测语句的若干个单词的语义特征向量、句法特征向量以及拼接词向量输入至所述注意力交互模块中进行注意力交互处理,获取所述待测语句的若干个单词的注意力交互特征向量,包括步骤:将所述待测语句的若干个单词的拼接词向量输入至所述第三双向门控循环单元中进行转换处理,获得所述待测语句的若干个单词的第四隐藏层向量;
根据所述待测语句的若干个单词的语义特征向量、第四隐藏层向量以及预设的第三注意力系数计算算法,获得所述若干个单词的第三注意力系数,其中,所述第三注意力系数计算算法为:式中,i为单词的位置索引,n为所述待测语句的单词数目, 为第i个单词的第三注意力系数,tanh()为双曲函数,WiB为第四权重参数, 为第i个单词的第四隐藏层向量,biB为第三偏置参数, 为第i个单词的语义特征向量;
根据所述待测语句的若干个单词的句法特征向量、第四隐藏层向量以及预设的第四注意力系数计算算法,获得所述若干个单词的第四注意力系数,其中,所述第四注意力系数计算算法为:式中, 为第i个单词的第四注意力系数,WiW为第五权重参数,biW为第四偏置参数;
根据所述待测语句的若干个单词的语义特征向量、第三注意力系数以及预设的语义交互特征计算算法,获得所述若干个单词的语义交互特征向量,其中,所述语义交互计算算法为:B
式中,D为所述语义交互特征表示;
根据所述待测语句的若干个单词的句法特征向量、第四注意力系数以及预设的句法交互特征计算算法,获得所述若干个单词的句法交互特征向量,其中,所述句法交互计算算法为:W
式中,D为句法交互特征表示;
将所述待测语句的若干个单词的语义交互特征向量以及句法交互特征向量进行拼接处理,获取所述待测语句的若干个单词的注意力交互特征向量。
3.根据权利要求1所述的基于双词嵌入的情感分析方法,其特征在于,所述将所述待测语句的若干个单词的注意力交互特征向量输入至所述情感分析模块中进行情感分析,获取所述待测语句的预测情感极性,作为所述待测语句的情感分析结果,包括步骤:根据所述待测语句的若干个单词的注意力交互特征向量,构建所述待测语句的注意力交互特征表示,根据所述待测语句的注意力交互特征表示以及预设的预测情感极性向量计算算法,获取所述待测语句的预测情感极性向量,其中,所述情感极性向量计算算法为:y=softmax(Wyd+by)
式中,y为所述预测情感极性向量,softmax()为归一化函数,Wy为第六权重参数,by为第五偏置参数,d为所述待测语句的注意力交互特征表示;
根据所述预测情感极性向量,获取概率最大的维度对应的情感极性,作为所述待测语句的情感分析结果。
4.根据权利要求3所述的基于双词嵌入的情感分析方法,其特征在于:所述情感分析模型还包括领域预测模块,还包括步骤:将所述待测语句的注意力交互特征表示输入至所述领域预测模块,获取所述待测语句的领域特征表示,根据所述待测语句的领域特征表示以及预设的领域标签预测算法,获取所述待测语句的预测领域标签,其中,所述领域标签预测算法为:式中,yd为所述预测领域标签,Wy为第七权重参数,by为第六偏置参数, 为所述待测语句的领域特征表示。
5.根据权利要求4所述的基于双词嵌入的情感分析方法,其特征在于,还包括步骤:训练所述情感分析模型,所述训练所述情感分析模型,包括步骤:获取训练语句集、情感标签集以及领域标签集,其中,所述训练语句集中包括若干个训练语句,所述训练语句包括若干个单词,所述情感标签集包括若干个训练语句的真实情感极性向量,所述领域标签集包括若干个训练语句的真实领域标签;
将所述训练语句集输入至待训练的情感分析模型中,获得所述若干个训练语句的预测情感极性向量,以及所述若干个训练语句的若干个单词的第一注意力系数、第二注意力系数、第三注意力系数、第四注意力系数,根据所述若干个训练语句的预测情感极性向量以及真实情感极性向量,构建第一损失函数,其中,所述第一损失函数为:Lsen=‑(y′lny+(1‑y′)ln(1‑y))
式中,Lsen为所述第一损失函数,y′为所述真实情感极性向量;
根据所述若干个训练语句的若干个单词的第一注意力系数、第二注意力系数、第三注意力系数以及第四注意力系数,构建第二损失函数,其中,所述第二损失函数为:式中,Lemb为所述第二损失函数,KL()为散度函数;
根据所述若干个训练语句的预测领域标签以及真实领域标签,构建第三损失函数,其中,所述第三损失函数为:Ldom=‑(y′dlnyd+(1‑y′d)ln(1‑yd))
式中,Ldom为所述第三损失函数,y′d为所述真实领域标签;
根据所述第一损失函数、第二损失函数以及第三损失函数,构建所述待训练的情感分析模型的总损失函数,进行优化训练,获得训练好的情感分析模型,其中,所述总损失函数为:Ltotal=Lsen+Ldom+λLemb
式中,Ltotal为所述总损失函数,λ为超参数。
6.一种基于双词嵌入的情感分析装置,其特征在于,包括:
获取模块,用于获取待测语句以及预设的情感分析模型,其中,所述待测语句包括若干个单词,所述情感分析模型包括第一词嵌入模块、第二词嵌入模块、句子编码模块、语义特征提取模块、句法特征提取模块、注意力交互模块以及情感分析模块;
词嵌入向量计算模块,用于将所述待测语句分别输入至所述第一词嵌入模块以及第二词嵌入模块中,获取所述待测语句的若干个单词的第一词嵌入向量以及第二词嵌入向量,并将所述若干个单词的第一词嵌入向量以及第二词嵌入向量进行拼接,获得若干个单词的拼接词向量;
语义特征提取模块,用于将所述待测语句的若干个单词的第一词嵌入向量输入至所述语义特征提取模块中,所述语义特征提取模块还包括第一双向门控循环单元,将所述待测语句的若干个单词的第一词嵌入向量输入至所述第一双向门控循环单元中进行转换处理,获得所述待测语句的若干个单词的第一隐藏层向量;
根据所述待测语句的若干个单词的第一隐藏层向量以及预设的第一注意力系数计算算法,获得所述若干个单词的第一注意力系数,其中,所述第一注意力系数计算算法为:式中,i为单词的位置索引,n为所述待测语句的单词数目, 为第i个单词的第一注意力系数,tanh()为双曲函数,W1为第一权重参数, 为第i个单词的第一隐藏层向量,b1为第一偏置参数;
根据所述待测语句的若干个单词的第一隐藏层向量、第一注意力系数以及预设的语义特征计算算法,获得所述若干个单词的初始语义特征向量,并对所述若干个单词的初始语义特征向量进行滤波处理以及池化处理,获得所述若干个单词的语义特征向量,其中,所述语义特征计算算法为:式中, 为第i个单词的初始语义特征向量;
句法特征提取模块,用于获取所述待测语句的邻接矩阵,所述邻接矩阵包括若干个节点对应的单词彼此的位置关联向量,所述位置关联向量用于指示节点对应的单词彼此的位置关系;
将所述待测语句的若干个单词的第二词嵌入向量以及邻接矩阵输入至所述句法特征提取模块中,所述句法特征提取模块为多层图注意网络单元、第二双向门控循环单元以及注意力单元,所述多层图注意网络包括若干个图注意力网络层,将所述待测语句的若干个单词的第二词嵌入向量输入至所述第二双向门控循环单元中进行转换处理,获得所述待测语句的若干个单词的第二隐藏层向量;
将所述若干个单词的第二隐藏层向量作为所述多层图注意网络单元的首层的输入节点信息,根据所述若干个节点之间对应的单词的位置关联向量以及预设的状态特征向量计算算法,获取所述多层图注意网络单元最后一层输出的若干个单词的状态特征向量,其中,所述状态特征向量计算算法为:式中,LeakyReLU( )为非线性激活函数; 为在所述第l个图注意力网络层,第x个节点l和第y个节点之间的单词的注意力得分数据,a为预设的可训练权重向量,||表示为拼接操作, 为第二权重参数, 为第l层的第x个节点对应的单词的状态特征向量,oxy为第x个节点和第y个节点之间的单词的位置关联向量, 为归一化处理后,在所述第l个图注意力网络层,第x个节点和第y个节点之间的注意力权重参数,q为节点的索引,N(q)为所有与节点q相邻的节点集合,σ()为非线性激活函数,N(x)为所有与节点x相邻的节点集合;
将所述若干个单词的状态特征向量输入至所述第二双向门控循环单元中进行转换处理,获得所述待测语句的若干个单词的第三隐藏层向量,将所述若干个单词的第三隐藏层向量输入至所述注意力单元,根据预设的第二注意力系数计算算法,获得所述若干个单词的第二注意力系数,其中,所述第二注意力系数计算算法为:式中,i为单词的位置索引,n为所述待测语句的单词数目, 为第i个单词的第二注意力系数,tanh()为双曲函数,Ww为第三权重参数, 为第i个单词的第三隐藏层向量,bw为第二偏置参数;
根据所述若干个单词的第三隐藏层向量、第二注意力系数以及预设的句法特征计算算法,获得所述若干个单词的句法特征向量,其中,所述句法特征计算算法为:式中, 为第i个单词的句法特征向量;
注意力交互模块,用于将所述待测语句的若干个单词的语义特征向量、句法特征向量以及拼接词向量输入至所述注意力交互模块中进行注意力交互处理,获取所述待测语句的若干个单词的注意力交互特征向量;
情感分析模块,用于将所述待测语句的若干个单词的注意力交互特征向量输入至所述情感分析模块中进行情感分析,获取所述待测语句的预测情感极性,作为所述待测语句的情感分析结果。
7.一种计算机设备,其特征在于,包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的基于双词嵌入的情感分析方法的步骤。
8.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的基于双词嵌入的情感分析方法的步骤。