1.一种基于多层次语义胶囊路由的反讽检测方法,其特征在于包括如下步骤:步骤(1)使用GloVe对网络评论和上下文进行词向量嵌入,分别获得网络评论的文本特征和上下文的文本特征;
步骤(2)分别将网络评论和上下文的文本特征输入到Transformer模型中进行向量的转换,分别获得网络评论的隐藏层特征和上下文的隐藏层特征;
步骤(3)通过CNN把网络评论的隐藏层特征转化为网络评论的池化特征;
步骤(4)把池化特征作为权重使用注意力机制对上下文的隐藏层特征进行权重偏移,获得新的隐藏层特征Ⅰ;
步骤(5)把网络评论的隐藏层特征与SenticNet中获得的情感权重相结合,获得新的隐藏层特征Ⅱ;
步骤(6)把隐藏层特征Ⅰ和Ⅱ作为低层次的语义胶囊,进行EM路由获得高层次的语义胶囊;
步骤(7)最后把高层次的语义胶囊通过SoftMax函数获得最后的分类结果。
2.根据权利要求1所述的一种基于多层次语义胶囊路由的反讽检测方法,其特征在于步骤(1)具体:使用glove.840B.300d的词向量文件把SARC数据集中的网络评论和上下文进行词向量嵌入,获得一个维度为300维的词向量矩阵。
3.根据权利要求2所述的一种基于多层次语义胶囊路由的反讽检测方法,其特征在于步骤(3)中,利用CNN网络模型对步骤(2)获得的网络评论的隐藏层特征进行Max-pooling操作,获得网络评论的池化特征。
4.根据权利要求3所述的一种基于多层次语义胶囊路由的反讽检测方法,其特征在于步骤(4)所述的把网络评论的池化特征作为权重使用注意力机制对上下文的隐藏层特征进行权重偏移,获得新的隐藏层特征Ⅰ,具体实现如下:
4-1.使用网络评论的池化特征对上下文的隐藏层特征进行词向量的偏移,具体:使用缩放点积的注意力机制,将注意力机制描述为将query和key映射到单词级别的权重上;
query包括上下文的隐藏层特征的平均向量qC,以及网络评论的池化特征的平均向量qS,通过可训练的参数转化为dk维:key包括上下文的隐藏层特征和网络评论的池化特征,通过可训练的参数转化为dk维:其中, 是上下文的隐藏层特征, 是网络评论的池化特征,它们的向量维度都是2dl;
的向量维度是2dl*dk;
4-2.网络评论和上下文的交互注意力权重计算如下:
为了确保 的每个维度之间的参数差距比较大,引入 作为比例因子;
4-3.根据公式(12)获得新的隐藏层特征I;
5.根据权利要求4所述的一种基于多层次语义胶囊路由的反讽检测方法,其特征在于步骤(5)把池化特征与SenticNet中获得的情感权重相结合,获得新的隐藏层特征II,具体如下:使用SenticNet获得网络评论中每个单词对应的情感权重,然后使用注意力机制把网络评论的情感权重与步骤(2)中获得的网络评论的隐藏层特征进行权重偏移,获得新的隐藏层特征II。
6.根据权利要求5所述的一种基于多层次语义胶囊路由的反讽检测方法,其特征在于步骤(6):把步骤(4)和步骤(5)的输出的隐藏层特征I和隐藏层特征II作为输入,创建低层次的语义胶囊;低层次的语义胶囊i包含激活概率和高层次输出两个部分;为了获得高层次的语义胶囊j,对低层次的语义胶囊i进行EM路由,它的具体过程实现如下:
6-1.首先利用公式(13)、公式(14)和公式(15)计算出低层次语义胶囊i到高层次语义胶囊j的均值和方差:Voteij=GiWij# (13)
其中,权重矩阵Wij是可训练的参数;Gi表示低层次的语义胶囊i的高层次输出,它是可训练的参数,它的初始值是低层次语义胶囊的输入;Rij表示低层次的语义胶囊i到高层次的语义胶囊j的分配概率; 表示低层次语义胶囊i到高层次的语义胶囊j的输出d维的均值;
表示低层次语义胶囊i到高层次的语义胶囊j的d维的方差;
6-2.根据步骤6-1计算出的低层次的语义胶囊i到高层次的语义胶囊j的均值和方差来计算分配概率;低层次的语义胶囊i到高层次的语义胶囊j的概率密度如公式(16)所示:其次,低层次的语义胶囊i到高层次的语义胶囊j的分配概率如公式(17):最后,根据分配概率来更新低层次语义胶囊j的高层次输出;
6-3.根据低层次语义胶囊i到高层次的语义胶囊j的均值和方差,使用公式(17)和公式(18)来计算低层次语义胶囊i到高层次语义胶囊j的激活概率:其中,βu和βv都是可训练的参数;λ是一个固定值,被设置为1e-3;aj是低层次语义胶囊i到高层次的语义胶囊j的激活概率。
7.根据权利要求6所述的一种基于多层次语义胶囊路由的反讽检测方法,其特征在于对低层次的语义胶囊i进行EM路由,获得高层次的语义胶囊j,整体流程如下:①设置低层次的语义胶囊i到高层次的语义胶囊j的分配概率的初始值为: J表示高层次的语义胶囊j的数量;
②计算上下文的低层次的语义胶囊i的激活概率为: 其中ai中的i表示低层次语义胶囊i, 中的i表示网络评论中的单词;
③计算网络评论的低层次的语义胶囊i的激活概率为: 这里i的含义与步骤②一致;
④对下面的公式(20)和公式(21)分别重复进行r次迭代:其中公式(20)的具体实现流程如下:
(1)根据低层次语义胶囊i到高层次语义胶囊j的激活概率,来更新低层次的语义胶囊i到高层次的语义胶囊j的分配概率:R′ij=Rij*ai,其中i和j分别表示低层次语义胶囊和高层次语义胶囊;
(2)根据公式(13)、(14)和(15)计算均值μj和方差σj;
(3)根据公式(18)和(19)计算激活概率aj;
其中公式(21)的具体实现流程如下:
根据公式(16)和(17)计算高层次语义胶囊j的概率密度pj,然后根据pj来低层次的语义胶囊i到高层次的语义胶囊j的分配概率Rij。