欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021115755273
申请人: 刘德喜
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2025-06-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于CPC‑ANN的文本情绪原因识别方法,其特征在于,CPC‑ANN模型主要分为五层:嵌入层、Bi‑LSTM层、Transformer层、注意力层以及CNN输出层,所述方法应用于文本情绪原因识别,包括以下步骤:

S1、相对位置嵌入层,获取已标注原因子句和情绪子句的语料文本,得到文本每个子句的相对位置,再将子句转化为词嵌入矩阵,然后将相对位置嵌入到文本子句的每个词向量中;

S2、Bi‑LSTM层,使用Bi‑LSTM分别对每个输入的文本子句进行编码,得到融合词上下文的子句向量;

S3、Transformer层,使用Transformer分别对每个输入的文本子句进行编码,得到融合深层语义特征的子句向量;

S4、注意力层,将候选原因子句与其上下文子句融合,用注意力机制捕捉融合后的候选原因子句与情绪子句间的语义关系;

S5、CNN输出层,使用CNN对经注意力计算后的候选原因子句和情绪子句进行卷积,最大池化操作,抽取局部最大语义信息;然后将卷积后的候选原因子句和情绪子句拼接,通过线性分类器softmax分类,来判断该候选原因子句是否是文本情绪原因。

2.根据权利要求1所述的一种基于CPC‑ANN的文本情绪原因识别方法,其特征在于:所述S1中,给定一个包含情绪和情绪原因的文本D={c1,c2,...,ck},该文本由k个子句组成,假设文本中包含唯一一个情绪子句ce和至少一个对应的情绪原因子句ca,子句ci={w1,w2,...,wn}由n个词组成;对于文本的子句ci,1≤i≤k,首先通过Word2vec将每个单词wt,1d

≤t≤n,映射到一个d维向量ut∈R ,并计算出子句ci相对于情绪子句ce的相对位置Pi;为了增强相对位置信息的作用,将子句的相对位置信息通过相加的方式嵌入到子句的每个词向量中,其如公式(1)所示:

xt=ut+pi          (1)因此,子句ci表示为一个特征映射Xi={x1,x2,...,xn};将情绪子句ce和情绪候选原因子句ca的特征映射分别记为Xe={x1e,x2e,...,xne}和Xa={x1a,x2a,...,xna};

在将原始输入序列ci转化为输入向量矩阵Xi后,因为原始的输入数据是长短不一的文本子句,每个序列ci中含有的词语个数也不尽相同;为此,对训练语料中的原始输入序列长度进行统计,将所有输入序列用占位符补充至最大长度,将统一长度的输入序列输入到模型中。

3.根据权利要求2所述的一种基于CPC‑ANN的文本情绪原因识别方法,其特征在于:所述S2中,Bi‑LSTM包含一个正向的LSTM,由x1读取到xn;一个反向的LSTM,由xn读取到x1;将子句ci的向量表示Xi输入到Bi‑LSTM中获得两个方向的隐藏层输出信息,如公式(2)和公式(3)所示:

其中xt为子句Xi的第t个词wt的嵌入向量,通过Bi‑LSTM得到该词的隐变量表示如公式(4)所示:

n×2h

最后,将子句ci中所有词的隐变量表示拼接起来,得到ci的上下文嵌入矩阵Hi∈R ,其中h为隐藏单元数;情绪子句Xe和候选原因子句Xa通过Bi‑LSTM编码表示记为He和Ha。

4.根据权利要求1所述的一种基于CPC‑ANN的文本情绪原因识别方法,其特征在于:所述S3中,Transformer由N层组成,每一层有两个子层,分别是多头自注意力机制和前馈神经网络;

多头自注意力机制的目的是计算出句子中其余部分对所关注部分的影响,其计算过程表示为将查询Q、关键字K和值V映射到输出上,其中Q、K和V都为来自同一输入的向量,即通过Bi‑LSTM编码的输出子句向量Hi,Qi,Ki,Vi的表示如公式(5)至公式(7)示:Qi=ReLU(HiWQ)      (5)Ki=ReLU(HiWK)      (6)Vi=ReLU(HiWV)      (7)其中WQ、WK和WV分别是查询、关键字和值的可学习权值矩阵;

然后,根据Qi和Ki之间的相似度,计算出权重,再利用权重对Vi求取加权和,最后得到子句的注意力表示Zi,如式(8)和公式(9)所示:Transformer利用多个自注意力结构来学习不同的特征,让单词的每个表示中学习到不同的特征;设对m个自注意力结构得到的Zi进行拼接后,子句的注意力表示在注意力子层之后是一个前馈神经网络子层FFN,如公式(10)所示:多头自注意力层和前馈神经网络层都使用残差连接,然后在输出处使用归一化,如公式(11)所示:

oi=Normalize(ei+Hi)   (11)最后,得到子句向量Hi的输出向量oi;情绪子句表示为oe,候选原因子句表示为oa。

5.根据权利要求4所述的一种基于CPC‑ANN的文本情绪原因识别方法,其特征在于:所述S4中,首先,通过Transformer层,得到候选原因子句与情绪子句的向量表示、以及候选原因子句的上下文子句向量;为了获得候选原因子句的上下文信息,将上下文语义信息融入到候选原因子句中,如式(12)所示:其中,of和ob是候选原因子句上下文子句向量表示;

如果候选原因子句的上下文子句部分为空,即当前候选原因子句为文本的第一个子句或最后一个子句,则只融入其上文子句或下文子句,如公式(13)所示:n×n

其次,构造注意力矩阵A∈R 来测量候选原因子句和情绪子句之间的语义关系,其计算方法如公式(14)所示;

A=score(o,oe)        (14)其中,score函数为余弦距离,Ai,j表示候选原因子句o的第i个词向量oi与情绪子句oe的第j个词向量oje之间的语义关系强度;

然后,将注意力矩阵用于子句的原始向量表示,获得两个子句的最后的输出,如公式(15)和(16)所示:

其中, 表示子句与注意力矩阵的克罗内克积。

6.根据权利要求5所述的一种基于CPC‑ANN的文本情绪原因识别方法,其特征在于:所述S5中,利用CNN层从子句中获取局部上下文特征,经过多次卷积运算,将这些局部特征形成一个全局特征向量;将两个子句序列化输出Ca和Ce送入CNN层,应用三个长度分别为2、3和

4的卷积滤波器和最大池化操作,以选择信息最丰富的特性;将3个卷积操作得到的输出结果进行拼接,其候选原因子句Ca的计算方法如公式(17)‑(19)所示:a

C=cnn2,3,4(Ca)        (17)其中,cnn2,3,4为卷积操作,poolmax为最大池化操作,WC为全连接层的权重;

同理,情绪子句最后通过CNN层生成特征向量Oe,将两个特征向量连接起来通过一层全连接层并送入softmax层来进行分类;最后,模型在训练过程中通过反向传播方法进行参数调整,损失函数为交叉熵损失函数,计算方法如公式(20)和(21)所示:其中,Ws为权重矩阵,yi和 分别为目标类分布和预测类分布。