欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022101021461
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于句子成分感知注意力机制的端到端属性级情感分析方法,其特征在于:所述方法的具体步骤如下:Step1、通过BERT预训练模型获得含有上下文信息的文本向量化表示;

Step2、使用句子成分感知注意力机制引入了一个句子成分感知系数,该系数赋予句中属于同一成分的词以高的权重,不同成分之间的词以低的权重,同时引入相邻注意力机制决定句中哪些词属于同一成分;

Step3、然后将含有上下文信息的文本向量化表示输入句子成分感知注意力机制划分句子成分,获得含有方面词边界信息及方面词对应情感极性特征的文本表示;

Step4、使用简单的线性分类器实现联合抽取方面词及其对应的情感极性预测;

Step5、使用交叉熵函数来计算模型训练的损失。

2.根据权利要求1所述的基于句子成分感知注意力机制的端到端属性级情感分析方法,其特征在于:所述Step2中,其输入为三个矩阵Q、K、V,均由d维向量组成;输入词向量通过一次线性变换得到初始的查询向量q、键向量k、值向量v;然后,计算q与各个k之间的点积作为每个v的权重系数;最后,向量q、k、v分别组合构成矩阵Q、K、V;具体地,q与各个k作点积运算,再乘以放缩因子最后经过一个softmax函数得出注意力权重;句子成分感知注意力机制C-ATT与传统注意力机制不同之处在于引入了一个句子成分感知系数Ci,j,该系数赋予句中属于同一成分的词以高的权重,不同成分之间的词以低的权重。

3.根据权利要求1所述的基于句子成分感知注意力机制的端到端属性级情感分析方法,其特征在于:所述Step2的具体步骤如下:Step2.1、将得到的含有上下文信息的文本向量化表示通过一次线性变换得到初始的查询向量q,键向量k,值向量v;然后,计算q与各个k之间的点积作为每个v的权重系数;最后,向量q、k、v分别组合构成矩阵Q、K、V;具体地,q与各个k作点积运算,再乘以放缩因子最后经过一个softmax函数得出注意力权重;计算过程如下:Step2.2、相较于传统的注意力机制,句子成分感知注意力机制C-ATT引入了一个句子成分感知系数Ci,j,该系数赋予句中属于同一成分的词以高的权重,不同成分之间的词以低的权重,同一成分的单词互相关注,不同成分的单词互不关注,实现过程如下:其中,C是一个N×N的矩阵,e为矩阵同位元素对应相乘运算,矩阵Q,K分别由对应的q向量和k向量组成;式(2)中,C的组成元素为Ci,j,表示单词wi与wj属于同一成分的概率,Ci,j的值小时,表示位于位置i上的词与位于位置j上的词属于不同的成分,互不关注。

4.根据权利要求1-3任一项所述的基于句子成分感知注意力机制的端到端属性级情感分析方法,其特征在于:所述句子成分感知系数的计算过程如下:首先,对于输入句子序列X,计算X中任意单词wi与其相邻的两个单词wi-1、wi+1属于同一成分的概率,该计算方法与传统注意力机制一致,故称之为相邻注意力机制;相邻注意力机制决定了同一句中哪些词属于同一成分,句子成分感知系数Ci,j则判定句中哪些词之间联系密切,并赋予其相应的高权重;相邻注意力机制的计算过程如下:其中,qi为目标词wi对应的dmodel维query向量,ki-1、ki+1分别为wi两相邻词wi-1、wi+1的dmodel维key向量;

然后,为了防止后续划分句子成分时模型趋向于把所有单词划分为同一成分,使用softmax函数来加以限制,如下:pi,j=softmax(pi,i-1,pi,i+1)  (5)

其中,pi,i-1,pi,i+1分别由公式(3)、(4)计算所得,且pi,i-1+pi,i+1=1,此外,句子成分感知系数Ci,j表示单词wi与wj属于同一成分的概率,当pi,i-1>pi,i+1时,wi与其左邻词属于同一成分,否则与其右邻词属于同一成分;

由(5)式得到句子中相邻的词属于同一成分的概率,由于pi,i+1和pi+1,i的计算结果不相等,采用平均的方式来计算相邻注意力权重,其定义如下:由此,得到相邻注意力机制的权重序列a={a1,…,ai,…,an},其中N为句子的长度,ai为目标词wi与其右邻词wi+1属于同一成分的概率;

对于目标词wi,要么与左侧的词wi-1属于同一成分,要么与右侧的词wi+1属于同一成分,如此,最多就只有两个词属于同一句子成分,为了实现将多个词划分为同一句子成分,设置了层次约束条件,即同一层的C-ATT共享一个相邻注意力机制的权重序列a,将当前层l划分的句子成分作为基本单位用于下一层句子成分的划分,其中,l≥0,从而实现随着网络的加深,同属一个句子成分的词增加,层次约束条件的定义如下:其中,由l-1层的相邻注意力计算所得,由当前层l计算所得,该层次约束条件保证了在l-1层属于同一成分的词,在l层必定也属于同一句子成分;

由公式(7)得到l层相邻注意力权重序列之后,根据公式(8)计算句子成分感知系数Ci,j,ci≤k<j;

采用累乘的方式来计算Ci,j,利用了小概率乘以小概率依旧为小概率的特性,提高了模型在划分句子成分时感知断点的灵敏度,实现过程中,为防止所得概率过小,故将(7)式变形为:ck为加入线性约束后的权重序列。

5.根据权利要求1所述的基于句子成分感知注意力机制的端到端属性级情感分析方法,其特征在于:所述Step3、Step4中,将句子表示经过线性变换得到矩阵Q和K,作为C-ATT的输入,划分句子成分后,输出句子表示最后,将HC输入一个线性分类器来预测E2E-ABSA的标签;计算过程如下:HC=C-ATT(Q,K)                (10)

P(yi|xi)=softmax(WoHC+bo)     (11)

其中,W0和b0是线性层需要学习的参数,yi是输入句子序列X中的词汇xi对应的输出标签。