欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020103667421
申请人: 昆明理工大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于词性软模板注意力机制的短文本自动摘要方法,其特征在于:具体步骤如下:Step1、使用开源的词性标注工具将原句子进行词性标注,将词性序列视为原句的词性软模板;

Step2、将原句子及其对应的词性软模板分别在双向LSTM中进行编码,分别得到原文上下文语义向量与词性软模板隐藏层向量;

Step3、引入词性软模板注意力机制,计算出词性软模板注意力系数,并将模型学习到的核心词性信息融入原句子隐层向量中,得到融合词性的原文上下文语义向量;

Step4、将融合词性的原文上下文语义向量与词性软模板隐藏层向量进行融合;

Step5、利用带有传统注意力机制的单向LSTM解码出文摘。

2.根据权利要求1所述的基于词性软模板注意力机制的短文本自动摘要方法,其特征在于:所述步骤Step2中,具体包括:(1)原句子编码:双向LSTM由前向和后向两个隐状态组成,原句子x的前向隐状态和后向隐状态的输出被分别表示成 和 下标“-1”代表隐状态中最后一个元素,i时刻原句中某个词的隐状态就形如 而整个原句子的原文上下文语义向量最终被完整地表示成(2)词性软模板编码:词性软模板r经过双向LSTM编码后,整个词性软模板的隐藏层向量最终被完整地表示成

3.根据权利要求1所述的基于词性软模板注意力机制的短文本自动摘要方法,其特征在于:所述步骤Step3的具体步骤为:Step3.1、引入词性软模板注意力机制;注意力机制的关键在于对注意力系数进行计算,词性软模板注意力系数 具体计算方法如公式(1)所示:x表示原句子,r表示词性软模板,利用涵盖原文全局信息的隐向量 和每个时间步i下的词性隐向量 计算词性软模板注意力系数,下标“-1”代表隐层中最后一个元素,η0是一个多层感知器,使用tanh作为激活函数。

Step3.2、把模型学习到的核心词性信息融入原句子隐层向量;将Step3.1计算出的词性软模板注意力系数 融进原句子隐向量中,得到融合词性信息的原文上下文语义向量oi,具体计算方法如公式(2)所示:

4.根据权利要求1所述的基于词性软模板注意力机制的短文本自动摘要方法,其特征在于:所述步骤Step4中,具体包括:将得到的融合词性的原文上下文语义向量oi与词性软模板隐藏层向量 进行融合,向量融合过程中采用了线性相加的方式,如公式(3)所示:向量融合后得到解码端的输入hi,hi表示融合了词和词性的高层语义表达。

5.根据权利要求1所述的基于词性软模板注意力机制的短文本自动摘要方法,其特征在于:所述步骤Step5中,具体包括:首先计算出解码端i时刻的注意力系数值αt,i,如公式(4)和公式(5)所示:其中st-1表示解码器的隐状态,下标“t-1”代表当前隐状态的前一个状态,Wa是神经网络模型学习到的权重矩阵,hi表示融合了词和词性的高层语义表达;

然后计算出上下文向量ct和最终用于解码的向量st,如公式(6)和公式(7)所示:st=LSTM(yt-1,st-1,Ct-1)    (7)其中C是LSTM中的细胞状态,y表示预测的单词;

最终计算出词典内每个单词的概率Pvocab,输出预测单词完成解码,具体过程如公式(8)所示:Pvocab=softmax(g([ct;st]))    (8)其中g(·)代表一个非线性函数。