欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022107396606
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.融入领域词信息的跨境民族文化文本摘要生成方法,其特征在于:所述融入领域词信息的跨境民族文化文本摘要生成方法的具体步骤如下:Step1、跨境民族文化文本摘要数据预处理:构建带有摘要的跨境民族文化文本摘要数据集和领域词典,并且依照文本涉及的不同主题划分为若干种类型,具体标注的原则是在文本标题的基础上,增加文本中含有的跨境民族文化领域词信息;

Step2、分别对跨境民族文化领域词典和输入文本进行编码,利用查表的方法匹配文本与词典中的领域词;在编码器的输出部分对词典编码和文本编码进行融合,得到总的编码向量;

Step3、基于指针网络的跨境民族文化文本摘要生成:对得到的编码向量进行解码,利用解码模块中的注意力机制计算原文文本中领域词语与词典中相近领域词语的同义词概率以得到同义词分布,然后通过指针网络联合同义词分布与原文解码的概率分布,生成最终的摘要分布,进而得到跨境民族文化文本摘要。

2.根据权利要求1所述的融入领域词信息的跨境民族文化文本摘要生成方法,其特征在于:所述Step1的具体步骤为:Step1.1、通过跨境民族文化网站获取跨境民族文化数据,数据进行去重、过滤特殊字符预处理,然后人工标注了带有摘要的跨境民族文化文本,每条摘要由文本的标题与文本中所含的领域词信息内容组成;

Step1.2、在Step1.1中获取的跨境民族文化领域文本数据基础上,进行自动抽取领域词语的工作;使用基于切分的领域词语方法,通过统计多个字符组合得到的字符串的频率,并设置合适的阈值来对新词进行发现;在给定的跨境民族文化相关语料中,把所有出现频率超过设定阈值的字符串抽取出来,然后通过计算词的凝合程度;为了更加准确地提取出三个及以上字符组成的词语,对三个字符之间定义的凝固度计算过程如下所示;

其中,a、b、c是语料中相邻的字符,α表示预先设置的凝固度阈值,统计字符串abc成对出现的次数,从而得到它的频率P(abc),然后分别统计字符a、b、c的频率P(a)、P(b)、P(c);

多个字符组成的词语设置高的凝固度阈值,领域词典中包含了跨境民族文化中的节日、建筑、宗教、饮食以及文艺相关的词;

Step1.3、采用预训练语言模型对跨境民族文化文本进行字符向量表征,然后输入到Transformer Encoder层,得到输入文本的每个字符的向量表示;对于输入的向量利用多头自注意力机制Multi‑Head Self‑Attention计算文本中每个词语与其它词语之间的相互关系,计算过程如下所示:O

MHA=Concat(head1,...,headk)W

Q Q K V O

其中,Wi , 表示第i个Head的W ,W ,W 矩阵,W 为附加权重矩阵,dk为输入词向量的维度,Softmax为归一化操作,经过一系列的归一化和线性处理得到输入文本的Transformer Encoder输出;

为了增强文本编码过程中对领域词的关注,在模型的编码端增加跨境民族文化领域词典信息,采用word2vec中的CBOW策略来对领域词典进行编码得到词典的嵌入T`;对于词典中包含的领域词汇αi,输出词向量ti, 其中D1代表word2vec维度大小,ti代表词典中第i个词的词向量,计算过程如下所示:ti=word2vecαi。

3.根据权利要求1所述的融入领域词信息的跨境民族文化文本摘要生成方法,其特征在于:所述Step2的具体步骤为:Step2.1、跨境民族文化领域词典与输入文本的向量化特征表示:采用word2vec中的CBOW策略来对领域词典进行编码得到词典的嵌入;对于词典中包含的领域词汇,输出词向量;给定一组跨境民族文化文本数据,利用Transformer对其进行编码,其中输入的向量利用多头自注意力机制计算文本中每个词语与其它词语之间的相互关系;

Step2.2、领域词典信息增强的文本向量获取:将跨境民族文化领域词典编码与原文文本编码融合,以提升文本向量对跨境民族领域词汇的表征能力;其中领域词典的查表思想是根据输入文本中的每个词语与词典中所有可能相近的词语进行匹配,然后将匹配到所有词语的词向量与文本编码向量进行拼接;将所有匹配到的词嵌入序列相加,生成整个文本的领域词信息,并添加到原文本中每个词的嵌入中,最后将融合后的文本总向量Z作为解码向量输入到解码端进行后续的计算处理,计算过程如下所示;

Zi=T′W1+xiW2+b1

其中,Zi表示第i个词的输出隐状态, 是参数矩阵,用来分配

词典编码与全文编码的权重,b1是偏置参数,T`表示词典的嵌入,ti代表词典中第i个词的词向量。

4.根据权利要求1所述的融入领域词信息的跨境民族文化文本摘要生成方法,其特征在于:所述Step3的具体步骤为:Step3.1、将融入领域词信息的跨境民族文化文本特征向量Z输入到传统Transformer解码器中来提取上下文依赖的特征信息,生成融合领域词信息的概率分布,以缓解跨境民族文化文本摘要中领域词语信息丢失的问题;考虑到跨境民族文化领域词之间的近义关系,在解码模块中使用注意力机制进行同义词概率的计算,进而得到同义词分布,以辅助生成更符合原文上下文语义的领域词语,计算过程如下所示;

其中, 表示同义词分布概率,G1表示原文中领域词的隐状态, 表示词典

中候选词G2的嵌入,Attention表示计算注意力;

Step3.2、为了更好的生成跨境民族文化文本摘要,在解码端采用指针网络的思想,联合Step3.1中的同义词分布与融合领域词信息的概率分布,生成最后的摘要;通过指针网络缓解未登录词、领域词语生成错误的问题,计算过程如下所示;

其中,P(ω)表示摘要词语最终生成的概率,Pgen表示时间步t下摘要词语的生成概率,表示编解码注意力的输出, 表示跨境民族文化领域词典中的词语ωvocab映射到原文词ω的概率大小,PN(ω)表示模型的解码端生成的词的概率大小;

为了使模型学习到如何生成跨境民族文化文本摘要,利用交叉熵损失函数来拉进模型预测值和真实标签的概率分布,具体计算方法如下;

其中,Pt表示在t时刻模型预测结果正确的概率,T表示摘要的长度,ε为超参数。

5.融入领域词信息的跨境民族文化文本摘要生成装置,其特征在于,包括用于执行如权利要求1‑4任一项权利要求所述方法的模块。