欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023106343235
申请人: 华东交通大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于改进的BTM主题模型的新闻要素词的挖掘方法,其特征在于,所述方法包括如下步骤:步骤1、获取若干文本,选择文本中的有代表性的词,以代表性的词作为文本的特征表示;

步骤2、利用代表性的词构建词典,设置窗口,将窗口内任意的两个代表性词构成biterm,将多个biterm构建biterm列表;

步骤3、根据领域知识,给定已知特定领域主题的种子词,设定初始参数,利用种子词与biterm词的相似度作为采样的先验知识进行Gibbs采样,重新统计文本分配给主题的次数和词对分配给主题的次数,直到Gibbs参数收敛,得到改进的BTM模型,并利用改进的BTM模型最终的采样结果生成主题‑词分布和文档‑主题分布;

步骤4、根据词对主题的贡献度,提高所述主题‑词分布中低频代表性词分配到主题的概率,再将出现在每个主题中贡献度低的词剔除以得到主题要素词;

在所述步骤1中,选取代表性词时,对文本中的词引入词语位置权重因子,并选取文本中首句中的词语赋予更高的权重;

以词的信息量作为主题词tf‑idf值的控制系数,以计算文本中其余位置的词的权重,根据词的权重选择文本中代表性词;

词语位置权重因子表示为 ,文本中首句中的词语赋予权重因子表示为;在计算文本中其余位置的词时, 取值为0;

其余位置的词的权重对应的表达式为:;

其中, 表示其余位置的词的权重, 表示信息熵,即词 的信息量, 为词频修订值, 为包含词 的文档数, 为文档总数, 为词的词频, 为每篇文档中词 出现频率的平均数, 表示文本语料中包含词 的文本数;

词 的信息熵表示式为:

;

其中, 表示词 在整个文本中出现的概率;

在所述步骤3中,利用种子词与biterm词的相似度作为采样的先验知识的方法具体包括:步骤3.1、利用已知的文本的特征表示和未知的主题分布得出改进的BTM模型的biterm的主题联合概率分布;

步骤3.2、将改进的BTM模型的biterm的主题联合概率分布,利用应用链式法获得Gibbs采样所需的主题的条件概率分布;

步骤3.3、计算biterm词与种子词的相似度,基于相似度信息与主题的条件概率分布中词在主题中出现的次数,以得到改进的BTM模型采样条件概率模型;

步骤3.4、设置相似度阈值,将低于相似度阈值的相似度定义为0;

改进的BTM模型的biterm的主题联合概率分布存在如下关系式:;

其中, 表示biterm 中的词对的主题概率分布, 表示文本属于主题 的概率;

的表达式为:

;

其中, 表示属于主题 的biterm的出现次数, 表示所有biterm的个数, 表示主题个数, 表示第一狄利克雷先验参数;

表示biterm中每个词属于主题 的概率, 的表达式为:;

其中, 表示单词 在主题 中出现的次数, 表示属于主题 的biterm的个数, 表示所有文档的个数, 表示biterm词 和种子词 的相似度矩阵, 表示第二狄利克雷先验参数;

改进的BTM模型采样条件概率模型的表达式为:;

其中, 表示biterm的条件概率, 表示biterm集合, , , 和 分别表示两个不同的代表性的词, 表示主题 中 出现的次数, 表示主题 中 出现的次数, 表示词的总个数,表示单词 在主题 中出现的次数, 表示除了 以外的其他词对的主题;

种子词与biterm词的相似度矩阵 定义表达式为:;

其中, 表示biterm词 和种子词 的相似度, 为指定的相似度阈值;

在所述步骤4中,根据词对主题的贡献度,提高主题‑词分布中低频代表性词分配到主题的概率的方法具体包括:步骤4.1,设置词 在主题 中出现的概率分布为 ,其中,词 在主题 中出现的概率表示词 对主题 的代表性;

表示生成的主题数, 表示包含词 的主题数,则词 的逆主题频率为 ;

步骤4.2,利用词 在主题 中出现的概率分布 乘以逆主题频率,得到词 对主题 的贡献度 ,贡献度 的表达式为:

;

步骤4.3,设置代表性阈值和均值,当贡献度大于代表性阈值时,则主题词的贡献度为;当贡献度小于代表性阈值时,则均值 为词 对主题 的贡献度;

主题词的贡献度的表达式为:

;

其中, 表示代表性阈值。