欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020105415675
申请人: 青岛大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种新事件主题提取方法,其特征在于包括以下步骤:

步骤1:根据事件关键词获取新闻事件文本数据流,根据获取的新闻事件文本数据流,构建新闻事件文本数据集,文本中的每一条记录包括新闻文本的事件类型标签以及事件的具体文本描述,并将新闻事件文本数据集划分训练集Train、验证集Val和测试集Test;

步骤2:对步骤1划分的训练集Train、验证集Val和测试集Test,以BERT表示模型为基础进行文本的向量化,输出高维稠密向量表示,得到新闻事件文本数据集的高维稠密向量表示,其中BERT表示模型的模型层数为12,隐藏大小为768,注意力头为12;

步骤3:将步骤2获得的新闻事件文本数据集的高维稠密向量表示作为输入,根据训练集Train、验证集Val,采用Xavier进行神经网络参数初始化,采用dropout策略以梯度下降的方法作为神经网络参数及输入特征向量的更新,得到新事件发现模型;

步骤4:设置新事件发现模型的阈值,如果识别结果大于这一阈值,则判定此事件属于已知新闻事件类型并给出事件的主题;如果预测结果阈值小于设定的阈值则判定此事件为新事件,对判定为新事件的新闻文本进行整合存储得到新事件文本数据集;

步骤5:对步骤4获得的新事件文本数据集中包含的无用信息进行去除操作,保留新闻事件文本对新闻事件的描述内容,并采用结巴中文分词工具进行分词后建立自定义词典提高分词的精度;其中无用信息包括特殊字符、停用词没有实质价值的标记;

步骤6:对步骤5得到的预处理后的新事件文本数据集提取实体特征和LDA主题热词特征后与原文进行词级拼接形成新的新闻文本描述,并对实体特征和LDA主题热词特征通过对特征增加词频的方式进行加权表示;其中实体特征包括人物实体特征、地点实体特征和组织名实体特征;

步骤7:对于步骤6处理后的新闻文本数据集,计算每个词的词频/逆文档率,用以衡量每个词相对于当前主题的重要度,并根据计算结果为每个词赋予相应的权重值;

步骤8:根据步骤6、7获得的特征及其权重值,利用Kmeans算法对步骤7得到的新事件文本数据集按多个事件进行聚类,并对新事件进行主题建模分析;将主题建模分析结果结合词频/逆文档率对新事件文本集的表示,对每个事件抽取十个关键词作为新事件的主题词,完成新事件主题的提取。

2.根据权利要求1所述新事件主题提取方法,其特征在于所述步骤1具体包含以下步骤:

步骤1.1:根据新闻事件文本数据获取需求,确定具体新闻事件的关键词;

步骤1.2:对于确定的新闻事件关键词,构建以Scrapy框架为基础通过百度搜索引擎获取新闻事件文本数据链接的数据爬虫系统,获取新闻事件文本数据流;

步骤1.3:对于获取的新闻事件文本数据流对文本内容进行规范化操作,去除包括空格的无效内容,对剩余有效内容进行拼接处理形成一条记录为一条新闻文本的规范化表示形成新闻事件文本集;

步骤1.4:对于步骤1.3得到的新闻事件文本集,按照7:2:1的比例划分训练集Train、验证集Val和测试集Test。