欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019107172209
申请人: 安徽大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种网页内容提取方法,其特征在于:包括以下步骤:

S1:针对待提取网页所属网站的代码规则确定HTML代码中与待提取内容所在父级范围对应的第一特征、对HTML代码进行分行的第二特征、以及将每行HTML代码分成包括第一部分和第二部分的第三特征;每行HTML代码对应于父级范围内的一个子范围,所述第一部分对应于网页内容中的匹配关键词,所述第二部分对应于网页内容中的待提取内容;

S2:定义索引关键词;

S3:提取待提取网页的HTML标签树判断HTML代码是否完整,如果完整,则生成完整的HTML页面,如果不完整,则将不完整的标签进行补齐并生成完整的HTML页面;

S4:基于第一特征对网页内容进行定位,确定索引关键词的父级范围;

S5:基于第二特征和第三特征提取每一行HTML代码第一部分对应的匹配关键词与输入的索引关键词进行比对,计算匹配概率;

S6:输出匹配概率最大的匹配关键词对应的待提取内容。

2.根据权利要求1所述的一种网页内容提取方法,其特征在于:步骤S3中针对加载完的HTML页面,确定页面中是否存在待解析的js脚本,如果页面中没有js脚本,则直接生成完整的HTML页面;如果存在js脚本,对js脚本渲染后生成完整的HTML页面。

3.根据权利要求2所述的一种网页内容提取方法,其特征在于:步骤S3中通过splash技术对js脚本进行动态渲染。

4.根据权利要求1所述的一种网页内容提取方法,其特征在于:步骤S4中基于第一特征使用xpath算法对待提取内容的父级范围进行定位。

5.根据权利要求1所述的一种网页内容提取方法,其特征在于:步骤S4中计算匹配概率的方法为:将匹配关键词存储为一阶矩阵X=[xM],索引关键词存储为一阶矩阵Y=[yN],集合中的每个元素代表一个字母;引入二维矩阵C[M,N],令其中,i∈[0,M],j∈[0,N];

则匹配概率为C[M,N]/N。

6.一种网页内容提取系统,其特征在于:包括

特征提取模块:针对待提取网页所属网站的代码规则确定HTML代码中与待提取内容所在父级范围对应的第一特征、对HTML代码进行分行的第二特征、以及将每行HTML代码分成包括第一部分和第二部分的第三特征;每行HTML代码对应于父级范围内的一个子范围,所述第一部分对应于网页内容中的匹配关键词,所述第二部分对应于网页内容中的待提取内容;

关键词定义模块:定义索引关键词;

代码提取模块:提取待网页的HTML标签树判断HTML代码是否完整,如果完整,则生成完整的HTML页面,如果不完整,则将不完整的标签进行补齐并生成完整的HTML页面;

父级定位模块:基于第一特征对网页内容进行定位,确定索引关键词的父级范围;

匹配计算模块:基于第二特征和第三特征提取每一行HTML代码第一部分对应的匹配关键词与输入的索引关键词进行比对,计算匹配概率;

内容提取模块:提取匹配概率最大的匹配关键词对应的待提取内容。

7.一种电子处理设备,其特征在于:包括至少一个处理器和存储有至少一个执行程序的存储装置,当所述至少一个执行程序被所述至少一个处理器执行,所述至少一个处理器实现如权利要求1-6任一项所述的方法。

8.一种计算机可读存储介质,存储有计算机程序,其特征在于:所述计算机程序被处理器执行时能够实现如权利要求1-6任一项所述的方法。