1.一种网页内容提取方法,其特征在于:包括以下步骤:
S1:针对待提取网页所属网站的代码规则确定HTML代码中与待提取内容所在父级范围对应的第一特征、对HTML代码进行分行的第二特征、以及将每行HTML代码分成包括第一部分和第二部分的第三特征;每行HTML代码对应于父级范围内的一个子范围,所述第一部分对应于网页内容中的匹配关键词,所述第二部分对应于网页内容中的待提取内容;
S2:定义索引关键词;
S3:提取待提取网页的HTML标签树判断HTML代码是否完整,如果完整,则生成完整的HTML页面,如果不完整,则将不完整的标签进行补齐并生成完整的HTML页面;
S4:基于第一特征对网页内容进行定位,确定索引关键词的父级范围;
S5:基于第二特征和第三特征提取每一行HTML代码第一部分对应的匹配关键词与输入的索引关键词进行比对,计算匹配概率;
S6:输出匹配概率最大的匹配关键词对应的待提取内容。
2.根据权利要求1所述的一种网页内容提取方法,其特征在于:步骤S3中针对加载完的HTML页面,确定页面中是否存在待解析的js脚本,如果页面中没有js脚本,则直接生成完整的HTML页面;如果存在js脚本,对js脚本渲染后生成完整的HTML页面。
3.根据权利要求2所述的一种网页内容提取方法,其特征在于:步骤S3中通过splash技术对js脚本进行动态渲染。
4.根据权利要求1所述的一种网页内容提取方法,其特征在于:步骤S4中基于第一特征使用xpath算法对待提取内容的父级范围进行定位。
5.根据权利要求1所述的一种网页内容提取方法,其特征在于:步骤S4中计算匹配概率的方法为:将匹配关键词存储为一阶矩阵X=[xM],索引关键词存储为一阶矩阵Y=[yN],集合中的每个元素代表一个字母;引入二维矩阵C[M,N],令其中,i∈[0,M],j∈[0,N];
则匹配概率为C[M,N]/N。
6.一种网页内容提取系统,其特征在于:包括
特征提取模块:针对待提取网页所属网站的代码规则确定HTML代码中与待提取内容所在父级范围对应的第一特征、对HTML代码进行分行的第二特征、以及将每行HTML代码分成包括第一部分和第二部分的第三特征;每行HTML代码对应于父级范围内的一个子范围,所述第一部分对应于网页内容中的匹配关键词,所述第二部分对应于网页内容中的待提取内容;
关键词定义模块:定义索引关键词;
代码提取模块:提取待网页的HTML标签树判断HTML代码是否完整,如果完整,则生成完整的HTML页面,如果不完整,则将不完整的标签进行补齐并生成完整的HTML页面;
父级定位模块:基于第一特征对网页内容进行定位,确定索引关键词的父级范围;
匹配计算模块:基于第二特征和第三特征提取每一行HTML代码第一部分对应的匹配关键词与输入的索引关键词进行比对,计算匹配概率;
内容提取模块:提取匹配概率最大的匹配关键词对应的待提取内容。
7.一种电子处理设备,其特征在于:包括至少一个处理器和存储有至少一个执行程序的存储装置,当所述至少一个执行程序被所述至少一个处理器执行,所述至少一个处理器实现如权利要求1-6任一项所述的方法。
8.一种计算机可读存储介质,存储有计算机程序,其特征在于:所述计算机程序被处理器执行时能够实现如权利要求1-6任一项所述的方法。