1.一种基于关键词匹配的正文抽取的方法,其特征在于,包括如下步骤:
(1)网页预处理
统计网页源代码Keywords标签中的关键词并以关键词建立标准库;采用正则表达式对待处理的网页进行预处理,去除明显的噪音文本,获得粗糙网页;
(2)构建DOM树
依据获得的粗糙网页建立对应的DOM树,按照网页源代码中段落标签的层次,将粗糙网页中的文本段落分别对应到DOM树的叶子节点;
(3)统计关键词的数量
层次遍历DOM树,统计DOM树中所有节点包含关键词的数量,对叶子节点直接统计其所含关键词数量,而非叶子节点的关键词数量为其所有子女节点关键词数量之和;
(4)构建关键词权重KW
关键词权重KW为除根节点外的各节点所含关键词数量与其父节点所含关键词数量的比值;
以Cj表示j结点所含关键词的数量,Pj表示j节点的父节点i所含关键词的数量,以KWj表示j结点的关键词权重,其计算公式如下:对每个非叶子节点,找出其所有子女节点中KW的最大值,将该节点及其子女节点的最大KW组成一个最大KW集合U;
(5)计算关键词权重阈值
从不同类型的网站随机选取一定数量的网页,通过设置不同的关键词权重阈值选出小于阈值的非叶子节点,并抽取出该非叶子节点对应的正文内容,计算所抽取正文的Recall、Precise、F值,具体公式如下:进行正文抽取时,所设置的关键词权重阈值KW_T在区间[0,1]内分别取不同的值,重复计算在不同阈值KW_T下正文抽取的Recall、Precise和F值,并在坐标系中绘制其变化曲线,横坐标对应阈值KW_T,纵坐标分别对应于Recall、Precise和F值;当所绘制的Recall曲线和Precise曲线相交时,F值最大,即达到最好的抽取效果,记录Recall曲线和Precise曲线相交时的KW_T值;统计针对不同网页进行上述处理时,所记录的在Recall曲线和Precise曲线相交时的KW_T值,将重复出现最多的KW_T值设置为关键词匹配时的阈值;
(6)关键词匹配
从集合U中查找小于指定的关键词权重阈值KW_T的KW值,确定对应的非叶子节点,并将该非叶子节点下的所有叶子节点当作正文节点输出,完成正文抽取;
(7)相似度匹配,若集合U中不存在小于阈值KW_T的KW值,采用相似度比较的方法进行正文匹配;遍历整个DOM树,抽取所有的叶子节点,将各叶子节点的数据采用SimHash算法转换成对应的八位二进制数据,并分别与采用SimHash算法转换的网页标题数据进行相似度比较,通过海明距离判断各叶子节点与网页标题的相似程度,若相似程度小于指定的阈值,则将该节点确定为正文节点,完成正文抽取;反之,则为噪音丢弃。
2.根据权利要求1所述的基于关键词匹配的正文抽取的方法,其特征在于:步骤(7)所述的相似度匹配,具体步骤如下:(7-1)进行网页清洗并提取其特征词,遍历整个DOM树,抽取所有叶子节点对应的段落文本,去除段落文本中的停用词,通过分词处理,获得多个特征词FW;
(7-2)计算每个特征词的权重,以FWk表示第k个特征词,先统计某网页的文本段落总数,记为N;统计网页中含有FWk的段落数量,记为Nk;最后统计FWk在网页中出现的次数,记为TFk;以Weight(FWk)表示特征词FWk的权重,计算公式如下:式(3)中,L是为了防止对数函数的计算值为0而设置的经验常数,取0.01;
(7-3)计算特征词FWk的Hash值,采用SimHash算法将特征词FWk分别转换成对应的位数为8位的Hash值;
(7-4)计算特征词FWk的加权向量,将特征词FWk的Hash值与其权重值Weight(FWk)按位相乘,如果Hash值所在位是1,则Hash值和权重值按位正相乘;如果是0,则Hash值和权重值按位负相乘,生成一个8位的二进制数,即构造出特征词FWk的加权向量;
(7-5)按照(7-2)到(7-4)方法计算网页中所有特征词的加权向量;
(7-6)针对网页中的每一个段落,合并每一个段落中所有特征词的加权向量并降维;按照二进制加法运算合并每一个段落中所有特征值的加权向量,得到对应的合并后的向量,对合并后的向量降维是将向量数值的每一位转换为二进制数据,若向量的某一位数值大于
0则为1,反之则为0,得到一个代表相应段落文本的八位SimHash值,最终获得多个对应于不同段落的SimHash值;
(7-7)采用(7-1)到(7-6)的方法计算网页标题的SimHash值;
(7-8)计算网页中每一个文本段落SimHash值与网页标题SimHash值的海明距离,判断相似度;如果两者的海明距离小于设置的海明距离阈值T,T∈[0,8],则对应的段落为正文短文本,完成正文抽取;反之,则为噪音丢弃。
3.根据权利要求2所述的基于关键词匹配的正文抽取的方法,其特征在于:步骤(7-8)所述的海明距离阈值T的选取方法与关键词权重KW_T的选取方法相同,即针对短文本,计算网页标题和网页各段落文本的SimHash值,以海明距离进行相似度比较,以T分别取0,
1,...,8,计算正文抽取时在不同海明距离阈值T下的Recall、Precise和F值,记录在不同阈值下的Recall曲线和Precise曲线相交时的T值,将重复出现次数最多的T值设置为选取的阈值。