1.一种基于页面赋权的网页内容提取方法,其特征在于,所述方法包括:启动搜索引擎并接收关键词,在所述搜索引擎中搜索与所述关键字相关的搜索网页集;
为所述搜索网页集中每个搜索网页设置相同的初始权重,并根据所述搜索网页集内每个搜索网页所包括的访问链接,构建得到Web图;
根据所述Web图,依次计算每个搜索网页的更新权重,并根据所述更新权重更新所述初始权重,得到与每个搜索网页对应的历史权重;
根据所述历史权重对所述搜索网页集执行排序,并根据排名提取预设数量的搜索网页,得到内容待提取网页集;
对所述内容待提取网页集内每个内容待提取网页执行OCR识别,得到第一待校正文本集;
利用预训练完成的文本识别模型,识别所述内容待提取网页集的文本,得到第二待校正文本集;
对所述第一待校正文本集与所述第二待校正文本集执行校正,得到网页内容。
2.如权利要求1所述的基于页面赋权的网页内容提取方法,其特征在于,所述对所述内容待提取网页集内每个内容待提取网页执行OCR识别,得到第一待校正文本集,包括:扫描所述内容待提取网页集,得到网页图像集;
对所述网页图像集进执行文本识别,得到文字信息,计算所述文字信息的文字置信度;
根据所述文字置信度清理所述文字信息,得到所述第一待校正文本集。
3.如权利要求2所述的基于页面赋权的网页内容提取方法,其特征在于,所述根据所述文字置信度清理所述文字信息,得到所述第一待校正文本集,包括:设置文字置信度阈值;
当所述文字置信度低于所述文字置信度阈值时,剔除对应文字直至得到所述第一待校正文本集。
4.如权利要求1所述的基于页面赋权的网页内容提取方法,其特征在于,所述预训练完成的文本识别模型,包括:接收原始文本集及原始BERT语言模型,对所述原始文本集按照预定的百分比执行掩码操作,得到掩码文本集;
利用所述掩码文本集,对所述原始BERT语言模型按照预设概率执行分类训练,得到已训练BERT语言模型;
微调所述已训练BERT语言模型,得到所述文本识别模型。
5.如权利要求4所述的基于页面赋权的网页内容提取方法,其特征在于,所述微调所述已训练BERT语言模型,得到所述文本识别模型,包括:接收微调文本集,其中所述微调文本集包括正确语句集及对应的错误语句集,在所述已训练BERT语言模型中输入所述微调文本集,利用预构建的微调方法及所述正确语句集,对所述已训练BERT语言模型执行微调,生成对句对字微调模型;
利用所述错误语句集中的错误文字掩码所述错误文字,得到掩码错误文字,从所述正确语句集中提取与所述错误文字对应的正确文字,并将所述正确文字设置为预测目标,利用所述预测目标及所述掩码错误文字,微调所述已训练BERT语言模型,得到错句错字微调模型;
利用所述错误语句集中的正确文字本身掩码所述正确文字,得到掩码正确文字,并将所述正确文字设置为预测目标,利用所述预测目标及所述掩码正确文字,微调所述已训练BERT语言模型,得到错句对字微调模型;
基于所述对句对字微调模型、错句错字微调模型和错句对字微调模型,得到所述文本识别模型。
6.如权利要求1所述的基于页面赋权的网页内容提取方法,其特征在于,所述在所述搜索引擎中搜索与所述关键字相关的搜索网页集,包括:索引出与所述搜索引擎对应的网页数据库,提取所述网页数据库中所包括的网页标签,得到多组网页标签集;
计算所述关键词与每组所述网页标签集的文本距离;
筛选所述文本距离小于指定阈值的搜索网页,得到所述搜索网页集。
7.如权利要求6所述的基于页面赋权的网页内容提取方法,其特征在于,所述提取所述网页数据库中所包括的网页标签,得到多组网页标签集,包括:在所述网页数据库中依次提取每个网页的网页关键字,得到网页关键字集;
对所述网页关键字集中每个网页关键字执行去停用词处理,得到核心关键字集;
重组每个核心关键字,得到与网页对应的网页标签集。
8.一种基于页面赋权的网页内容提取装置,其特征在于,所述装置包括:搜索网页构建模块,用于启动搜索引擎并接收关键词,在所述搜索引擎中搜索与所述关键字相关的搜索网页集;
历史权重计算模块,用于为所述搜索网页集中每个搜索网页设置相同的初始权重,并根据所述搜索网页集内每个搜索网页所包括的访问链接,构建得到Web图,根据所述Web图,依次计算每个搜索网页的更新权重,并根据所述更新权重更新所述初始权重,得到与每个搜索网页对应的历史权重;
网页排名模块,用于根据所述历史权重对所述搜索网页集执行排序,并根据排名提取预设数量的搜索网页,得到内容待提取网页集;
OCR识别模块,用于对所述内容待提取网页集内每个内容待提取网页执行OCR识别,得到第一待校正文本集;
网页内容提取模块,用于利用预训练完成的文本识别模型,识别所述内容待提取网页集的文本,得到第二待校正文本集,对所述第一待校正文本集与所述第二待校正文本集执行校正,得到网页内容。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的基于页面赋权的网页内容提取方法。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的基于页面赋权的网页内容提取方法。