1.一种基于大数据的档案分类管理系统,其特征在于,包括档案数据采集模块、数据存储模块、档案分类模块、检索推荐模块和可视化模块;
所述档案数据采集模块用于从数据源中获取档案数据;
所述数据存储模块用于对档案数据采集模块采集到的数据进行存储,所述数据存储模块包括分层存储单元,所述分层存储单元用于将档案数据分为冷档案和热档案,并使用不同的存储介质进行存储;
所述档案分类模块利用元数据收集工具获取档案数据的元数据,并为每个档案数据生成标签,标签包括时间、关键词、数据来源和类别,根据标签对档案数据进行分类;
所述检索推荐模块包括结果推荐单元和相关性分析单元,所述结果推荐单元用于根据用户输入的内容提供具体的档案,所述相关性分析单元根据所述结果推荐单元提供的档案与其他档案进行对比,根据对比结果为用户提供相关档案;
所述分层存储单元档案数据划分过程如下:
;
其中A是热度评分;
F是档案访问频率,表示过去单位时间内的访问次数;
α是访问频率影响系数,取值范围为0至1;
T是距最近一次访问的时间间隔;
β是访问时间间隔影响系数,取值范围为0至1;
Z是档案重要性权重,取值范围为0至1;
热度评分A越高表示档案数据使用更加频繁,反之则表示档案数据使用越少,设定热度评分A的分类阈值为Y1,当A大于Y1时,为热档案,当A小于Y1时,为冷档案,对于热档案,将其移动至高性能存储介质中,以提高访问速度和响应时间,对于冷档案,将其移动至低成本的存储介质中,以减少存储费用;
所述结果推荐单元过程如下:
;
其中G表示用户查询内容,S表示候选分;
S(D1,G)表示根据用户查询内容档案一的候选分;
R(D1,G)表示用户查询内容与档案一的相似度评分;
W1表示R(D1,G)的影响系数,取值范围为0至1;
H(D1)表示档案一的历史访问频率;
W2表示H(D1)的影响系数,取值范围为0至1;
C(D1)表示档案一的时效性;
W3表示C(D1)的影响系数,取值范围为0至1;
档案一的历史访问频率H(D1)得出过程如下:;
其中U表示使用者集合;
Mp(D1)表示使用者p访问档案一的次数;
Mp表示使用者p的影响系数,取值范围为0至1,代表不同用户的重要性;
S(D1,G)越大表示档案一与用户查询内容的关联性越强,用户在使用系统过程中,输入用户查询内容G后,搜索结果栏会自动推荐得分最高的一个档案,以保证档案查询精度,用户可以根据需求调整W1、W2和W3,提高档案查询的灵活性;
所述相关性分析单元分析过程如下:
;
其中R(D1,D2)表示档案一和档案二的相似度评分;
fi(D1)表示在档案一中第i个关键词出现频次;
fi(D2)表示在档案二中第i个关键词出现频次;
n表示关键词的数量;
表示档案一和档案二之间共享特征频次的最小值之和,用于计算两个档案在每个关键词上有多少重叠,并找出每个关键词的最小值;
表示档案一和档案二中特征总数的最大值;
通过计算两个档案之间共享特征的重叠程度,并用它们的特征总数的最大值进行标准化,来衡量两个档案的相关性,得到相似度评分,相关性分析单元可以确定两个档案在关键词的相似度,帮助查找相似档案和进行档案内容对比,在所述结果推荐单元为用户推荐候选分S最高的档案后,相关性分析单元将计算候选分S最高的档案与其他档案的相似度评分,并设定R(D1,D2)的评分阈值为Y2,当R(D1,D2)大于Y2时,表示两个档案的相似度高,将与得分最高的档案对比的档案加入搜索结果栏,当R(D1,D2)小于Y2时,则不加入。
2.根据权利要求1所述的基于大数据的档案分类管理系统,其特征在于,所述档案数据包括纸质档案和电子档案,所述电子档案包括音视频数据,所述档案数据采集模块包括光学识别单元和音频转换单元,所述光学识别单元用于将纸质档案转化为图像格式,并提取图像格式中的文字内容,所述音频转换单元用于对音视频数据进行转换,提取文字数据,并结合视频转码技术进行数字化处理。
3.根据权利要求1所述的基于大数据的档案分类管理系统,其特征在于:所述可视化模块为管理员提供系统运行的监控数据,监控数据包括档案存储量、访问频率和系统硬件运行参数。
4.根据权利要求3所述的基于大数据的档案分类管理系统,其特征在于:所述高性能存储介质包括固态硬盘,所述低成本的存储介质包括机械硬盘。
5.根据权利要求1所述的基于大数据的档案分类管理系统,其特征在于:所述元数据收集工具为ApacheTika。