1.一种基于大数据的计算机资源管理系统,其特征在于:所述系统包括:数据库、数据采集模块、数据分析模块、数据存储模块、数据使用模块和数据显示模块;
所述数据库的输出端连接所述数据采集模块的输入端,所述数据采集模块的输出端连接所述数据分析模块的输入端,所述数据分析模块的输出端连接所述数据存储模块的输入端,所述数据存储模块的输出端连接所述数据使用模块的输入端,所述数据使用模块的输出端连接所述数据显示模块的输入端;
通过所述数据库存储所有的文件信息和发送文件的所有用户信息;
通过所述数据采集模块采集所述数据库中文件的保存信息和删除记录;
通过所述数据分析模块根据文件特征值对文件进行分类压缩,进一步分析文件类型并选择性存储;
通过所述数据存储模块存储所有分析后的数据并进行定期清理;
通过所述数据使用模块获取用户接收到客户发送的文件信息,分析用户关联性和文件类型,并根据文件大小选择性存储至所述数据存储模块;
通过所述数据显示模块显示文件保存位置和文件保存时间;
所述数据采集模块包括保存文件采集单元和删除文件采集单元;
所述保存文件采集单元用于采集所述数据库中所有留存的文件信息;所述删除文件采集单元用于采集所述数据库中用户删除的所有文件信息;
所述数据分析模块包括特征值生成单元、文件分类单元、压缩单元和文件处理单元;
所述特征值生成单元用于利用LDA模型将数据投影到低维空间,进行关键词提取,从而得到文件特征值;所述文件分类单元用于根据文件特征值将所有的文件进行分类处理;所述压缩单元用于将分类完成的信息文件进行压缩;所述文件处理单元用于识别每一块分类压缩后的文件集中是否存在删除的文件信息,若存在,则利用计时器计算文件保存的时长;
所述文件处理单元包括识别子单元、文件确定子单元和选择子单元;所述识别子单元用于识别每一块分类压缩后的文件集中是否存在删除的文件信息;所述文件确定子单元用于根据所述识别子单元的结果确认文件类型;所述选择子单元用于根据文件类型选择不同的存储方式;
所述数据存储模块包括数据暂存器和数据留存器;
所述数据暂存器用于暂时存储一定时间内需要删除的文件并进行定期清理;所述数据留存器用于存储长期保存的文件;
所述数据使用模块包括文件获取单元、用户分析单元、数据解析单元和数据处理单元;
所述文件获取单元用于接收客户所发送的文件,并将文件信息发送至所述用户分析单元和所述数据解析单元;所述用户分析单元用于分析用户与客户之间的关联性;所述数据解析单元用于分析文件类型,进一步分析文件大小和存储器内存的关系;所述数据处理单元用于根据文件类型、文件大小和存储器内存选择性存储文件,并将文件信息发送至所述数据存储模块。
2.一种基于大数据的计算机资源管理方法,其特征在于:包括以下步骤:S1:数据库存储所有的文件信息和发送文件的所有用户信息;
S2:采集所述数据库中文件的保存信息和删除记录;
S3:根据文件特征值对文件进行分类压缩,进一步分析文件类型并选择性存储;
S4:存储所有分析后的数据并进行定期清理;
S5:获取用户接收到客户发送的文件信息,分析用户关联性和文件类型,并根据文件大小进行选择性存储;
S6:显示文件保存位置和文件保存时间;
在步骤S2中:采集数据库中文件的所有保存信息和删除记录,形成文件数据集A={Ai},i=1,2,…,α;同时,采集数据库中文件的所有删除记录,形成数据集B={Bk},k=1,2,…,β,其中,在步骤S3中:为了分析文件类型,确认文件为暂存文件还是长存文件,具体包括以下步骤:S301:计算文件数据的类内离散度Sω和类间离散度Sb:由文件数据集A={Ai},i=1,
2,…,α,设定从每一个文件Ai中得到的文件数据为:Ai={xji},j=1,2,…,m;则每一个文件的均值为: 从而得到文件数据集A的均值为: 进一步得到类内离散度为 类间离散度为
S302:通过类内距离与类间距离的关系得到文件特征集合:设定将文件数据集A投影到d维空间,则对应的基向量为ω={ωi},i=1,2,…,d;设定一个判别矩阵‑1
此时,当Sω Sbωi=λiωi时,R达到最大,则取前d个最大的特征值对应的特征向T量形成特征向量集W,则得到文件特征集合为YA=WA={ki},i=1,2,…,α;同理,得到数据集B的文件特征集合为YB={pk},k=1,2,…,β;
S303:根据文件特征值将所有的文件进行分类处理:通过遍历文件特征集合为YA,当不同文件的类间距离 时,得到s个相似文件,将相似的文件聚集并形成一个区块c={ki},i=1,2,…,s;此时,得到n个不同的区块形成区块集合:Cx={cx},x=1,2,…,n;
S304:通过遍历区块集合Cx,若 则将cx筛选出来,得到g个区块,形成新的区块集合Cg={cx},x=1,2,…,g,此时确认Cg中的文件为暂存文件,并记录每一个区块文件保存的时长;反之,若 则Cx‑g={cx},x=g+1,g+2,…,n中的文件为长存文件,并将文件进行压缩处理;
在步骤S4中:将暂存文件存储至数据暂存器中并根据每一个区块内文件删除的时长进行定期清理;将长存文件存储至数据留存器中进行长期保存;
在步骤S5中:用户接收到客户发送的文件信息,分析用户关联性和文件类型,并根据文件大小进行选择性存储还包括以下步骤:S501:根据用户关联性和文件特征值分析文件类型;
为了分析客户发送的文件类型,首先分析用户的关联性:采集所发送文件的客户信息,将其与数据库中的用户信息进行比对,若数据库中该客户信息出现的次数δ>ρ,则说明该客户与用户之间的关联性大,此时,则进入文件特征值分析模式;
接着分析文件特征值:利用文本特征抽取算法将接收到的文件Hγ={uj},j=1,2,…,m进行特征值化,得到文件特征向量为u;
然后利用相似度算法将用户接收到的文件Hγ与文件数据集A进行比较,确认文件特征值:通过遍历文件数据集A,比较接收到的文件特征向量u与文件数据集A的特征向量集W,根据公式: 得到相似角度集合θ={θi},i=1,2,…,d;
进一步利用冒泡排序法将相似角度集合θ中的数据进行升序,则提取出θ1对应的ωi值,从而得到文件数据集A中的文件特征值ki和所属的区块cv,其中v
最后通过判断cv与区块集合Cx的关系确认文件类型:若 则表示文件Hγ为暂存文件;反之,若 则表示文件Hγ为长存文件;
S502:分析文件大小、存储器容量,进行文件选择性存储;
若文件Hγ为长存文件,则将文件放入Cx‑g区块中并做压缩处理,同时进入数据留存模式,将压缩后的数据上传至数据留存器中;
若文件Hγ为暂存文件,则将文件大小与数据暂存器的剩余容量进行比较:设定文件大小为η,数据暂存器的剩余容量为Z,若η