1.一种适用于大数据分析的企业数据安全管理方法,其特征在于,包括:
在企业内部所有部门建立私有区块链网络,每次数据流动前,通过私有区块链网络将数据的来源信息、数据的流向信息、数据的传输时间信息写入区块链,生成不可篡改的记录;通过Merkle树算法进行哈希运算检测数据是否篡改;对于已篡改类数据发出警报并标记;
对于未篡改类数据的流动状态进行分析,基于传输路径偏离比和权限使用率,将数据划分为异常流动数据和正常流动数据;当传输路径偏离比小于偏离比阈值且权限使用率小于使用率阈值,数据视为正常流动数据,当传输路径偏离比大于等于偏离比阈值或权限使用率大于等于使用率阈值时,视为异常流动数据;
当数据划分为异常流动数据时,对该数据标记并从正常的传输队列中隔离,存储在受保护的隔离区域中;
通过自适应算法,将每条异常流动数据划分为N个独立段落,形成该异常流动数据的集合,对于每个集合中的独立段落标记独立的标识符和元数据,对N个独立段落依次评估数据传输完整性与哈希一致性;
当数据传输完整性小于完整性阈值且哈希一致性评估通过时,系统将该数据段落划分为正常段落;当数据传输完整性大于等于完整性阈值或哈希一致性评估失败时,系统将该数据段落划分为异常段落;
评估后对于正常段落,将其从隔离区域移回正常的传输队列,恢复流动状态,对于异常段落,系统将其继续隔离,并触发人工审查信号;
基于独立段落的返回率动态调整N的值。
2.根据权利要求1所述的一种适用于大数据分析的企业数据安全管理方法,其特征在于:
在数据传输过程中,通过构建Merkle树来生成根哈希值HMerkle,用于验证数据传输的完整性;首先将数据的来源信息Dsource、数据的流向信息Ddestination和数据的传输时间信息Ttransmission分别进行哈希处理,形成叶节点;然后将叶节点两两合并,逐层计算哈希值,最终生成根哈希值HMerkle;
HMerkle=H(HLeaf1∥HLeaf2);
HLeaf1=H(Dsource)|||H(Ddestination)and HLeaf2=H(Ttransmission)|||H(Dother);
其中HMerkle表示通过Merkle树算法生成的根哈希值,用于验证数据传输的完整性;HLeaf1和HLeaf2表示Merkle树的叶子节点哈希值,分别计算数据的来源信息、数据的流向信息、数据的传输时间信息;Dsource表示数据的来源信息,即数据的发送方;Ddestination表示数据的目的地信息,即接收方;Ttransmission表示数据的传输时间,即传输发生的时间戳;Dother表示其他元数据;H(X是哈希函数SHA-256,用于生成256位哈希值;通过递归计算这些叶节点的哈希值,最终生成的根哈希值HMerkle用于验证传输过程中是否发生篡改。
3.根据权利要求2所述的一种适用于大数据分析的企业数据安全管理方法,其特征在于:
在数据传输时,系统不仅计算传输路径偏离比和权限使用率,还动态调整预定路径Lexpected和权限Atotal的安全基线;通过实时分析网络负载和权限使用情况,调整这些基线值,来应对不同网络环境和权限使用的动态变化;
其中Pdeviation表示传输路径偏离比,即实际路径与预期路径的偏差比例;Lactual表示数据传输过程中的实际路径长度,即实际经过的节点数;Lexpected表示根据动态网络负载实时调整的预期路径长度,反映了传输时网络状态的最优路径;Upermission表示当前传输中的权限使用率,即使用的权限比例;Acurrent表示当前使用的权限数量;Atotal表示系统为该传输动态调整的总权限分配数量;通过路径偏离比和权限使用率的计算,检测数据传输中的异常,并根据网络和权限负载的变化进行调整。
4.根据权利要求3所述的一种适用于大数据分析的企业数据安全管理方法,其特征在于:
对于异常数据Danomaly,系统采用自适应算法对其进行分段;每个数据段di根据其内容、数据大小、传输条件动态调整分割,并为每个段落分配唯一标识符和元数据,自适应算法通过分析数据的复杂性,确定合理的分段数量N;
Dsegment={d1,d2,…,dN}where di=Segment(Danomaly,N)其中Dsegment表示异常数据被分割后的段落集合;di表示第i个数据段,每段数据段包含独立标识符和元数据;Danomaly表示被检测为异常的完整数据;N表示通过自适应算法确定的段落数量。
5.根据权利要求4所述的一种适用于大数据分析的企业数据安全管理方法,其特征在于:
系统对每个数据段di进行评估,包括传输完整性Itransmission和哈希一致性Hconsistent,传输完整性通过错误率与总传输次数比计算,而哈希一致性通过比对数据段的当前哈希值与原始哈希值来确认数据的一致性;
其中Itransmission表示每个数据段的传输完整性,计算错误占总传输的比例;Eerror表示数据传输过程中的错误数量;Etotal表示数据段的总传输次数;Hconsistent表示哈希一致性,通过哈希值比对,来确认数据是否被篡改;Hash(di表示第i段的当前哈希值;Horiginal(di)表示第i段的原始哈希值。
6.根据权利要求5所述的一种适用于大数据分析的企业数据安全管理方法,其特征在于:
系统在处理数据段落后,会根据返回率Rreturn动态调整段落数N,返回率根据评估后被标记为正常的数据段数量与总段数的比例决定的;
其中Rreturn表示评估后正常段落的返回率,即正常段落占总段落数的百分比;Snormal表示标记为正常段落的数量;N表示当前的分段数;Nnew表示根据返回率调整后的新分段数;α表示当返回率高于阈值时的增大系数;β表示当返回率低于阈值时的缩小系数;Rthreshold表示自适应算法设定的返回率阈值。
7.根据权利要求6所述的一种适用于大数据分析的企业数据安全管理方法,还包括一种适用于大数据分析的企业数据安全管理系统,其特征在于,包括区块链记录模块、哈希检测模块、数据流动分析模块、数据隔离模块、自适应分段与评估模块、正常与异常数据处理模块、动态调整模块;
区块链记录模块用于在企业内部建立私有区块链网络,在每次数据流动时,将数据的来源信息、数据的流向信息、数据的传输时间信息写入区块链,生成不可篡改的记录;
哈希检测模块通过Merkle树算法,对数据进行哈希运算,检测数据在传输过程中是否被篡改;哈希检测模块在数据传输时实时计算哈希值,并将结果与预期哈希值进行对比,对于已篡改类数据,发出警报并标记;
数据流动分析模块用于分析未篡改类数据的流动状态,通过计算传输路径偏离比和权限使用率,将数据划分为异常流动数据和正常流动数据,并做出相应的标记;
数据隔离模块,当数据被划分为异常流动数据时,将其从正常的传输队列中隔离,并存储在受保护的隔离区域中;
自适应分段与评估模块通过自适应算法,将每条异常数据划分为多个独立段落,每个段落拥有独立标识符和元数据,并逐段评估其数据传输完整性和哈希一致性;
正常与异常数据处理模块,在逐段评估后,正常段落将从隔离区域移回正常的传输队列,恢复数据流动;而异常段落则继续隔离,并触发人工审查信号以进行进一步处理;
动态调整模块基于评估过程中独立段落的返回率,调整分段的数量。