1.一种基于区块链技术的信息存储优化方法,其特征在于,包括由下步骤:
步骤1、用户注册和登录系统;
步骤2、用户登录系统之后,对于提交到系统的数据,区块链平台仅存储数据索引,大量数据进行链下云存储;
步骤3、对提交到系统的数据进行打包上传到区块链平台时需要达成共识,通过在区块链网络中设置数据节点的方式对共识节点进行分组以提高共识效率;
步骤4、在区块链节点的区块头添加贡献因子,恶意节点和响应时间并且附以相应的权重的方式区分出优质节点以提高共识效率;具体操作如下:步骤4.1、贡献因子奖励规则:区块链的共识节点完成一个区块的产生后,该节点的贡献因子值大小会提升,备用节点完成一次投票选举,该节点会提升活跃度值的大小,设n为当前的视图切换的总次数,An为节点获取奖励前的贡献因子值,设An+1为节点获取奖励后的贡献因子值,Consensusn为共识节点总的共识次数,MaxValue为节点贡献因子值的最大值,那么步骤4.2、贡献因子惩罚规则:区块链的共识节点每当出现超时,没有响应的情况时,会执行贡献因子值减少的惩罚,A′n+1为节点惩罚后的贡献因子值,A′n为获取奖励前的贡献因子值,Count为节点没有在规定时间内响应超时的次数,In(t)为惩罚因子,MinValue为节点贡献因子值的最小值,那么步骤4.3、恶意次数和响应时间字段的奖惩值在MinValue和MaxValue之间,恶意次数越多则越接近MinValue,响应时间越短值越接近MaxValue,第k个节点第n+1伦恶意次数和响应时间字段的权重值分别为Wn+1,k,对应的当前奖惩罚值分别为A n+1,k,j为区块链网络中共识节点的数量;最后根据每个字段的奖惩值和对应的权重计算出每一轮的最终结果Resultn+1;当节点的恶意次数超过N次以后,将该节点变为普通节点,不再参与共识过程,最后根据每个字段的权重算出每一轮的最终结果,以减少视图切换概率,步骤5、对于系统中涉及到的文件信息数据,首先对这些数据进行预处理;对于系统中涉及到的交易信息数据则转至步骤8进行处理;
步骤6、将预处理后的数据进行存储处理,同时在查询数据时,先访问高频索引模块,如果查询失败则访问存储模块;
步骤7、进行存储处理时将文件数据分为文本数据和非文本数据,将文本数据和非文本数据进行分别存储,在存储非文本数据时,对非文本数据小文件进行预处理;
步骤8、对于系统中涉及到的交易信息数据,采用配置文件记录两两节点之间的历史交易记录来动态维护RSMC和HTLC。
2.根据权利要求1所述一种基于区块链技术的信息存储优化方法,其特征在于,所述步骤1中,用户注册的具体操作如下:新用户通过用户注册模块进行注册,并提交注册信息给后台管理员账户进行审核,以防止恶意节点加入到区块链网络中。
3.根据权利要求1所述一种基于区块链技术的信息存储优化方法,其特征在于,所述步骤5的具体操作如下:
对数据使用正则表达式和Python自带字符串库进行清除,同时对数据进行分词处理。
4.根据权利要求1所述一种基于区块链技术的信息存储优化方法,其特征在于,所述步骤6中,访问高频索引模块,在高频索引模块查询链下云存储上的数据,若查询成功则更新最近查询时间和总查询次数,若查询失败则在分布式存储模块中查找并更新高频索引模块,高频索引模块中优先替换掉查询次数最少的数据;针对分布式存储中不同存储设备之间提供I/O输入输出服务速的率不同,需要对不同性能的存储设备动态分配不同大小的缓存,使得存储设备的负载大小与其读写性能相匹配,最终提高公证系统的运行和检索效率;分布式存储模块采用随机缓存分配负载算法分配缓存,该算法的步骤如下:T = P * T1 + (1-P)* T2 (4)
其中,T为存储设备的提供服务的延迟平均时间,P1,P2,P3分别为设备1,设备2,设备3缓存的命中率,T1,1T1,2T1,3分别是设备1,设备2,设备3访问缓存的延迟时间,T2,1T2,2T2,3分别是设备1,设备2,设备3访问存储设备的时间;Mk为第k个设备的存储大小;Q代表随机访问的总区域,M代表当前存储大小,忽略缓存延迟时间,将公式P=M/Q带入公式得到缓存分配方案,使得存储的访问延迟时间相等。
5.根据权利要求1所述一种基于区块链技术的信息存储优化方法,其特征在于,所述步骤7中,将区块链节点中的文件数据分为文本数据和非文本数据,其中文本数据为结构化数据,非文本数据为非结构化数据,文本数据存储在Hbase中,非文本数据存储在HDFS中;优化方案中在对非文本数据进行存储的时候,首先会对非文本数据文件进行预处理;具体操作如下:步骤7.1、针对存在的问题提出改进的模型,对小文件存储进行了优化,在初始的HDFS系统架构中,加入一个中间层,专门负责小文件的处理工作,中间层一共包括小文件预留模块和小文件合并模块;
步骤7.2、当系统要对非文本数据进行处理和存储时,首先文件的大小进行判断,判断是否是小文件,如果判定文件的大小大于1MB时则直接存储在HDFS分布式系统中,如果判定文件的大小小于1MB时则进入系统和HDFS直接的中间层模块;在中间层模块中,先暂时将从系统中获取到的文件存储到小文件预留模块中;当小文件预留模块中的存储容量达到上限的时候,则对小文件预留模块中的数据进行合并处理,并且将合并好的文件存入到HDFS分布式存储中;
步骤7.3、当用户要从系统中查询视频或录音等非文本数据文件时,首先会在配置文件中查询要查找文件的大小,判断要查找的文件是否为小文件,如果要查找的文件为大文件,则直接存储在HDFS中,如果要查找的文件为小于1MB的小文件时,则首先在中间层的小文件预留模块中进行查找,如果在小文件预留模块中查找失败,则说明该文件以及被合并存储到HDFS中,需要在HDFS分布式存储系统中查找相关文件。
6.根据权利要求1所述一种基于区块链技术的信息存储优化方法,其特征在于,所述步骤8中,配置文件中包含节点1信息,节点2信息,最近交易时间,最近交易频率,最近交易数据量。