1.一种用于区块链数据上链的多字段组合索引取数的优化方法,其特征在于:包括操作步骤如下:S1.通过数据库系统提供的SQL命令或其内嵌工具,获取数据表的结构;
S2.提取其组合索引,如果存在多个组合索引,则任意选取其中一个;
S3.对组合索引中的每一个字段的值进行DISTINCT去重操作计算取出的组合索引各个字段值的唯一值计数;
S4.对组合索引内数值进行排序,排序手法采用ORDER,根据二类优化的目标A:最大化并行处理,B:最小化读取批次,进行相应处理,当目标为A:最大化并行处理,具体步骤如下:A.1根据步骤S3计算出的组合索引各个字段的唯一值计数,由大到小排列,执行如下操作:ORDER BY F3 ASC,F1 ASC,F2 ASC;
A.2对步骤A.1的组合索引的每个字段,执行如下操作:扫描字段的全部值,寻找断点,也即不满足非递减顺序的,A.3以步骤A.2的结果进行范围切分:A.3.1顺序扫描组合索引的每一行,直至遇到包含蓝色标志列的行,其中存在蓝色标志的字段值为该字段的断点;
A.3.2将包含蓝色标志列的上一行标志为绿色,作为区间的下边界;
A.3.3从包含蓝色标志列的行继续扫描,直至遇到下一个包含蓝色标志列的行;
A.3.4以步骤A.3.3为参照,跳到步骤A.3.2进行循环,直至全部数据行扫描完毕,结果如下:A.4标注为绿色的行即为范围区块的下边界,上边界为白色行或其自身,也即区块范围内不能包含超过1行的绿色标注行;
当目标为B:最小化读取批次,具体步骤如下:B.1根据步骤S3计算出的组合索引各个字段的唯一值计数,由小到大排列,执行如下操作:ORDER BY F1 ASC,F2 ASC,F3 ASC;
B.2对步骤B.1的组合索引的每个字段,执行如下操作:扫描字段的全部值,寻找断点,也即不满足非递减顺序的,B.3以步骤B.2的结果进行范围切分:B.3.1顺序扫描组合索引的每一行,直至遇到包含蓝色标志列的行,其中存在蓝色标志的字段值为该字段的断点;
B.3.2将包含蓝色标志列的上一行标志为绿色,作为区间的下边界;
B.3.3从包含蓝色标志列的行继续扫描,直至遇到下一个包含蓝色标志列的行;
B.3.4以步骤B.3.3为参照,跳到步骤B.3.2进行循环,直至全部数据行扫描完毕,结果如下:B.4标注为绿色的行即为范围区块的下边界,上边界为白色行或其自身,也即区块范围内不能包含超过1行的绿色标注行;
S5.对非递减式排序进行标识,找出断点的位置;
S6.按照断点对数据进行分段,根据分段进行读取数据,保证读取数据的完整性。
2.根据权利要求1所述的一种用于区块链数据上链的多字段组合索引取数的优化方法,当目标为A:最大化并行处理时,其特征在于:所述A.1根据步骤S3计算出的组合索引各个字段的唯一值计数,由大到小排列,执行如下操作:ORDER BY F3 ASC,F1 ASC,F2 ASC获得排序结果如下:
F3,F1,F2
{1,1,1}
{1,1,2}
{1,2,1}
{2,1,1}
{2,1,2}
{2,2,1}
{3,1,1}
{3,1,2}
{3,2,1}
{4,1,2}。
3.根据权利要求2所述的一种用于区块链数据上链的多字段组合索引取数的优化方法,其特征在于:所述A.2中扫描字段的全部值后结果如下:第一个排序字段,也即F3,不存在断点,因为其所有取值都是满足非递减顺序的,因此在实际操作和算法实现过程中,可以跳过对其的处理。
4.根据权利要求3所述的一种用于区块链数据上链的多字段组合索引取数的优化方法,其特征在于:最终形成的数据区块上下边界为:上边界,下边界
{[1,1,1],[1,1,2]}{[1,2,1],[1,2,1]}{[2,1,1],[2,1,2]}{[2,2,1],[2,2,1]}{[3,1,1],[3,1,2]}{[3,2,1],[3,2,1]}{[4,1,2],[4,1,2]}A.5步骤A.4的结果即划定了数据处理的区间范围,任何跨越两个区间的取数则会造成数据获取不全或丢失的情况。
5.根据权利要求1所述的一种用于区块链数据上链的多字段组合索引取数的优化方法,当目标为B:最小化读取批次时,其特征在于:所述B.1根据步骤S3计算出的组合索引各个字段的唯一值计数,由小到大排列,执行如下操作:ORDER BY F1 ASC,F2 ASC,F3 ASC获得排序结果如下:
F1,F2,F3
{1,1,1}
{1,1,2}
{1,1,3}
{1,2,1}
{1,2,2}
{1,2,3}
{1,2,4}
{2,1,1}
{2,1,2}
{2,1,3}。
6.根据权利要求5所述的一种用于区块链数据上链的多字段组合索引取数的优化方法,其特征在于:所述B.2中扫描字段的全部值后结果如下:第一个排序字段,也即F1,不存在断点,因为其所有取值都是满足非递减顺序的,因此在实际操作和算法实现过程中,可以跳过对其的处理。
7.根据权利要求6所述的一种用于区块链数据上链的多字段组合索引取数的优化方法,其特征在于:最终形成的数据区块上下边界为:上边界,下边界
{[1,1,1],[1,1,3]}{[1,2,1],[1,2,4]}{[2,1,1],[2,1,3]}B.5步骤B.4的结果即划定了数据处理的区间范围,任何跨越两个区间的取数则会造成数据获取不全或丢失的情况。