1.一种基于动态探针的实体关联挖掘方法,其特征在于,包括:配置探针,侦听应用系统对数据库的请求信息及对应的响应数据;
对侦听到的数据进行处理,形成一个实体的格式化数据存入关系型数据库;
将所述实体与关系型数据库中的已有实体进行特征融合,过程为:计算两个对比实体的属性信息的相似度;
计算两个对比实体的属性值的相似度;
计算两个对比实体的日志相似度;
将计算得到的属性信息相似度、属性值相似度以及日志相似度,使用模糊逻辑推理方法,得出两个对比实体的相似程度。
2.根据权利要求1所述的基于动态探针的实体关联挖掘方法,其特征在于,所述计算两个对比实体的属性信息的相似度的过程为:所述属性信息包括属性名和属性约束;
属性名相似度的计算过程包括:计算朴素文本相似度S1;
计算文本语义相似度S2;
选择S1、S2中的最大值作为属性名相似度S3;
属性约束相似度的计算过程包括:将两个对比实体的属性约束向量分别定义为A、B;其中,Ai和Bi分别表示向量A和向量B所对应的第i个候选约束的取值;
计算 其中,n为向量A和向量B中候选约束的个数,otherwise表示除Ai=Bi以外的其它情形;
计算属性约束相似度
采用加权算法,计算两个对比实体的属性信息相似度S5=α·S3+β·S4;其中,α、β为权重,并且α∈[0,1],β∈[0,1]且α+β=1。
3.根据权利要求2所述的基于动态探针的实体关联挖掘方法,其特征在于,所述朴素文本相似度S1采用以下公式计算获得:其中,w1和w2分别为两个对比实体的属性名;l1,l2为属性名w1和w2的字符长度,D为属性名w1和w2的编辑距离,Max为取最大值函数。
4.根据权利要求2或3所述的基于动态探针的实体关联挖掘方法,其特征在于,所述文本语义相似度S2的计算过程为:建立树状语义层级关系,形成树状图;
通过属性名在树状图中对应的位置,计算两个对比实体的属性名w1和w2之间的相似度其中,N1和N2分别表示属性名w1、w2与最近公共父节点属性名w之间的最短路径;H表示从w到根节点的最短路径。
5.根据权利要求1所述的基于动态探针的实体关联挖掘方法,其特征在于,所述计算两个对比实体的属性值的相似度的过程为:根据数据类型的不同,将属性值分为四种类型,分别为:数值型、字符型、枚举型、文本型;
针对数值型属性值,选取平均值、算数中位数、众数、样本标准偏差、最大值、最小值中的多种或全部作为特征向量元素,构成与两个对比实体相对应的特征向量u、v,计算两个对比实体的属性值的相似度
针对字符型属性值,首先将两个对比实体的属性值合并,形成语料库;然后采用词频‑逆文档频率算法,分别计算出每一个实体的属性值所对应的词频‑逆文档频率,对应形成向量U、V;计算两个对比实体的属性值的相似度针对枚举型属性值,在每一个实体的属性值中至少包含两个数据,将两个对比实体的属性值转换成两个集合A、B,计算两个对比实体的属性值的相似度 其中,∩为交集符号;∪为并集符号;
针对文本型属性值,采用深度学习中的自编码算法建立数学模型,利用属性值中的数据对模型进行训练,利用训练后的模型计算两个对比实体的属性值的相似度。
6.根据权利要求5所述的基于动态探针的实体关联挖掘方法,其特征在于,针对文本型属性值,计算两个对比实体的属性值的相似度的过程为:从其中一个实体的属性值中随机选取k个数据形成训练集,利用剩下的数据形成测试集,利用训练集对建立的数学模型进行训练;
预定义阈值ω,若测试集中的数据经过训练后的数学模型计算得到的相似度结果大于ω,则认定此数据与训练集相似;计算测试集中经过所述训练后的数学模型计算后判定为相似的数据的个数与k的比例,并记为λ;
利用另外一个实体的属性值中的所有数据形成测试集,重复前一步骤,所得比例记为θ;
计算两个对比实体的属性值的相似度 其中,Min为取最小值函数。
7.根据权利要求1所述的基于动态探针的实体关联挖掘方法,其特征在于,所述计算两个对比实体的日志相似度的过程为:在系统运行过程中,所述融合特征空间存储日志文件;
将两个对比实体记为a、b,则两个对比实体的日志相似度为:其中,Na、Nb分别为实体a、b的属性名和/或属性值在日志文件中出现的次数;Nab为实体a、b的属性名和/或属性值在日志文件中同时出现的次数。
8.根据权利要求7所述的基于动态探针的实体关联挖掘方法,其特征在于,在统计实体a、b的属性名和/或属性值在日志文件中分别出现的次数以及同时出现的次数的过程中,采用SQL命令出现的次数进行统计。
9.根据权利要求1所述的基于动态探针的实体关联挖掘方法,其特征在于,所述使用模糊逻辑推理方法得出两个对比实体的相似程度的过程为:针对两个对比实体的属性信息相似度、属性值相似度和日志相似度,采用三角形隶属度函数分别进行模糊化处理,对应生成关于不相似、一般、相似的隶属度向量;
根据指定的模糊化规则,判定两个对比实体是否相似;
若判定为不相似,则结果为0;
若判定为相似,则结果为三个隶属度向量中比重最大值的均值。
10.根据权利要求9所述的基于动态探针的实体关联挖掘方法,其特征在于,所述模糊化规则为:
If属性信息和属性值相似or属性信息和日志相似or属性值和日志相似or属性信息、属性值和日志都相似,则两个对比实体相似;
If属性信息相似、属性值和日志一般or属性值相似、属性信息和日志一般or日志相似、属性信息和属性值一般,则两个对比实体相似;
If属性信息、属性值和日志均一般,则两个对比实体相似;
Else两个对比实体不相似;
其中,If、or、Else分别为逻辑条件:如果、或、否则。