1.一种数据质量检测装置,其特征在于,包括:
显示屏,被配置为显示界面;
处理器,被配置为:
在所述显示屏显示配置界面时,响应于用户配置的检测任务,获取待检测的数据流;
若所述检测任务中包含质量检测任务,则基于所述质量检测任务对应的质量检测规则,对所述数据流进行质量检测;其中,所述质量检测规则是根据预设的基础检测模板和用户配置的参数范围生成的;
若所述检测任务中还包含波动检测任务,且所述波动检测任务为表级波动检测任务,则根据所述检测周期,统计获取的数据流的数据总数目,并根据所述基准数量和所述数据总数目,确定表级波动率;并将所述表级波动率和所述波动检测任务中配置的表级波动率阈值进行匹配,确定表级波动率检测结果;
若所述检测任务中还包含波动检测任务,且所述波动检测任务为字段级波动检测任务,则根据字段级波动检测任务中配置的指定字段和所述检测周期,统计获取的数据流的指定字段中包含的同一属性值出现的数目,并根据所述基准数量和所述同一属性值出现的数目,确定字段级波动率;并将所述字段级波动率和所述波动检测任务中配置的字段级波动率阈值进行匹配,确定字段级波动率检测结果。
2.如权利要求1所述的装置,其特征在于,获取待检测的数据流时,所述处理器被配置为:根据所述检测任务中包含的数据流标识,采用数据实时计算引擎,从数据实时采集引擎中实时获取所述数据流标识对应的数据流,作为待检测的数据流。
3.如权利要求1或2所述的装置,其特征在于,基于所述质量检测任务对应的质量检测规则,对所述数据流进行质量检测时,所述处理器被配置为:采用质量检测引擎,根据所述质量检测任务中配置的至少一个检测字段,基于所述质量检测任务对应的质量检测规则,对所述数据流中的所述至少一个检测字段进行质量检测。
4.一种数据质量检测方法,其特征在于,应用于数据质量检测装置,包括:
在数据质量检测装置的显示屏显示配置界面时,响应于用户配置的检测任务,获取待检测的数据流;
若所述检测任务中包含质量检测任务,则基于所述质量检测任务对应的质量检测规则,对所述数据流进行质量检测;其中,所述质量检测规则是根据预设的基础检测模板和用户配置的参数范围生成的;
若所述检测任务中还包含波动检测任务,且所述波动检测任务为表级波动检测任务,则根据所述检测周期,统计获取的数据流的数据总数目,并根据所述基准数量和所述数据总数目,确定表级波动率;并将所述表级波动率和所述波动检测任务中配置的表级波动率阈值进行匹配,确定表级波动率检测结果;
若所述检测任务中还包含波动检测任务,且所述波动检测任务为字段级波动检测任务,则根据字段级波动检测任务中配置的指定字段和所述检测周期,统计获取的数据流的指定字段中包含的同一属性值出现的数目,并根据所述基准数量和所述同一属性值出现的数目,确定字段级波动率;并将所述字段级波动率和所述波动检测任务中配置的字段级波动率阈值进行匹配,确定字段级波动率检测结果。
5.如权利要求4所述的方法,其特征在于,获取待检测的数据流,具体包括:
根据所述检测任务中包含的数据流标识,采用数据实时计算引擎,从数据实时采集引擎中实时获取所述数据流标识对应的数据流,作为待检测的数据流。
6.如权利要求4或5所述的方法,其特征在于,基于所述质量检测任务对应的质量检测规则,对所述数据流进行质量检测,具体包括:采用质量检测引擎,根据所述质量检测任务中配置的至少一个检测字段,基于所述质量检测任务对应的质量检测规则,对所述数据流中的所述至少一个检测字段进行质量检测。