欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021105751384
申请人: 禾量科技(上海)有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-28
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种实时数据存储方法,其特征在于,包括下述步骤:

接收实时数据,对所述实时数据进行Json格式化,得到Json串消息;

将所述Json串消息输入到基于Kafka的消息发布系统,并保存在所述基于Kafka的消息发布系统中预创建的Topic中;

创建Kafka消费者,并设置所述Kafka消费者的消费Topic,所述消费Topic指向所述预创建的Topic;

配置flink数据流API的流计算执行环境,并在所述流计算执行环境中将所述Kafka消费者配置成数据源;

将所述Json串消息根据预设的过滤条件进行过滤,得到过滤后的Json串消息;调用所述flink数据流API,将所述过滤后的Json串消息保存到预设的Hbase数据库和预设的ES数据库;或,创建ES索引;调用所述flink数据流API,将所述Json串消息中与所述ES索引对应的字段存储到预设的ES数据库;

所述Json串消息中包含ID字段,且ID字段被定义为主键,所述调用所述flink数据流API,将所述Json串消息中与所述ES索引对应的字段存储到预设的ES数据库步骤,包括:将Json串消息的ID通过hash算法转换为所述Json串消息在所述ES数据库中的ES‑ID;

将所述Json串消息与所述ES索引对应的字段,插入到所述ES数据库中与所述ES‑ID对应的记录中。

2.根据权利要求1所述的实时数据存储方法,其特征在于,所述Json串消息中包含ID字段,在所述调用所述flink数据流API,将所述实时数据通过所述数据源保存到预设的Hbase数据库和预设的ES数据库的步骤之前,还包括:将所述Json串消息中的ID字段与预设的ID合法性规则进行比较;

当所述ID字段与所述预设的ID合法性规则相符时,将所述Json串消息通过所述数据源保存到预设的Hbase数据库和预设的ES数据库。

3.根据权利要求1所述的实时数据存储方法,其特征在于,在所述接收实时数据,对所述实时数据进行Json格式化,得到Json串消息的步骤之后,还包括:将所述Json串消息存储至区块链中。

4.一种实时数据存储装置,其特征在于,包括:

接收模块,用于接收实时数据,对所述实时数据进行Json格式化,得到Json串消息;

消息存储模块,用于将所述Json串消息输入到基于Kafka的消息发布系统,并保存在所述基于Kafka的消息发布系统中预创建的Topic中;

创建模块,用于创建Kafka消费者,并设置所述Kafka消费者的消费Topic,所述消费Topic指向所述预创建的Topic;

配置模块,用于配置flink数据流API的流计算执行环境,并在所述流计算执行环境中将所述Kafka消费者配置成数据源;

所述配置模块包括:第一过滤子模块,用于将所述Json串消息根据预设的过滤条件进行过滤,得到过滤后的Json串消息;第一存储子模块,用于调用所述flink数据流API,将所述过滤后的Json串消息保存到预设的Hbase数据库和预设的ES数据库;或,所述配置模块包括:第一创建子模块,用于创建ES索引;第二存储子模块,用于调用所述flink数据流API,将所述Json串消息中与所述ES索引对应的字段存储到预设的ES数据库;第一转换子模块,用于将Json串消息的ID通过hash算法转换为所述Json串消息在所述ES数据库中的ES‑ID;第一插入子模块,用于将所述Json串消息与所述ES索引对应的字段,插入到所述ES数据库中与所述ES‑ID对应的记录中。

5.根据权利要求4所述的实时数据存储装置,其特征在于,所述配置模块包括:第一配置子模块,用于根据所述消费Topic的分区数,将所述数据源的并行度配置成与所述分区数一致;

第二配置子模块,用于启用并配置flink数据流API的检查点。

6.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现如权利要求1至3中任一项所述的实时数据存储方法的步骤。

7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如权利要求1至3中任一项所述的实时数据存储方法的步骤。