1.一种基于存储结构的日志数据压缩方法,其特征在于,所述基于存储结构的日志数据压缩方法,包括:步骤1、采集日志数据;
步骤2、对所述日志数据进行基于模板的日志数据压缩,将日志数据转化为初段压缩数据,包括:步骤2.1、根据日志数据中每一日志条目的事件类型,利用关键字模板将日志条目中的关键字转化为预设的关键字数字代码,得到第一压缩数据;
步骤2.2、基于高频词模板将第一压缩数据中的高频词转化为预设的高频词数字代码,得到第二压缩数据;
步骤2.3、将第二压缩数据中同属于一个应用程序会话的所有日志条目的重复值基于会话模板转化为预设的会话数字代码,得到初段压缩数据;
步骤3、对初段压缩数据进行基于单调值的日志数据压缩,利用初始值加偏差的格式存储单调值,得到中段压缩数据,所述单调值包括日志数据中的时间戳;
步骤4、对中段压缩数据中相邻且语义相同的日志条目进行合并,得到最终的压缩数据,完成日志数据压缩。
2.如权利要求1所述的基于存储结构的日志数据压缩方法,其特征在于,所述根据日志数据中每一日志条目的事件类型,利用关键字模板将日志条目中的关键字转化为预设的关键字数字代码,得到第一压缩数据,包括:根据日志条目的事件类型从关键字模板中提取关键字数字代码;
按照原格式的顺序提取日志条目原格式中键值对的值;
将提取的关键字数字代码与值进行组合作为转化后的日志条目。
3.如权利要求1所述的基于存储结构的日志数据压缩方法,其特征在于,所述高频词包括文件路径。
4.如权利要求1所述的基于存储结构的日志数据压缩方法,其特征在于,所述对中段压缩数据中相邻且语义相同的日志条目进行合并,包括:取相邻且语义相同的日志条目作为等价条目;
保留等价条目中时间戳最小的等价条目,删除其余等价条目;
在所保留的等价条目的时间戳的键值对的值中增加一个用于表示被删除的等价条目的数量的数字,完成合并。