1.一种基于起源图的日志采集、压缩、存储方法,其特征在于,包括如下步骤:(1) 采集日志数据:采集原始系统审计日志,建立系统实体间的交互关系;
(2) 实施日志压缩:执行基于起源图的数据压缩策略对建立因果关系后的系统审计日志压缩,得到压缩后的系统审计日志;
执行基于起源图的数据压缩策略对建立因果关系后的系统审计日志压缩,具体包括:(2‑1)实体驱动的日志压缩:
删除建立因果关系后的系统审计日志中无法访问的系统实体,然后采用基于FP‑Growth的模板学习策略对频繁使用的系统实体组合生成模板,根据模板匹配建立因果关系后的系统审计日志中符合模板中系统操作序列的系统实体,匹配成功后进行合并,形成实体集合;
(2‑2)事件驱动的日志压缩:
观察实体集合间的交互关系,观察实体集合间的交互关系是否是冗余的,如果是冗余的,则进行压缩,如果不冗余的,则不进行压缩;
(3) 执行日志存储:将压缩后的系统审计日志根据数据产生的时间长短采用第一种日志数据存储方式或第二种日志数据存储方式存储在系统实体中;
第一种日志数据存储方式:设计一种具有空间效率的基于起源图的数据存储格式,每个实体集合间的交互关系使用8 32个字节进行存储,存储在系统实体中;
~
设计一种具有空间效率的基于起源图的数据存储格式,每个实体集合间的交互关系使用8 32个字节进行存储,具体包括:~
(3‑1‑1)将实体集合间的交互关系存储在系统实体中,并使用可变长度编码策略编码实体集合间的交互关系;
(3‑1‑2)用相对增量的时间表示方法来编码实体集合上的所有交互关系的发生时间和结束时间,发生时间和结束时间采用建立处理后的系统审计日志中的发生时间和结束时间;
(3‑1‑3)根据实体标识符采用索引表来引用实体集合,实体标识符采用互不重复的数字唯一表示每个实体集合;
第二种日志数据存储方式:将压缩后的系统审计日志经过预处理后,输入到双层LSTM的深度神经网络预测每个字词的概率,并利用得到的概率执行算术编码策略进行文本无损压缩存储在本地硬盘中。
2.根据权利要求1所述的基于起源图的日志采集、压缩、存储方法,其特征在于,步骤(1)中,系统实体包括:进程和文件。
3.根据权利要求1所述的基于起源图的日志采集、压缩、存储方法,其特征在于,步骤(1)中,采集原始系统审计日志,具体包括:(1‑1) 处理原始系统审计日志:根据用户的需求从原始系统审计日志中提取用户感兴趣的信息并过滤用户认定的低价值数据,得到处理后的系统审计日志;
(1‑2) 建立系统事件交互关系:处理后的系统审计日志包括系统实体以及系统事件,建立各个系统实体间保真的因果关系,得到建立因果关系后的系统审计日志。
4.根据权利要求3所述的基于起源图的日志采集、压缩、存储方法,其特征在于,步骤(1‑2)中,建立各个系统实体间保真的因果关系,具体包括:轻量级双执行预定义处理后的系统审计日志中的输入点和交汇点,给定一个主执行,并行派生一个从执行并改变从执行输入值,若在主执行和从执行对齐的交汇点处上观察到输出缓冲区数据存在差异,则交汇点和输入点存在依赖关系,重复执行,建立各个系统实体间保真的因果关系。
5.根据权利要求1所述的基于起源图的日志采集、压缩、存储方法,其特征在于,步骤(2‑1)中,频繁使用为一小时内出现10次 10万次。
~
6.根据权利要求1所述的基于起源图的日志采集、压缩、存储方法,其特征在于,步骤(2‑2)中,观察实体集合间的交互关系是否是冗余的,具体包括:将排好序的交互关系作为输入,为每一对实体集合的每种类型的交互关系维护一个堆栈,一旦有同一对实体集合的事件入栈时,检查该交互关系的前向和后向跟踪能力是否可以和堆栈中的交互关系相同,若相同,则聚合两个交互关系,将前一个交互关系的结束时间延长到后一个交互关系的结束时间,完成压缩,得到压缩后的系统审计日志。
7.根据权利要求1所述的基于起源图的日志采集、压缩、存储方法,其特征在于,步骤(3)中,第二种日志数据存储方式中,所述的预处理具体包括: (3‑2‑1) 将压缩后的系统审计日志进行关键字模板处理;
(3‑2‑2) 将关键字模板处理后的系统审计日志进行单调值处理;
(3‑2‑3) 单调值处理后的系统审计日志进行频繁事件处理。
8.根据权利要求7所述的基于起源图的日志采集、压缩、存储方法,其特征在于,步骤(3‑2‑3)中,频繁事件处理具体包括:将单调值处理后的系统审计日志中的实体集合间的交互关系,若主体、客体、操作类型相同,根据相同次数的频繁程度用可变长度编码策略进行编码。