1.一种日志数据解析方法,其特征在于,包括:
采集多个外部子系统产生的多个日志文件;
调用预设的日志匹配表,所述日志匹配表中含有所述子系统的名称及对应的提取器名称,根据所述子系统的名称,查找所述日志匹配表,获取所述提取器名称后,调用所述提取器名称对应的字段提取器,通过所述字段提取器对所述日志文件中的字段进行解析,得到多个有效字段信息;
将所述有效字段信息通过预设的字段转换器的转换,得到对应的数据信息,将所述数据信息添加到所述日志文件中后,进行存储。
2.根据权利要求1所述的日志数据解析方法,其特征在于,所述采集外部子系统产生的日志文件,包括:定时接收预设在所述子系统中的数据收集Logstash工具发送的所述日志文件,所述Logstash工具用于采集所述子系统中产生的日志文件,所述Logstash工具收集多个所述日志文件,以多线程的方式分别对所述日志文件转换成目标格式的日志文件。
3.根据权利要求1所述的日志数据解析方法,其特征在于,所述采集外部子系统产生的日志文件,包括:通过所述子系统中预设的文件搜索filebeat采集器,远程监视所述子系统中的多个日志文件,所述filebeat采集器通过多个探测器检测所述子系统中预设位置的日志目录并查找日志文件,将查找到的日志文件通过收割进程读取每个日志文件中的新内容,将新内容通过处理程序集合成日志文件;
接收所述filebeat采集器发送的日志文件。
4.根据权利要求1所述的日志数据解析方法,其特征在于,所述调用预设的日志匹配表,所述日志匹配表中含有所述子系统的名称及对应的提取器名称,根据所述子系统的名称,查找所述日志匹配表,获取所述提取器名称后,调用所述提取器名称对应的字段提取器,通过所述字段提取器对所述日志文件中的字段进行解析,包括:对多个所述日志文件进行分组,形成日志文件组,同一个所述子系统采集的多个日志文件分在同一组所述日志文件组中;
根据采集时间对所述日志文件组进行排序;
在每组所述日志文件组中对多个所述日志件的字段进行解析前,均调用所述日志匹配表,获取所述提取器名称后,通过所述字段提取器对同一组所述日志文件组中的多个所述日志文件的字段依次进行解析。
5.根据权利要求1所述的日志数据解析方法,其特征在于,所述字段提取器包括Json提取器,所述Json提取器提取Json类型的日志文件,所述Json提取器预设有key分隔符、kv分隔符,通过所述Json提取器对所述日志文件中的字段进行解析,得到多个有效字段信息;
所述字段提取器包括gork提取器,所述gork提取器通过正则表达式提取非结构化类型的日志文件,所述gork提取器预设有多个gork正则表达式,通过所述gork正则表达式对所述日志文件中的字段进行解析,得到多个有效字段信息。
6.根据权利要求1所述的日志数据解析方法,其特征在于,所述将所述有效字段信息通过预设的字段转换器的转换,得到对应的数据信息,包括:所述字段转化器包括所述有效字段信息对应的多个字段转换规则,所述字段转换规则包括数值转换规则、大写转换规则、IP位置转换规则中的至少一项;
将所述有效字段信息通过所述字段转换器依次进行转换,将字符串类型的所述有效字段信息,通过所述数值转换规则的转换,得到数值信息;
将小写的字符串类型所述有效字段信息,通过所述大写转换规则的转换,得到大写的字符串信息;
将IP地址的所述有效字段信息,通过所述IP位置转换规则的转换,得到对应的国家、省市、经纬度、时区中的至少一项地址位置信息。
7.根据权利要求6所述的日志数据解析方法,其特征在于,所述将所述有效字段信息通过预设的字段转换器的转换,得到对应的数据信息前,还包括:通过预设的配置界面中的输入字段获取配置信息,所述配置信息包括有效字段信息、查找表ID信息、需添加字段信息,将获取的所述配置信息存储在IP位置转换表中;
通过所述配置界面中的上传接口获取外部数据源并存储,将所述外部数据源的存储路径存储在所述IP位置转换表的查找表存储路径信息中,且所述存储路径与所述有效字段信息对应,致使建立所述IP位置转换规则;
将所述有效字段信息通过所述IP位置转换规则的转换时,将所述有效字段信息与所述IP位置转换表进行匹配,当所述IP位置转换表中含有所述有效字段信息时,通过所述查找表ID信息和查找表存储路径信息查找到对应的外部数据源,获取所述外部数据源中对应的所述需添加字段信息,得到所述数据信息。
8.一种日志数据解析装置,其特征在于,包括:
采集模块,用于采集多个外部子系统产生的多个日志文件;
解析模块,用于调用预设的日志匹配表,所述日志匹配表中含有所述子系统的名称及对应的提取器名称,根据所述子系统的名称,查找所述日志匹配表,获取所述提取器名称后,调用所述提取器名称对应的字段提取器,通过所述字段提取器对所述日志文件中的字段进行解析,得到多个有效字段信息;
转换及存储模块,用于将所述有效字段信息通过预设的字段转换器的转换,得到对应的数据信息,将所述数据信息添加到所述日志文件中后,进行存储。
9.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项权利要求所述日志数据解析方法的步骤。
10.一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述日志数据解析方法的步骤。