210数据库系统设计DatabaseSystemDesign电子技术与软件工程ElectronicTechnology&SoftwareEngineering在数据时代，各种数据系统在运行的过程中会产生海量的日志，比如系统日志、应用日志、网络日志、设备日志等。对日志进行分析发现即使是同一个日志其也有不同的运行模式，所以运维人员在工作实践中很难掌握各类日志的格式，并对其做相应的解析原则开发，因此在一般情况下主要是进行核心日志的解析[1]。面对日志量大、格式繁多等现状，通过机器学习进行日志异常检测，这可以迅速的发现其中的故障并对故障进行定位，这对于传统运维方法改进和补充等有积极意义，对促进系统的职能、稳定、全面、安全运行等也有显著价值。1基于机器学习的日志日常检测设计为了更加高效率的定位故障，进而实现对故障的处理，结合日志的特点基于机器学习对日志异常检测工作的开展进行设计，这能够为现阶段的工作实践提供参考。1.1传统日志处理方法对目前各个行业的数据系统应用做分析可知各行各业使用的系统是比较多的，而且由于系统来自于不同的开发商，所以各个系统在开发的过程中，日志的定义是难以做到一致性和标准性的，这种情况导致的结果就是日志呈现出多种多样的状态。对传统的日志处理方式进行分析，其主要是利用关键字和解析规则两种方式实现对日志的监控和问题监测，不过这两种方法存在着明显的不足。首先是基于关键字匹配对日志进行监控。基于关键字匹配存在日志中不一定有关键字异常，比如ORACLERAC在启动的过程中会有一些预期的Error等字段，不过这种情况是正常的。简言之，在不同类型的日志针对过程中，很难标注出所有的关键字，而事实上甚至有些程序日志中根本不会存在类似的关键字，图1是常规方法的日志处理流程。其次是基于配置解析规则的日志处理[2]。基于配置解析规则可以实现对日志的字段监控，如正则表达式的方法虽然比基于关键字的一日志监控有了一些改进，但是依然存在着两方面的显著缺陷：（1）规则存在着复杂性。一些日志存在着大量的格式，解析工作是非常复杂的，往往需要花费大量的时间来进行调试。（2）性能差。需要实时对来自多个系统的海量日志进行多个规则解析，性能表现比较差。1.2基于机器学习的日志智能异常检测基于机器学习的日志异常检测设计徐洁（山西金融职业学院山西省太原市030008）摘要：本文对现阶段数据中心的智能运维管理工作进行分析，非常典型的核心应用场景是日志异常检测。在机器学习技术快速发展和逐步成熟的大环境下...
