ELK日志收集系统.docx
1、文档详细介绍了下面三种日志架构的优缺点 Elasticsearch + Logstash + Kibana Elasticsearch + Logstash + filebeat + Kibana Elasticsearch + Logstash + filebeat + redis(也可以是其他中间件,比如kafka) + Kibana 2、生产上建议使用 建议采用 filebeat + kafka + Logstash+Elasticsearch+Kibana的架构。接上所述,随着数据量的加大或者系统采集的数据信息存在洪峰的情况,就存在数据丢失、系统崩溃不可用的情况。而采用此架构kafka能做数据的缓冲,给logstash平滑处理日志的时间,如果日志量继续加大,kafka也达到了最大处理量,此时filebeat就算不能发送出去日志信息,但是日志信息也不会丢失,等到后端压力减少后正常效率工作,任然能够收集到所有日志。 对于ES中的日志信息处理可以定期转存或者丢弃。如果由于数据量过大导致未到规定时间就已占满磁盘的情况,可以通用磁盘空间预警来防止,磁盘占满导致系统不可用的情况。 对于收集的日志信息如果能提前在系统应用日志层面做优化处理(比如json格式化,日志分类)也可以大大提升ELK系统的吞吐能力。减少logstash日志过滤的压力。
用户评论