日志收集 Flume

1.flume结构: 一个flume进程就是一个agent=source+channel+sink 在source channel sink之间流动的是list[exent] event=header+byte payload,一般header是空的,传输数据的单位 flume串联的坏处:一个坏了全坏 好处:多级缓冲 处理复杂的逻辑 chanel处理器不宜进行太复杂的逻辑,不然太耗费性能,一般就进行掐头去尾 channel选择器:选择数据去往哪个channel sink处理器:选择其中一个sink去获取channel数据 可以采用轮询或负载均衡 2.flume优