Flume使用详解(二)

Flume的用法 flume可以支持多级flume的agent,即flume可以前后相继形成多级的复杂流动,例如sink可以将数据写到下一个agent的source中,这样的话就可以连成串了,可以整体处理了。 置多个agent的数据流(多级流动) 数据流合并(扇入流) 在做日志收集的时候一个常见的场景就是,大量的生产日志的客户端发送数据到少量的附属于存储子系统的消费者agent。例如,从数百个web服务器中收集日志,它们发送数据到十几个负责将数据写入HDFS集群的agent。 这个可在Flume中可以实现,需要配置大量第一层的agent,每一个agent都有一个avro sink,让它们都