flume-ng 源码分析 - 整体架构 2【常用架构篇】

##数据流模型

flume 中基本概念

1.Event:一个流经 Agent 的基本数据单位;Event 从 Source 流向 Channel 最后到 Sink。实现了 Event 接口。在 Event 的流向中,可以设置可选的 header 参数。
2.Agent:一个 Agent 表示一个拥有一些组件(source,channel,sink)的 jvm 进程。这些组件允许，Events 从一个外部源,流向下一个目的地。
3.flow:表示一个数据流向
4.source:source 消费可以识别格式的 Events。这些 Events 可以通过像 web server 的客户端发送。例如 arvoSource 可以从 client 或者其他 flume agent 接受 arvoEvents.当 Source 接受到 Events 时，将它存储在一个或者多个 Channel 中
5.Channel:是一个被动存储。他会存储接收到的 Events 直到这些 Events 被 Sink 消费掉。比如 fileChannel，用贝本地文件系统作为后备存储；
6.Sink:Sink 消费 channel 中的数据。sink 负责将 Event 从 channel 中移除，并且将 Events 放在外部存储如 HDFS(这可以通过 HDFSSINK 实现)或者传送给下一个 Flume agent 中的 source。因为 Flume 中有 Channel 的存在,在一个给定的 Agent 中 source 和 sink 可以异步的执行

简单的日志收集

假设我们要收集 ng 的日志。我们可以按照以下的方案进行部署。

流程如下

1.每台 websever 上部署一个 flume agent
2.使用 tail 命令
3.channel 可以使用 memorychannel
4.sink 统一写到 es 服务器中。前端使用 kibana 查询

虽然上面的应用场景可以满足需求。但是缺点也是非常的明显

1.各环节丢失数据的可能性较大（如果可以容忍数据丢失，则关系不大）
2.每台 webserver 上部署一个 flume agent，不利于维护。比如 sink 还想往 kafka 写，那么所有的 flume agent 都需要更改。

复杂的日志收集

先来看看 Event 在 flume flow 中的扭转流程:

1.source 接收 Event
2.source 将 Event 传送给 ChannelProcessor
3.在 ChannelProcessor 中收件会将 event 传递给 InterceptorChain,InterceptorChain 中包含多个 Interceptor。Interceptor 的概念就相当于 java web 开发中的 servlet 的概念。提供了一种修改或者删除 Event 的能力.比如 Timestamp Interceptor 将会在 Event 的 header 中加入 Event 被处理的时间戳,key 为 timestamp。
4.当 Event 被 Interceptor 处理后就会通过 ChannelSelector 选择合适的 channel，将 Event 发送到 Channel 中。
flume 中提供了两种方式 :

• MultiplexingChannelSelector 多路复用选择器
• ReplicatingChannelSelector 复制选择器

5.sink 从 channel 中消费数据，这里和 source 向 channel 中存放数据是异步的。所以 sink，只需要监听和自己关联的 channel 的变化即可。对于 sink,提供了三种策略:

• DefaultSinkProcess ：失败了就失败了，稍后进行重试
• LoadBalancingSinkProcessor:负载均衡，有 RandomOrder,RoundRobin 和 FixedOrderSelector 三种选择
• FailoverSinkProcessor:给多个 sink 定义优先级，如果其中一个失败了，则发送到下一个优先级的 Sink。如果执行过程中 Sink 抛出异常，那么将该 Sink 从存活的队列中移除。然后指数级时间重试。默认开始等待 1s 重试。最大等待时间是 30s。当 Sink 恢复后将会加入存活的队列中。

基于上面分析，可以基本画出 flume event 的基本流转

基于第一种方式的搜集方式和 Event 数据流转的分析。如果我们需要采集日志，整体架构可以采用下面的方式进行部署。

• 在收集层，agent 和 web server 部署在同一台机器上。(这里我们也可以开发 flume 的 Embedded agent)通过 RPC 将数据流入聚合层。这一层应该快速的将日志收集到聚合层。
• 聚合层进行日志数据的聚合和收集，在这一层，可以做容错处理，如负债均衡或者 failover.以提升可靠性。在这一层，数据量大时可以打开 fileChannel，作为数据缓冲区，避免数据的丢失。以后主要的维护工作也主要在这一层上面。
• 在存储层，一般会流向 hdfs，kafka 以供离线和实时的数据分析。