Apache Flume Data Flow – Types

1.目的

使用Flume将日志数据移动到HDFS中时,Apache Flume中存在几种数据流的模式。 Multi-hop Flow, Fan-out Flow Fan-in Flow数据流的模式。 在本章中,将学习Flume数据流及其类型。

—–add picture here —-

2. Flume数据流简介

使用Flume将日志数据传输到HDFS,消息事件和日志数据是由日志服务器生成的。这些服务器上运行着 Flume Agent,  Agent从数据生成器接收数据信息。

在Flume中有一个中间节点来收集这些agent中的消息数据,这些节点就是我们所说的事件收集器。 在Flume中,可以有多个事件收集器。

之后,所有这些收集器的数据将被汇总并推送到统一存储系统, 如HBase或HDFS。 

为了更好地理解,请参阅以下Flume数据流图,它解释了Flume数据流模型。

—–add picture here—-

3. Flume中的数据流类型

Multi-hop Flow

事件在到达最终目的地之前,可以存在多个agent,并且事件可以通过Flume内的多个agent,这就是Flume中的 Multi-hop Flow 。

Fan-out Flow

当数据从一个Source流向多个Channel时,称之为Fan-out Flow。在Flume数据流中,分为两类:

Replicating

数据流将在所有配置的通道中复制数据

Multiplexing

数据流将数据发送到选定的通道中

 Fan-in Flow

数据将从多个Source传输到一个通道,称之为Fan-in Flow.

Apache Flume Data Flow – Types

发表评论

电子邮件地址不会被公开。 必填项已用*标注

十二 ÷ = 三