​Flume Channel Selectors – Apache Flume

1.目的

Flume Channel Selector用来确定在多个 Channel的情况下应该选择哪个Channel来传输数据。 在Apache Flume中有几种类型的Flume Channel Selector 。在本章中,我们将学习所有类型的Flume Channel Selector, 并且通过几个例子来理解 Flume Channel Selector。

—-add picture here —–

Introduction – Flume Channel Selectors

2. Flume Channel Selector介绍

Flume Channel Selector用来确定在Flume中有多个Channel的情况下应该选择哪个Channel来传输数据。Flume Channel Selector有以下几种类型:

Default channel selectors

Multiplexing channel selector

Custom Channel Selector

3. Apache Flume Channel Selector的类型

Apache Flume中有三种类型的Channel Selector:

Replicating Channel Selector (Default)

1542701376586142.png

下面是一个Replicating Channel Selector (Default)的示例,对于名为a1的agent, 示例如下:

a1.sources = r1
a1.channels = c1 c2 c3
a1.sources.r1.selector.type = replicating
a1.sources.r1.channels = c1 c2 c3
a1.sources.r1.selector.optional = c3

我们可以看到c3在上述配置中是可选通道。 未能成功写入c3将会被忽略。 因为c1和c2 不是可选项,如果写入这些通道失败将导致事务失败。

Multiplexing Channel Selector

1542701477678772.png

示例如下:

a1.sources = r1
a1.channels = c1 c2 c3 c4
a1.sources.r1.selector.type = multiplexing
a1.sources.r1.selector.header = state
a1.sources.r1.selector.mapping.CZ = c1
a1.sources.r1.selector.mapping.US = c2 c3
a1.sources.r1.selector.default = c4

Custom Channel Selector

Custom Channel Selector 实现了ChannelSelector的接口。 在启动Flume  agent时,Custom Channel Selector的类及其依赖项必须包含在类路径中。 

1542701576700031.png

示例如下:

a1.sources = r1
a1.channels = c1
a1.sources.r1.selector.type = org.example.MyChannelSelector

​Flume Channel Selectors – Apache Flume

发表评论

电子邮件地址不会被公开。 必填项已用*标注

九十 二 − = 87