​Flink分布式运行时环境

1. Tasks and Operator Chains(任务和运算符链)

对于分布式执行,Flink将运算符子任务链接到任务中。 每个任务由一个线程执行。 将运算符链接到任务中是有用的优化:它可以减少线程到线程切换和缓冲的开销,并在降低延迟的同时提高整体吞吐量。 可以使用API中配置运算符链接行为。

下图中的示例数据流由五个子任务执行,因此具有五个并行线程:

1542377413251149.png

2. Job Managers, Task Managers, Clients

Flink运行时包含两种类型的进程:

JobManagers(也称为master)协调分布式执行,安排任务,协调检查点,协调故障恢复等。

总是至少有一个Job Manager。高可用性(high-availability)设置将具有多个JobManagers,其中一个始终是Leader,其他Job Manager处于Standby状态。

TaskManagers(也称为worker)执行数据流的任务(或更具体地说,子任务),并缓冲和交换数据流。必须始终至少有一个TaskManager。

JobManagers和TaskManagers可以通过各种方式启动:直接在服务器节点上,在容器中,或由YARN等资源调度框架管理。 TaskManagers连接到JobManagers,保持本身的可用,并被Job Manager分配工作。

客户端(Client)不是运行时和程序执行的一部分,但用于准备和发送数据流到JobManager。之后,客户端可以断开连接或保持连接以接收进度报告。客户端作为触发执行的Java / Scala程序的一部分运行,或者在命令行进程中运行./bin/flink run ….

1542377480863865.png

3. Task Slots和资源 

每个worker(TaskManager)都是一个JVM进程,可以在不同的线程中执行一个或多个子任务。为了控制Worker接受的任务数量,Work有不同数量的Task Slot(至少一个)。

每个Task Slot代表TaskManager的固定资源子集。例如,具有三个Slot的TaskManager将其1/3的托管内存(Managed Memory)专用于每个Slot。各个Slot的资源意味着子任务不会与来自其他作业的子任务竞争托管内存,而是具有一定数量保留的托管内存。注意,此处不会发生CPU隔离;当前Slot只分离任务的托管内存。

通过调整Task Slot的数量,用户可以定义子任务如何相互隔离。每个TaskManager有一个Slot意味着每个任务组在一个单独的JVM中运行(例如,可以在一个单独的容器中启动)。拥有多个Slots意味着更多子任务共享同一个JVM。同一JVM中的任务共享TCP连接(通过多路复用)和心跳(heartbeat)消息。它们还可以共享数据集和数据结构,从而减少每个任务开销。

1542377543354507.png

默认情况下,Flink允许子任务共享插槽,即使它们是不同任务的子任务,只要它们来自同一个作业。 这样可能会出现一个Slot可以保存作业的整个管道。 允许Slot共享有两个主要好处:

Flink集群需要与作业中使用的最高并行度一样多的Task Slot。 无需计算程序总共包含多少任务。

更容易获得更好的资源利用率。 如果没有插槽共享,有些子任务可能会阻止与资源密集型窗口子任务一样多的资源。 通过插槽共享,将示例中的并行性从2增加到6可以充分利用资源,同时确保繁重的子任务在TaskManagers之间公平分配。

1542377595119696.png

根据经验,一个好的默认任务槽数就是CPU核心数。 使用超线程,每个插槽然后需要2个或更多线程。

4. State Backends

存储键/值索引的确切数据结构取决于所选的状态后端存储(State Backend)。 一个State Backend将数据存储在内存中的哈希映射中,另一个State Backend使用RocksDB作为键/值存储。 除了定义保存状态的数据结构之外,State Backend还实现逻辑以获取键/值状态的时间点快照,并将该快照存储为检查点的一部分。

1542377633732631.png

5. Savingpoint(保存点)

用Data Stream API编写的程序可以从保存点恢复执行。 保存点允许更新程序和Flink群集,而不会丢失任何状态。

保存点是手动触发的检查点,它会获取程序的快照并将其写入状态后端存储。 依靠常规的检查点机制。 在执行期间,程序会定期在工作节点上创建快照并生成检查点。 对于恢复,仅需要最后完成的检查点,并且一旦新的检查点完成,就可以安全地丢弃旧的检查点。

保存点与这些定期检查点类似,不同之处在于它们由用户触发,并且在较新的检查点完成时不会自动过期。

​Flink分布式运行时环境

发表评论

电子邮件地址不会被公开。 必填项已用*标注

六 × = 三十 六