内容
1. 目标
在这一章里,我们将学习所有的Kafka特征,如可扩展性,可靠性,耐用性,这些都说明了为什么Kafka如此受欢迎。我们将详细讨论Kafka的每个特征,但在那之前让我们先了解什么是Kafka。当我们学习了Apache Kafka并了解了开发人员对这项技术的巨大兴趣后,你会发现一个问题,即是什么使Kafka技术如此受欢迎。
所以,让我们从Kafka的特征开始吧。
pic
2. 什么是Apache Kafka?
为了处理大量数据并使我们能够将消息从一个端点传递到另一个端点,Apache Kafka实现了一个分布式的发布 – 订阅(publish-subscribe)消息传递系统。它适用于离线和在线消息消费。此外,为了防止数据丢失,Kafka消息将保留在磁盘上并在群集中进行复制。它建立在ZooKeeper的同步服务之上。虽然它涉及实时流数据分析,但它也可以很好地与Apache Storm和Spark集成。Apache Kafka还有许多其他功能。 我们来详细讨论它们。
3. Apache Kafka 10大特征
下面列出了Apache Kafka的最重要的特征:
a. 可伸缩性
Apache Kafka可以处理所有四个维度的可伸缩性,即事件生产者,事件处理器,事件消费者和事件连接器。换句话说,Kafka可以轻松扩展而无需停机。
b. 高容量
Kafka可以轻松地处理大量数据流。
c. 数据转换
Kafka提供了使用来自生产者的数据流来获取新数据流的规定。
d. 容错
Kafka集群可以处理主服务器和数据库的故障。
e. 可靠性
由于Kafka是分布式的,分区的,复制的和容错的,所以它非常可靠。
f. 持久性
Kafka是持久的,因为它使用分布式提交日志,这意味着消息尽可能快地保留在磁盘上。
g. 性能
对于发布和订阅消息,Kafka具有很高的吞吐量。即使存储了TB级的消息,它也能保持稳定的性能。
h. 零停机
Kafka速度非常快,可确保零停机和零数据丢失。
i. 可扩展性
应用程序可以通过多种方式插入和使用Kafka,此外,还提供了根据需要编写新连接器的方法。
j. 复制
通过使用摄取管道,Kafka可以复制事件。