Spark介绍

1. 目的

首先介绍Spark 编程,了解Spark历史,然后我们将了解为什么需要Spark,涵盖Spark组件的所有基础知识,了解Spark的核心抽象和Spark RDD,最后介绍Spark特性,Spark限制和Spark用例。

2. Spark编程简介

什么是Spark? Spark是一个通用和快速集群计算平台。换句话说,它是一个开源的数据处理引擎。它提供了API,这使数据工作者可以完成流,机器学习或SQL。 而且,它集成了所有大数据工具。例如Spark可以访问任何Hadoop数据源,也可以在Hadoop集群上运行。此外,Spark将Hadoop MapReduce扩展到更高级别,包括迭代查询和流处理。 关于Spark的另一个常见看法是它是Hadoop的扩展。这是不正确的,Spark独立于Hadoop,因为它拥有自己的集群管理系统,它仅将Hadoop用于存储目的。 尽管Spark是用Scala编写的,但仍然用Scala,Java,Python和R语言提供了丰富的API。 最重要的是,比较Spark和Hadoop,它比Hadoop快10到100倍。内存计算下,Spark 比 Hadoop 大约快100倍,在磁盘计算下,大约快10倍。

3. Spark历史

起初,Spark于2009年在加州大学伯克利分校研发实验室推出,现在称为AMPLab。之后,在2010年,它成为BSD许可下的开源软件。Spark于2013年捐赠给Apache软件基金会,然后在2014年,它成为顶级Apache项目。

4. 为什么用Spark

正如我们所知道的那样,在工业界没有一个引擎可以实时和批量处理数据,还要求这个引擎可以在亚秒内响应并执行内存中的处理。

4.1 要执行批处理,我们使用Hadoop MapReduce。

4.2 为了执行流处理,我们使用了Apache Storm / S4。

4.3 对于交互式处理,我们使用Apache Impala / Apache Tez。

4.4 为了执行图形处理,我们使用了Neo4j / Apache Graph。

因此,Spark诞生了,它是一个强大的开源引擎。它提供了交互式处理,实时流处理,图形处理,内存处理以及批处理。这些功能是Hadoop不具备的。

5. Spark组件

Spark组件提供了更快的数据处理以及更简单的开发,现在让我们逐一讨论每个Spark组件。

5.1 Spark Core

Spark Core是Spark的核心。它为所有的Spark应用程序提供了一个通用的执行平台。

5.2 Spark SQL

Spark SQL使用户能够运行SQL / HQL查询。我们可以使用Spark SQL处理结构化以及半结构化数据。此外,它还可以在现有部署中将查询运行速度提高10到100倍。

5.3 Spark Streaming

Spark Streaming具有高吞吐量,强容错能力的实时流处理系统,支持包括Kafka,Flume,HDFS/S3,Twitter,TCP Sockets等数据源。获取数据后可以使用map,reduce,join等函数进行处理,处理结果存储到文件系统,数据库或者在仪表盘上展示。

5.4 Spark MLlib

机器学习库提供了高质量的算法和开发效率,让机器学习更加容易,它是数据科学家最热门的选择,由于它能够进行内存数据处理,因此可以大大提高迭代算法的性能。

5.5 Spark GraphX

Spark GraphX是构建在Spark之上的图形计算引擎,可以处理大规模的图形数据。

5.6 SparkR

R是遵循GNU协议的一款开源、免费的软件,广泛应用于统计计算和统计制图,但是它只能单机运行,分析小型数据集。SparkR允许数据科学家分析大型数据集,并通过R shell交互式地在SparkR上运行作业。

6. 弹性分布式数据集 – RDD

Spark的关键抽象是RDD,RDD是弹性分布式数据集(Resilient Distributed Dataset)的首字母缩略词。它是Spark中数据的基本单位,是跨集群节点的分布式集合,执行并行操作。Spark RDD本质上是不可改变的,它可以通过转换现有的RDD来生成新的RDD

6.1 如何创建Spark RDD

有3种方法来创建Spark RDD

6.1.1 并行集合

通过调用并行化方法,我们可以创建并行化的集合。

6.1.2 外部数据集

可以通过调用textFile等方法来创建Spark RDD。因此,这种方法会获取文件的URL并将其作为行的集合读取。

6.1.3 现有的RDD

我们可以通过对现有的RDD进行转换操作来创建新的RDD。

6.2 Spark RDD的操作

Spark RDD支持两种类型的操作:

6.2.1 转换操作 – Transformation

它从现有的RDD创建一个新的RDD。

6.2.2 行动操作 – Action

触发Spark提交作业并将最终结果返回给驱动程序或将其写入外部存储。

6.3 Spark RDD的特点

RDD有很多特点,例如:

6.3.1 内存计算

通过将数据保存在内存中,可以将性能提高一个数量级。

6.3.2 延迟计算

RDD内部的数据不会立即计算,只有在某个动作触发所有更改或执行计算之后才开始计算。

6.3.3 容错

如果任何工作节点出现故障,通过使用血统(lineage),我们可以重新计算RDD的丢失分区。 因此,可以轻松地恢复丢失的数据。

6.3.4 不变性

不变性意味着一旦我们创建了一个RDD,我们就无法改变它。我们可以通过执行转换来创建新的RDD。 此外,我们通过不变性实现一致性。

6.3.5 存储

我们可以在内存中存储经常使用的RDD,然后可以直接从内存中检索它们,而不必通过磁盘,从内存中检索数据非常快,我们也可以对相同的数据执行多个操作。 只有通过调用persist或cache函数才能将数据显式存储在内存中。

6.3.6 分区

RDD由逻辑分区组成,运行时分发分区到集群中的各个节点,这些分区并行执行。

6.3.7 并行

并行 RDD在集群上并行处理数据。

6.3.8 位置相关性

为了计算分区,RDD可以定义位置信息,DAGScheduler将分区放置在尽可能接近数据的位置进行计算,这样可以减少网络传输数据。

6.3.9 粗粒度操作

通常,我们将转换应用于RDD。这意味着该操作适用于整个数据集,而不适用于RDD数据集中的单个元素。

6.3.10 类型化

RDD有类型,如:RDD [int],RDD [long],RDD [string]。

6.3.11 RDD数量没有限制

使用RDD的数量没有限制,我们可以使用任何数量的RDD。基本上,限制取决于磁盘和内存的大小。

7. Spark的特点

7.1 处理速度快

Spark提供高处理速度。内存计算下,Spark 比 Hadoop 大约快100倍,在磁盘计算下,大约快10倍。

7.2 易用性

Spark 提供了80多个高级运算符。

7.3 通用性

Spark 提供了大量的库,包括SQL、Streaming、MLlib、GraphX。开发者可以在同一个应用程序中无缝组合使用这些库。

7.4 支持多种资源管理器

Spark 支持 Hadoop YARN,Apache Mesos,及其自带的独立集群管理器。

8. Spark局限性

8.1 不支持实时处理

基本上,Spark接近实时处理实时数据。换句话说,微量批处理是在Spark Streaming中进行的,因此我们不能说Spark是完全实时处理引擎。

8.2 小文件问题

在RDD中,每个文件都是一个分区,如果小文件特别多,这意味着,RDD中有大量的微小分区。因此,如果我们希望在处理过程中提高效率,RDD应该被重新分区,这要求在网络上进行大规模的数据移动(shuffle)。

8.3 没有文件管理系统

Spark没有自己的文件管理系统,它依赖于其他平台,如Hadoop或其他基于云的平台。

8.4 昂贵

由于内存通常比磁盘空间更贵,因此相比基于磁盘的系统,Spark成本更高。然而处理速度的提升意味着可以更快速完成任务,在需要按照小时数为资源付费的环境中,这一特性通常可以抵消增加的成本。

8.5 算法的数量较少

Spark MLlib的可用算法数量比较少。

8.6 手动优化

Spark针对适合特定的数据集必须手动优化。

8.7 延迟

与Flink相比,Spark具有更高的延迟。

9. Spark使用案例

9.1 金融行业

有许多银行正在使用Spark,它有助于访问和分析银行部门的大规模记录,例如电子邮件,社交媒体档案,通话录音,论坛等等,它有助于为多个领域做出正确的决定。

9.2 电子商务行业

Spark有助于获得有关实时交易的信息,这些信息被传递给流聚类算法。

9.3 媒体和娱乐行业

Spark从实时游戏事件中识别模式,有助于获取丰厚的商业机会。

9.4 旅游行业

Spark可以通过加快个性化建议帮助用户规划完美的旅程。

10. 结论

了解了Apache Spark的各个方面,什么是Spark编程和Spark定义,Spark的历史,为什么需要Spark,Spark RDD的特性,Spark的组件,Spark的功能,Spark的限制,Spark用例。

Spark介绍
滚动到顶部