集群模式概览

本文简要描述了Spark在集群中各个组件如何运行。想了解如何在集群中启动Spark应用，请参考application submission guide 。

组件

Spark应用在集群上运行时，包括了多个独立的进程，这些进程之间通过你的主程序（也叫作驱动器，即：driver）中的SparkContext对象来进行协调。

特别要指出的是，SparkContext能与多种集群管理器通信（包括：Spark独立部署时自带的集群管理器，Mesos或者YARN）。一旦连接上集群管理器，Spark会为该应用在各个集群节点上申请执行器（executor），用于执行计算任务和存储数据。接下来，Spark将应用程序代码（JAR包或者Python文件）发送给所申请到的执行器。最后SparkContext将分割出的任务（task）发送给各个执行器去运行。

这个架构中有几个值得注意的地方：

1. 每个Spark应用程序都有其对应的多个执行器进程，执行器进程在整个应用程序生命周期内，都保持运行状态，并以多线程方式运行所收到的任务。这样的好处是，可以隔离各个Spark应用，从调度角度来看，每个驱动器可以独立调度本应用程序内部的任务，从执行器角度来看，不同的Spark应用对应的任务将会在不同的JVM中运行。然而这种架构同样也有其劣势，多个Spark应用程序之间无法共享数据，除非把数据写到外部存储中。
2. Spark对底层的集群管理器一无所知。只要Spark能申请到执行器进程，并且能与之通信即可。这种实现方式可以使Spark相对比较容易在一个支持多种应用的集群管理器上运行（如：Mesos或YARN）
3. 驱动器（driver）程序在整个生命周期内必须监听并接受其对应的各个执行器的连接请求（参考：spark.driver.port and spark.fileserver.port in the network config section）。因此，驱动器程序必须能够被所有worker节点访问到。
4. 因为集群上的任务是由驱动器来调度的，所以驱动器应该和worker节点距离近一些，最好在同一个本地局域网中。如果你需要远程对集群发起请求，最好还是在驱动器节点上启动RPC服务，来响应这些远程请求，同时把驱动器本身放在集群worker节点比较近的机器上。

集群管理器类型

Spark支持以下3中集群管理器：

• Standalone – Spark自带的一个简单的集群管理器，这使得启动一个Spark集群变得非常简单。
• Apache Mesos – 一种可以运行Hadoop MapReduce或者服务型应用的通用集群管理器。
• Hadoop YARN – Hadoop 2的集群管理器。

另外，使用Spark的EC2 launch scripts可以轻松地在Amazon EC2上启动一个独立集群。

提交Spark应用

利用spark-submit脚本，可以向Spark所支持的任意一种集群提交应用。详见：application submission guide

监控

每一个驱动器（driver）都有其对应的web UI，默认会绑定4040端口（多个并存会按顺序绑定4041、4042…），这个web UI会展示该Spark应用正在运行的任务（task）、执行器（executor）以及所使用的存储信息。只需在浏览器种打开http://<driver-node>:4040即可访问。monitoring guide 详细描述了其他监控选项。

作业调度

Spark可以在应用程序之间（集群管理器这一层面）和之内（如：同一个SparkContext对象运行了多个计算作业）控制资源分配。job scheduling overview 描述了更详细的信息。

概念和术语

下表简要说明了集群模式下的一些概念和术语：