首页手记 Spark学习之Dirver

Spark学习之Dirver

标签：

Spark

driver在spark中并不是一个非常重要的概念，但是在学习过程中对于他的理解感觉比其他组件都要费劲，花了几天的功夫终于把Driver弄明白了，希望这篇博客能对刚学习spark的人有点帮助

因为driver这个概念的理解与spark的运行模式有关，所以在讲解spark之前会先讲一下spark的四种分布式运行模式

spark的四种分布式运行模式

1.png

如图所示，上方为spark的架构图，spark的组件可以分为四个部分，driver、cluster Manager、worker和executor
根据clusterManager的不同，spark可以分成四种不同的运行模式，standalone、local cluster、spark on yarn 和spark on mesos

1）standalone模式：

standalone模式既独立模式，自带完整服务，可单独部署到一个集群中，无需依赖其他任何资源管理系统，只支持FIFO调度器。从一定程度上说，它是spark on yarn 和spark on mesos 的基础。在standalone模式中，没有AM和NM的概念，也没有RM的概念，用户节点直接与master打交道，由driver负责向master申请资源，并由driver进行资源的分配和调度等等。

2）localCluster模式：

standalone模式的单机版，master和worker分别运行在一台机器的不同进程上

3） spark on Yarn模式：

这是一种很有前景的部署模式。但限于YARN自身的发展，目前仅支持粗粒度模式（Coarse-grained Mode）。这是由于YARN上的Container资源是不可以动态伸缩的，一旦Container启动之后，可使用的资源不能再发生变化，不过这个已经在YARN计划中了。 spark on yarn 的支持两种模式：
(1) yarn-cluster：适用于生产环境；
(2) yarn-client：适用于交互、调试，希望立即看到app的输出
yarn-cluster和yarn-client的区别在于yarn appMaster，每个yarn app实例有一个appMaster进程，是为app启动的第一个container；负责从ResourceManager请求资源，获取到资源后，告诉NodeManager为其启动container。yarn-cluster和yarn-client模式内部实现还是有很大的区别。如果你需要用于生产环境，那么请选择yarn-cluster；而如果你仅仅是Debug程序，可以选择yarn-client。

4）spark on mesos模式：

这是很多公司采用的模式，官方推荐这种模式（当然，原因之一是血缘关系）。正是由于Spark开发之初就考虑到支持Mesos，因此，目前而言，Spark运行在Mesos上会比运行在YARN上更加灵活，更加自然。目前在Spark On Mesos环境中，用户可选择两种调度模式之一运行自己的应用程序（可参考Andrew Xia的“Mesos Scheduling Mode on Spark”）：

粗粒度模式（Coarse-grained Mode）：每个应用程序的运行环境由一个Dirver和若干个Executor组成，其中，每个Executor占用若干资源，内部可运行多个Task（对应多少个“slot”）。应用程序的各个任务正式运行之前，需要将运行环境中的资源全部申请好，且运行过程中要一直占用这些资源，即使不用，最后程序运行结束后，回收这些资源。举个例子，比如你提交应用程序时，指定使用5个executor运行你的应用程序，每个executor占用5GB内存和5个CPU，每个executor内部设置了5个slot，则Mesos需要先为executor分配资源并启动它们，之后开始调度任务。另外，在程序运行过程中，mesos的master和slave并不知道executor内部各个task的运行情况，executor直接将任务状态通过内部的通信机制汇报给Driver，从一定程度上可以认为，每个应用程序利用mesos搭建了一个虚拟集群自己使用。
细粒度模式（Fine-grained Mode）：鉴于粗粒度模式会造成大量资源浪费，Spark On Mesos还提供了另外一种调度模式：细粒度模式，这种模式类似于现在的云计算，思想是按需分配。与粗粒度模式一样，应用程序启动时，先会启动executor，但每个executor占用资源仅仅是自己运行所需的资源，不需要考虑将来要运行的任务，之后，mesos会为每个executor动态分配资源，每分配一些，便可以运行一个新任务，单个Task运行完之后可以马上释放对应的资源。每个Task会汇报状态给Mesos slave和Mesos Master，便于更加细粒度管理和容错，这种调度模式类似于MapReduce调度模式，每个Task完全独立，优点是便于资源控制和隔离，但缺点也很明显，短作业运行延迟大。

关于driver

（一）driver是什么

2.png

上图是官网给的解释，刚看到这句话的时候，首先不知道这个main函数指的是什么，是像C语言中的main函数一样吗，其次看到那句create context让我想到的是源码中有一段代码在某个场合创建了一个driver然后在driver里面创建的context，但看了两天的代码以后，发并没有找到。思考了很久以后才明白driver是什么意思：

用户提交的应用程序代码在spark中运行起来就是一个driver，用户提交的程序运行起来就是一个driver，他是一个一段特殊的excutor进程，这个进程除了一般excutor都具有的运行环境外，这个进程里面运行着DAGscheduler Tasksheduler Schedulerbackedn等组件。

下图是个求π值的spark程序

3.png

这段计算π值的程序代码在spark上运行起来就是一个driver，可以看到这段程序里有个main函数，它是整个应用程序的开始，也可以看到在这段代码中创建了context，这样与官网给的解释就完全对上了。

driver组件的结构图如下，从结构图中可以看出，driver中包括一些在executor上运行进程都有的运行环境sparkenv和一些只有driver才拥有的组件比如SparkUI、SchedulerBackEnd、TaskSchduler、DagScheduler等等，整个大框就是一个sparkcontext

4-0.png

从源码中我们也能看出sparkcontext包括公共的sparkenv部分和driver特有的组件

4-1.png

4-2.png

Q：一个应用程序是如何与一个driver一一对应的呢，在worker.scala中我们找到了创建driver的代码，一步步往上追溯就能发现一个Driver如何与一个应用程序一一对应起来的

5.png

（二）driver做什么

6.png

上图截于stackoverflow总结了driver的主要功能，总结如下

运行应用程序的main函数
创建spark的上下文
划分RDD并生成有向无环图（DAGScheduler）
与spark中的其他组进行协调，协调资源等等（SchedulerBackend）
生成并发送task到executor（taskScheduler）

(三)driver运行在哪里（在这里只讨论yarn模式）

官网上说：There are two deploy modes that can be used to launch Spark application on Yarn.In cluster mode,the Spark driver run inside an application master process.And in the client mode,the driver runs in the client process.

yarn-cluster模式下

spark-yarn-cluster-driver.png

yarn-cluster模式下，client将用户程序提交到到spark集群中就与spark集群断开联系了，此时client将不会发挥其他任何作用，仅仅负责提交。在此模式下。AM和driver是同一个东西，但官网上给的是driver运行在AM里，可以理解为AM包括了driver的功能就像Driver运行在AM里一样，此时的AM既能够向AM申请资源并进行分配，又能完成driver划分RDD提交task等工作