今天扣丁学堂大数据培训给大家介绍一下关于大数据开发中Spark架构运行详解及其优势详解，首先spark是一种分布式的计算框架。类似于大数据开发中Hadoop生态圈的MapReduce，计算思想和MR非常相似，两者都是分而治之的思想，但使用率要比MR高很多。
在学习大数据Spark运行架构之前，我们有必须要先了解Spark中几个基本概念。
1、Application(应用程序)：是指我们编写的Spark应用程序，包含驱动程序(Driver)和分布在及群众多个节点上运行的Executor代码，在执行过程中由一个或多个job组成。
2、Driver(驱动程序)：Spark中的Driver即运行Application的main方法，并且创建SparkContext，创建SparkContext的目的是为了准备Spark应用程序的运行环境。在Spark中由SparkContext负责与ClusterManager通信，进行资源的申请、任务的分配和监控。当Executor部分运行完毕后，Driver负责将SparkContext关闭。通常用SparkContext代表Driver。
3、ClusterManager(集群资源管理器)：是指在集群上获取资源的外部服务，目前常用的有以下几种：
(1)standalone：Spark自带的资源管理，由Master负责资源的管理和调度。
(2)HadoopYARN：由YARN中的ResourceManager负责资源的管理。
(3)Mesos：由Mesos中的MesosMaster负责资源的管理。
4、Worker(工作节点)：集群中任何可以运行Application代码的节点，类似于YARN中的NodeManager节点。在Standalone模式中指的是通过Slave文件配置的Worker节点。
5、Master：SparkStandalone模式下的主节点，负责管理和分配集群资源来运行SparkApplication。
6、Executor：Application运行在Worker节点上的一个进程，该进程负责运行Task，并负责将数据存在内存或者磁盘上，每个Application都有各自独立的一批Executor。
二、Spark运行架构
先上一张Spark运行架构原理图吧。
其执行流程：
1、使用spark-sbumit提交我们的应用程序，通过反射的方式，创建和构造出一个Driver进程。
2、Driver进程(可以理解为有main方法的那个类)开始从头到尾执行我们写的代码，第一行即创建SparkConf和SparkContext对象。SparkContext在初始化的时候，会构造出DAGScheduler和TaskScheduler。
3、TaskScheduler通过它自己对应的进程去连接Master，并负责向Master注册Application。
4、Master接收到注册请求时候，会通过自己的资源调度算法，在Spark集群的Worker上，为这个Application启动多个Executor。
5、Worker为Application启动Executor，Executor启动之后，自己会反向注册到TaskScheduler上去。
6、至此整个初始化工作完成，SparkContext继续执行我们的代码。每遇到一个action操作，就会形成一个job，然后将该job提交到DAGScheduler。
7、DAGScheduler根据State划分算法，将一个job划分成多个State，每个State就是一个TaskSet。并将该Taskset提交到TaskScheduler。
8、TaskScheduler会将TaskSet中的每一个Task提交到Executor执行。
9、Executor每接收到一个task，都会用TaskRunner来封装task，然后从线程池中取出一个线程来执行task。
10、所以，最后整个Spark应用程序的执行就是state分批次作为taskset提交到executor执行，每个task针对RDD的一个分区，执行我们定义的算子和函数。以此类推，直到所有操作执行完为止。
三、spark的优势
计算效率高
1、资源复用
2、粗粒度的资源调度
使用方便
1、支持使用多门语言来编写
2、提供了超过80多种方法来供我们使用
通用性强
1、Spark生态圈中的组件都是基于SparkCore封装起来的
适应性强
1、可以接受上百种数据源
2、可以运行在各种各样的资源调度框架上
作者：扣丁学堂
链接：https://www.jianshu.com/p/40f1a36b0b63
共同学习，写下你的评论
评论加载中...
作者其他优质文章
