spark简单介绍（一）

一，spark历史

诞生于2009年，加州大学伯克利分校RAD实验室的一个研究项目，最初是基于Hadoop Mapreduce 的，

发现Mapreduce在迭代式计算和交互式上低效，引入了内存存储。

2010年3月份spark开源

2011年AMP实验室在spark上开发高级组件，例如：spark Streaming

2013年转移到了Apache下，不就成了顶级项目

二，spark特点

    1，spark是快速的： spark扩充了Mapreduce计算模型，spark是基于内存的运算；

    2，spark是通用的：spark的设计容纳了其他分布式系统拥有的功能，批处理，迭代式计算，交互查询和流处理等，

优点：降低了维护成本。

三，spark组件

   spark包括多个紧密集成的组件

Spark Core:

包含spark的基本功能，包括任务调度，内存管理，容错机制等，

内部定义了RDDs(弹性分布式数据集)

提供了很多APi来创建和操控这些RDDs

为其他组件提供底层的服务

Spark SQL :

spark处理结构化数据的库，就行mysql，hive sql 一样，

企业中用来做报表统计

Spark Streaming:

实时数据流处理组件，类似storm

其提高了api来提供实时流数据

企业主用来从kafka接受数据做实时统计

Mlib:

一个包含通用机器学习功能的包，Machine learning lib,

包含分类，聚类，归类等，还包括模型评估和数据导入，都支持集群横向扩展

Graphx:

图形处理的库，并进行图的并行运算，像spark sql ,spark Streaming 一样，它也继承了RDDs API

    提供了各种图的操作，和常用的图算法，例如：PangeRank算法,

应用场景：图计算

Cluster Managers :

    集群管理，spark自带一个集群管理是单独调度器，常见的集群管理包括 Hadoop YARN , Apache mesos

作者：Alukar
链接：https://www.jianshu.com/p/0f2910c710f5