【Spark】RDD机制实现模型

RDD渊源

弹性分布式数据集(RDD)，它是MapReduce模型一种简单的扩展和延伸，RDD为了实现迭代、交互性和流查询等功能，需要保证RDD具备在并行计算阶段之间能够高效地数据共享的功能特性。RDD运用高效的数据共享概念和类似于MapReduce的操作方式，使得所有的计算工作可以有效地执行，并可以在当前特定的系统中获得关键性的优化。

RDD是一种有容错机制的特殊集合，可以分布在集群的节点上，以函数式编操作集合的方式，进行各种并行操作。可以将RDD理解为一个具有容错机制的特殊集合，它提供了一种只读、只能由已存在的RDD变换而来的共享内存，然后将所有数据都加载到内存中，方便进行多次重用。

a. 它是分布式的，可以分布在多台机器上，进行计算。
b. 它是弹性的，计算过程中内存不够时它会和磁盘进行数据交换。
c. 这些限制可以极大的降低自动容错开销
d. 实质是一种更为通用的迭代并行计算框架，用户可以显式的控制计算的中间结果，然后将其自由运用于之后的计算。

RDD是一个可以避免复制的容错分布式存储概念。取而代之，每一个RDD都会记住由构建它的那些操作所构成的一个图，类似于批处理计算模型，可以有效地重新计算因故障丢失的数据。由于创建RDD的操作是相对粗粒度的，即单一的操作应用于许多数据元素，该技巧比通过网络复制数据更高效。RDD很好地运用于当前广泛的数据并行算法和处理模型中，所有的这些对多个任务使用同一种操作。

RDD机制实现的模型

RDD 机制实现了多类模型，包括多个现有的集群编程模型和之前模型所没有支持的新应用。在这些模型中，RDD机制不仅在性能方面能够和之前系统相匹配，在其他方面，他们也能加入现有的系统所缺少的新特性，比如容错性，straggler容忍和弹性。我们讨论以下四类模型。

迭代式算法

一种目前已经开发的针对特定系统最常见的的工作模式是迭代算法，比如应用于图处理，数值优化，以及机器学习中的算法。RDD可以支持广泛类型的各种模型，包括Pregel，像HaLoop和Twister这类的迭代式MapReduce模型，以及确定版本的GraphLab和PowerGraph模型。

关系查询

在MapReduce集群中的首要需求中的一类是执行SQL查询，长期运行或多个小时的批量计算任务和即时查询。这促进了很多在商业集群中应用的并行数据库系统的发展。
MapReduce相比并行数据库在交互式查询有非常大的缺陷，例如MapReduce的容错机制模型，而我们发现通过在RDD操作中实现很多常用的数据库引擎的特性（比如，列处理），这样能够达到相当可观的性能。

MapReduce

RDD通过提供MapReduce的一个超集，能够高效地执行MapReduce程序，同样也可以指向比如DryadLINQ这样常见的机遇DAG数据流的应用。

流式数据处理

Spark与定制化系统最大的区别是Spark也使用RDD实现了流式处理。流式数据处理已经在数据库和系统领域进行了很长时间研究，但是实现大规模流式数据处理仍然是一项挑战。当前的模型并没有处理在大规模集群中频繁出现的straggler的问题，同时对故障恢复的方式也非常有限，需要大量的复制或浪费很长的恢复时间。特别是，当前的系统是基于一种持续操作的模型，这就需要长时间的有状态的操作处理每一个到达的记录。为了恢复一个丢失的节点，当前的系统需要保存每一个操作符的两个副本，或通过一系列耗费大量开销的串行处理来对上游的数据进行重放。
Spark提出了一个新的模型，离散数据流(D-Streams),来解决这样的问题。对使用长期状态处理的过程进行替换，D-Streams 把流式计算的执行当做一系列短而确定性的批量计算的序列，将状态保存在RDD里。D-Stream模型通过根据相关RDD的依赖关系图进行并行化恢复，就能达到快速的故障恢复，这样不需要通过复制。另外，它通过推测(Speculative)来支持对straggler迁移执行，例如，对那些慢任务运行经过推测的备份副本。尽管D-Stream将计算转换为许多不相关联的jobs来运行从而增加了部分延迟，然而我们证明了D-Stream能够被达到次秒级延时的实现，这样能够达到以前系统单个节点的性能，并能线性扩展到100个节点。D-Stream 的强恢复特性让他们成为了第一个处理大规模集群特性的流式处理模型，并且他们基于RDD的实现使得应用能够有效的整合批处理和交互式查询。

小结

Spark将这些模型整合到一起，RDD还能支持一些现有系统不能表示的新的应用。例如，许多数据流应用程序还需要加入历史数据的信息；通过使用 RDD 可以在同一程序中同时使用批处理和流式处理，这样来实现在所有模型中数据共享和容错恢复。同样的，流式应用的操作者常常需要在数据流的状态上执行即时查询；在D-Stream中的RDD能够如静态数据形式进行查询。我们使用一些在线机器学习和视频分析的实际应用来说明了这些用例。更一般的说，每一个批处理应用常常需要整合多个处理类型：比如，一个应用可能需要使用SQL提取一个数据集，在数据集上训练一个机器学习模型，之后对这个模型进行查询。由于计算的大部分时间花在系统之间共享数据的分布式文件系统的I/O开销上，因此使用当前多个系统组合而成的工作流的效率非常的低下。使用一个基于RDD机制的系统，这些计算可以在同一个引擎中紧接着执行，而不需要额外的I/O。

转载请注明作者Jason Ding及其出处

作者：JasonDing
链接：https://www.jianshu.com/p/fa7552308974