Apache Spark：map与mapPartitions？

Question

RDD map和mapPartitions方法之间有什么区别？并且flatMap表现得像map还是喜欢mapPartitions？谢谢。（edit），即两者之间在语义上或执行上有什么区别  def map[A, B](rdd: RDD[A], fn: (A => B))               (implicit a: Manifest[A], b: Manifest[B]): RDD[B] = {    rdd.mapPartitions({ iter: Iterator[A] => for (i <- iter) yield fn(i) },      preservesPartitioning = true)  }和：  def map[A, B](rdd: RDD[A], fn: (A => B))               (implicit a: Manifest[A], b: Manifest[B]): RDD[B] = {    rdd.map(fn)  }

Answer 1

RDD的map和mapPartitions方法之间有什么区别？

方法映射通过应用函数将源RDD的每个元素转换为结果RDD的单个元素。mapPartitions将源RDD的每个分区转换为结果的多个元素（可能没有）。

flatMap的行为类似于map还是mapPartitions？

flatMap都不对单个元素（如map）工作，也不产生结果的多个元素（如mapPartitions）。