为了账号安全,请及时绑定邮箱和手机立即绑定

Spark中parallelize函数和makeRDD函数的区别

/ 猿问

Spark中parallelize函数和makeRDD函数的区别

拉莫斯之舞 2019-02-13 09:17:24

Spark中parallelize函数和makeRDD函数的区别


查看完整描述

1 回答

?
阿波罗的战车

TA贡献1708条经验 获得超11个赞

Spark主要提供了两种函数:parallelize和makeRDD:
1)parallelize的声明:
def parallelize[T: ClassTag](
seq: Seq[T],
numSlices: Int = defaultParallelism): RDD[T]

2)makeRDD的声明:
def makeRDD[T: ClassTag](

seq: Seq[T],
numSlices: Int = defaultParallelism): RDD[T]
def makeRDD[T: ClassTag](seq: Seq[(T, Seq[String])]): RDD[T]

3)区别:

A)makeRDD函数比parallelize函数多提供了数据的位置信息。
B)两者的返回值都是ParallelCollectionRDD,但parallelize函数可以自己指定分区的数量,而makeRDD函数固定为seq参数的size大小。

查看完整回答
反对 回复 2019-02-16
  • 1 回答
  • 0 关注
  • 1087 浏览
我要回答
慕课专栏
更多

添加回答

回复

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信