为了账号安全,请及时绑定邮箱和手机立即绑定

spark的foreach是并行的吗?

spark的foreach是并行的吗?

小唯快跑啊 2018-11-14 18:13:27
spark的foreach是并行的吗
查看完整描述

1 回答

?
MMTTMM

TA贡献1869条经验 获得超4个赞

是并行的,其他并行的操作如下:
以下几种并行操作可以在RDDS上实现:
1、聚合:在驱动程序中使用相关函数对数据集进行聚合。
2、收集:发送该数据集的所有元素到驱动程序中。
3、流程:例如,一种用来更新并行数据的简单方法,就是并行化映射和收集整个数组。
4、遍历(foreach):通过用户自定义的函数遍历每个元素。只是这种函数的副作用很明显(这可能是用来将数据复制到另外一个系统中的功能,如下面所解释的用来更新的共享变量)。( 注意:这里的foreach的副作用,应该是说foreach只能用来遍历,不能用来对集合进行修改否则会发生很多奇怪的情况) 。

查看完整回答
反对 回复 2018-12-10
  • 1 回答
  • 0 关注
  • 1712 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信