为了账号安全,请及时绑定邮箱和手机立即绑定

spark 的 map 和 flatMap 应该怎样理解

spark 的 map 和 flatMap 应该怎样理解

饮歌长啸 2018-10-29 01:00:03
spark 的 map 和 flatMap 应该怎样理解
查看完整描述

1 回答

?
当年话下

TA贡献1890条经验 获得超9个赞

map: 对RDD每个元素转换
flatMap: 对RDD每个元素转换, 然后再扁平化(即将所有对象合并为一个对象)
e.g.
// data 有两行数据,第一行 a,b,c,第二行1,2,3
scala>data.map(line1 => line1.split(",")).collect()
res11: Array[Array[String]] = Array(Array(a, b, c),Array(1, 2, 3))
scala>data.flatMap(line1 => line1.split(",")).collect()
res13: Array[String] = Array(a, b, c, 1, 2, 3)

查看完整回答
反对 回复 2018-11-16
  • 1 回答
  • 0 关注
  • 738 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信