为了账号安全,请及时绑定邮箱和手机立即绑定

怎样给Spark传递函数?

怎样给Spark传递函数?

慕田峪7331174 2018-11-13 15:11:23
怎样给Spark传递函数
查看完整描述

1 回答

?
白猪掌柜的

TA贡献1893条经验 获得超10个赞

大讲台 spark在线培训为你解答:
第一种:匿名函数,处理的代码比较少的时候,可以采用匿名函数,直接写在算子里面:
myrdd.map(x => x+ 1)
第二种:全局单例对象中的静态方法:先定义object对象MyFunctions,以及静态方法:funcOne,然后传递MyFunctions.funcOne给RDD算子。
object MyFunctions {
def funcOne(s: String): String = { ... }
}
myRdd.map(MyFunctions.funcOne)

查看完整回答
反对 回复 2018-12-10
  • 1 回答
  • 0 关注
  • 753 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信