为了账号安全,请及时绑定邮箱和手机立即绑定

新手请教:为什么安装spark需要源码编译?

新手请教:为什么安装spark需要源码编译?

牧羊人nacy 2019-02-15 15:11:36
新手请教:为什么安装spark需要源码编译
查看完整描述

1 回答

?
富国沪深

TA贡献1790条经验 获得超9个赞

因为不同版本的HDFS在协议上是不兼容的,所以如果你想用你的Spark从HDFS上读取数据,那么你就的选择相应版本的HDFS来编译Spark,这个可以在编译的时候通过设置hadoop.version来选择,默认情况下,Spark默认为编译成Hadoop 1.0.4版本。现在可以使用的方法有Maven编译,sbt编译(时间较长),Spark自带脚本编译(实际还是调用Maven)。



查看完整回答
反对 回复 2019-03-04
  • 1 回答
  • 0 关注
  • 785 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信