Spark编译

Spark编译
有三种方式:SBT(Simple Build  Tool),Maven,Make-distribution.sh
其中SBT,Maven两种方式打出来的包比较大，因此使用第三种方式编译

官方已经提供了安装包了,为什么要自己编译呢？

Spark能同Hadoop进行交互，而Hadoop的厂商比较多有很多商业版。Spark官方提供的安装包不一定和我们的Hadoop集群版本相同，如果不相同就有可能出现莫名其妙的错误。这时，我们手工指定相应版本进行编译是最好选择

SBT编译

    sbt/sbt clean assembly

Maven编译

由于Maven工具默认的内存比较小,需要先调大其占用的内存上限

  export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

打包

mvn clean assembly:assembly

make-distribution.sh构建安装包

该脚本会使用MAVEN进行编译，然后打成一个tgz包。
脚本的使用方法：

    ./make-distribution.sh --help

打包：

   ./make-distribution.sh --tgz --with-tachyon

Hadoop版本对应的MAVEN Profile

Hadoop version  Profile required
  0.23.x                 hadoop-0.23
  1.x to 2.1.x           (none)
  2.2.x               hadoop-2.2
  2.3.x               hadoop-2.3
  2.4.x               hadoop-2.4

Yarn版本对应的MAVEN Profile

YARN version    Profile required0.23.x to 2.1.x yarn-alpha2.2.x and later yarn

Hive对应的MAVEN Profile

在构造脚本后面添加 -Phive便可

自定义Hadoop版本

如果要构建hortonworks Hadoop 2.4.0.2.1.4.0-632，所对应的Hadoop版本是2.4.x。因此，相应的Profile为-Phadoop-2.4 -Pyarn。

编译方式：

SBT

  sbt clean assembly -Phive -Phadoop-2.4 -Pyarn -Dhadoop.version=2.4.0.2.1.4.0-632

Maven

  export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
  mvn clean assembly:assembly
  make-distribution.sh

1.1.x 使用

./make-distribution.sh --tgz --with-tachyon -Phadoop-2.4 -Pyarn -Phive -Dhadoop.version=2.4.0.2.1.4.0-632

对于1.1.x以前的版本使用：

 ./make-distribution.sh --hadoop 2.4.0.2.1.4.0-632 --with-yarn --with-tachyon --tgz

如果yarn的版本和Hadoop的版本不一致可添加

-Dyarn.version=2.4.0.2.1.4.0-632

作者：Bloo_m
链接：https://www.jianshu.com/p/82657d105d21