为了账号安全,请及时绑定邮箱和手机立即绑定

Spark SQL 到底怎么搭建起来

Spark SQL 到底怎么搭建起来

元芳怎么了 2018-10-29 00:00:07
Spark SQL 到底怎么搭建起来
查看完整描述

1 回答

?
肥皂起泡泡

TA贡献1829条经验 获得超6个赞

Spark on yarn已搭建好,开始使用SparkSql,做如下工作
1、将Hive-site.xml copy至$SPARK_HOME/conf目录,注意配置hive.metastore.uris、hive.metastore.client.socket.timeout
2、复制MySQL-connector-Java.jar 到$SPARK_HOME/lib目录
3、配置spark-env.sh
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/usr/lib/spark/lib/mysql-connector-java.jar:/usr/lib/hive/lib/*

export SPARK_CLASSPATH=$SPARK_CLASSPATH:/usr/lib/spark/lib/mysql-connector-java.jar:/usr/lib/hive/lib/*

4、开始使用
./bin/spark-sql --master yarn --num-executors 30 --executor-cores 4 --executor-memory 8g

./bin/spark-sql --master yarn --num-executors 30 --executor-cores 4 --executor-memory 8g

查看完整回答
反对 回复 2018-11-18
  • 1 回答
  • 0 关注
  • 641 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信