为了账号安全,请及时绑定邮箱和手机立即绑定

如何查看Spark的历史运行情况

/ 猿问

如何查看Spark的历史运行情况

烙印99 2019-03-01 07:02:03

如何查看Spark的历史运行情况


查看完整描述

1 回答

?
Cats萌萌

平时当Spark程序运行时,通过在浏览器当中输入 spark-master-ip:4040 查看Spark运行的情况和信息,但是当程序运行结束时,4040页面就打不开了。
原来可以通过设置配置文件,查看历史运行情况。
1、 打开Spark conf目录下的spark-defaults.conf文件
2、在其中配置如下信息:
spark.eventLog.enabled true
spark.eventLog.dir hdfs://spark-master:9000/hadoop/spark/sparklogs
spark.yarn.historyServer.address spark-master:18080123123

3、然后进入spark sbin目录下启动HistoryServer:
./start-history-server.sh hdfs://spark-master:9000/hadoop/spark/sparklogs11

注意:
(1)、 一定要加上目录
(2)、事先要将该目录先建好
4、通过以上步骤后,我们就可以打开 spark-master-ip:18080 查看历史运行过的程序了。

查看完整回答
反对 回复 2019-03-08

添加回答

回复

举报

0/150
提交
取消
意见反馈 邀请有奖 帮助中心 APP下载
官方微信