为了账号安全,请及时绑定邮箱和手机立即绑定
首页 手记 Spark 通过 spark-submit 设置日志级别

Spark 通过 spark-submit 设置日志级别

2018.12.06 16:30 1843浏览

我的原创地址:https://dongkelun.com/2018/11/15/sparkSubmitLogLevel/

前言

Spark有多种方式设置日志级别,这次主要记录一下如何在spark-submit设置Spark的日志级别。

1、需求

因为Spark的日志级别默认为INFO(log4j.rootCategory=INFO, console),这样在运行程序的时候有很多我不需要的日志信息都打印出来了,看起来比较乱,比较烦,抓不住重点,而我只想把warn和error打印出来。
之前在测试环境或者在eclipse我是通过其他几种方式(下面会介绍)设置的,但是在生产环境下不允许我修改集群的配置文件(不是我负责~),而在代码里设置日志级别却不生效(原因还没找到),最后通过spark-submit里设置日志级别搞定的。

2、spark-submit 设置

spark-submit --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:log4j.properties"

其中log4j.properties为我将本地的日志文件,拷贝到执行spark-submit的机器上
参考:https://blog.csdn.net/xueba207/article/details/50436684

3、其他几种设置方法

3.1 修改集群的配置文件

cd $SPARK_HOME/conf 
cp log4j.properties.template log4j.properties
vim log4j.properties

将log4j.rootCategory=INFO, console改为log4j.rootCategory=WARN, console

3.2 在Eclipse里设置

将log4j.properties放在项目的src/main/resources即可

  • Spark 默认日志文件:org/apache/spark/log4j-defaults.properties

3.3 代码里配置(未生效)

spark.sparkContext.setLogLevel("WARN")
  • 在代码里设置,不生效原因未知


    webp

    image

4、 总结

  • 1、如果在自己的测试集群上,直接修改$SPARK_HOME/conf下的log4j.properties即可

  • 2、如果在Eclipse里,将log4j.properties放在项目的src/main/resources即可

  • 3、如果在生产环境的集群,又不允许修改配置文件的话,用上面讲的spark-submit --conf 即可



作者:董可伦
链接:https://www.jianshu.com/p/0d50ee73319f


点击查看更多内容
0人点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
手记
粉丝
340
获赞与收藏
1306

关注TA,一起探索更多经验知识

同主题相似文章浏览排行榜

风间影月说签约讲师

51篇手记,涉及Java、MySQL、Redis、Spring等方向

进入讨论

Tony Bai 说签约讲师

151篇手记,涉及Go、C、Java、Python等方向

进入讨论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消