如何更改 spark master 的工作目录

Question

我有一个 sparksession，我目前是这样创建的：spark = SparkSession.builder.master("local").appName("myapp").getOrCreate()我想设置 spark master 的工作目录。它目前正在使用 /tmp，我想使用其他东西。我注意到有一个 config(..) 选项，我可以做类似的事情吗：spark = SparkSession.builder.master("local").appName("myapp").config("option", "value").getOrCreate()是否有某处可用的选项列表？应该以不同的方式完成吗？

Answer 1

您可以设置spark.local.dir为自定义文件夹或设置环境变量SPARK_LOCAL_DIRS。默认情况下，它使用/tmp

更多细节在这里https://spark.apache.org/docs/2.1.0/configuration.html#application-properties

Answer 2

我刚刚发现我可以设置环境变量SPARK_LOCAL_DIRS来做到这一点，但如果我能以编程方式做到这一点，我会更喜欢它。