如何在IPython Notebook中加载jar依赖项

Question

如何在IPython Notebook中加载jar依赖项这个页面鼓励我尝试使用spark-csv在PySpark中读取.csv文件我发现了一些帖子，比如这个描述如何使用spark-csv但我无法通过在启动时包含.jar文件或包扩展来初始化ipython实例，这可以通过spark-shell完成。也就是说，而不是ipython notebook --profile=pyspark我试过了ipython notebook --profile=pyspark --packages com.databricks:spark-csv_2.10:1.0.3但它不受支持。请指教。

Answer 1

您可以简单地将其传递给PYSPARK_SUBMIT_ARGS变量。例如：

export PACKAGES="com.databricks:spark-csv_2.11:1.3.0"export PYSPARK_SUBMIT_ARGS="--packages ${PACKAGES} pyspark-shell"

在SparkContext/ SparkSession和相应的JVM启动之前，还可以在代码中动态设置这些属性：

packages = "com.databricks:spark-csv_2.11:1.3.0"os.environ["PYSPARK_SUBMIT_ARGS"] = (
    "--packages {0} pyspark-shell".format(packages))