java.lang.IllegalArgumentException：

Question

我正在尝试在 EMR 集群上使用 Oozie 运行一个简单的 Java Spark 作业。该作业仅从输入路径获取文件，对其执行很少的基本操作并将结果放在不同的输出路径中。当我尝试使用 spark-submit 从命令行运行它时，如下所示，它工作正常：spark-submit --class com.someClassName --master yarn --deploy-mode cluster /home/hadoop/some-local-path/my-jar-file.jar yarn s3n://input-path s3n://output-path然后我在 Oozie 工作流程中设置了相同的东西。但是，当从那里运行时，作业总是失败。标准输出日志包含这一行：Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], main() threw exception, Attempt to add (hdfs://[emr-cluster]:8020/user/oozie/workflows/[WF-Name]/lib/[my-jar-file].jar) multiple times to the distributed cache.java.lang.IllegalArgumentException: Attempt to add (hdfs://[emr-cluster]:8020/user/oozie/workflows/[WF-Name]/lib/[my-jar-file].jar) multiple times to the distributed cache.我在 StackOverflow 上找到了一个知识库注释和另一个问题，它处理了类似的错误。但对他们来说，由于内部 JAR 文件（而不是用户传递运行的文件）而导致作业失败。尽管如此，我还是尝试了它的解决步骤来删除 share-lib 中 spark 和 oozie 之间常见的 jar 文件，并最终从“ /user/oozie/share/lib/lib_*/spark ”中删除了一些文件。不幸的是，这也没有解决问题。关于如何调试此问题的任何想法？

Answer 1

所以我们终于弄清楚了这个问题——至少在我们的例子中是这样。

使用 Hue 创建工作流时，添加 Spark 操作时，默认情况下会提示输入“文件”和“Jar/py 名称”。我们分别在这些字段中提供了我们想要运行的 JAR 文件的路径和该 JAR 文件的名称，它创建了如下所示的基本操作： 

它创建的最终 XML 如下所示：

<action name="spark-210e">

    <spark xmlns="uri:oozie:spark-action:0.2">

        <job-tracker>${jobTracker}</job-tracker>

        <name-node>${nameNode}</name-node>

        <master>yarn</master>

        <mode>cluster</mode>

        <name>CleanseData</name>

          <class>com.data.CleanseData</class>

        <jar>JCleanseData.jar</jar>

          <spark-opts>--driver-memory 2G --executor-memory 2G --num-executors 10 --files hive-site.xml</spark-opts>

          <arg>yarn</arg>

          <arg>[someArg1]</arg>

          <arg>[someArg2]</arg>

        <file>lib/JCleanseData.jar#JCleanseData.jar</file>        

    </spark>

    <ok to="[nextAction]"/>

    <error to="Kill"/>

</action>

在我们的案例中，其中的默认file标签导致了问题。

因此，我们删除了它并将定义编辑为如下所示并且有效。还要注意对<jar>标签的更改。

<action name="spark-210e">

    <spark xmlns="uri:oozie:spark-action:0.2">

        <job-tracker>${jobTracker}</job-tracker>

        <name-node>${nameNode}</name-node>

        <master>yarn</master>

        <mode>cluster</mode>

        <name>CleanseData</name>

          <class>com.data.CleanseData</class>

        <jar>hdfs://path/to/JCleanseData.jar</jar>

          <spark-opts>--driver-memory 2G --executor-memory 2G --num-executors 10 --files hive-site.xml</spark-opts>

          <arg>yarn</arg>

          <arg>[someArg1]</arg>

          <arg>[someArg1]</arg>

    </spark>

    <ok to="[nextAction]"/>

    <error to="Kill"/>

</action>

PS：我们对 Hive 操作也有类似的问题。hive-site.xml我们应该通过 Hive 操作传递的文件——它创建了一个<job-xml>标签——也导致了问题。所以我们删除了它，它按预期工作。