java.lang.IllegalArgumentException at org.apache

Question

每当我试图收集我的RDD时，我就开始得到以下错误，这是在我安装了Java10.1之后发生的，所以我当然取出它并重新安装它，同样的错误。然后，我安装了同样的错误Java9.04。然后，我取出python 2.7.14、ApacheSequence 2.3.0和Hadoop2.7，同样的错误。有没有人有其他原因让我继续犯错误？>>> from operator import add>>> from pyspark import SparkConf, SparkContext>>> import string>>> import sys>>> import re>>>>>>  sc = SparkContext(appName="NEW")2018-04-21 22:28:45 WARN  Utils:66 - Service 'SparkUI' could not bind on port 4040. Attempting port 4041. >>> rdd = sc.parallelize(xrange(1,10))>>> new =rdd.collect()Traceback (most recent call last):   File "<stdin>", line 1, in <module>   File "C:\spark\spark-2.3.0-bin-hadoop2.7\python\pyspark\rdd.py", line 824, in collect     port = self.ctx._jvm.PythonRDD.collectAndServe(self._jrdd.rdd())   File "C:\spark\spark-2.3.0-bin-hadoop2.7\python\lib\py4j-0.10.6-src.zip\py4j\java_gateway.py", line 1160, in __call__  File "C:\spark\s   park-2.3.0-bin-hadoop2.7\python\pyspark\sql\utils.py", line 63, in deco    return f(*a, **kw)   File "C:\spark\spark-2.3.0-bin-hadoop2.7\python\lib\py4j-0.10.6-src.zip\py4j\protocol.py", line 320, in get_return_value py4j.protocol.Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe.: java.lang.Ill egalArgumentException         at org.apache.xbean.asm5.ClassReader.<init>(Unknown Source)         at org.apache.xbean.asm5.ClassReader.<init>(Unknown Source)         at org.apache.xbean.asm5.ClassReader.<init>(Unknown Source)         at org.apache.spark.util.ClosureCleaner$.getClassReader(ClosureCleaner.scala:46)         at org.apache.spark.util.FieldAccessFinder$$anon$3$$anonfun$visitMethodInsn$2.apply(ClosureCleaner.scala:449)

Answer 1

有没有人有其他原因让我继续犯错误？

当前的ApacheSPark版本不支持Java 9或更高版本。对这些(或更高版本)的支持计划在3.0版本发布。

目前，要运行SPark，您必须使用JDK 8。

资料来源：

• ApacheSpark3.0的时间到了？

• 星星之火-24417在JDK 11上构建并运行星火

Answer 2

这个问题可以通过将Java更新到版本8并修改为JDK 8来解决。

• JAVA JDK：JDK-8u92-windows-x64
• Java版本1.8.0_181

以上内容供您参考。