为了账号安全,请及时绑定邮箱和手机立即绑定

spark-submit报错

标签:
Spark

原文标题:spark-submit报错:Exception in thread "main" java.sql.SQLException:No suitable driver

转载请务必注明原创地址为:http://dongkelun.com/2018/05/06/sparkSubmitException/

前言

最近写了一个用spark连接oracle,然后将mysql所有的表保存到hive中的程序,在本地eclipse里运行没有问题,想在集群上跑一下,看看在集群上性能如何,但是用spark-submit 提交程序时抛出一个异常Exception in thread "main" java.sql.SQLException: No suitable driver,一开始以为spark-submit提交时找不到oracle 驱动jar,折腾了半天才发现是代码问题。

1、猜测是否是缺失oracle驱动

由于在本地没有问题,所以不会想到是代码问题,根据提示想到的是spark-submit找不到oracle驱动,因为maven或sbt仓库里没有oracle驱动,在本地跑的时候,是将oracle驱动下载到本地,然后在eclipse设置build path就可以了。

但是我在spark-submit 里已经通过--jars 加载oracle驱动了:

spark-submit --class com.dkl.leanring.spark.sql.Oracle2HiveDemo --jars ojdbc5-11.2.0.3.jar spark-scala_2.11-1.0.jar

开始以为自己用法不对,但是上网搜了一下,发现就是这么用的~
然后尝试用--driver-class-path、--driver-library-path等都没成功。

2、sbt-assembly打包

网上查的sbt-assembly打包可以将所有依赖的jar包包括你写的代码全部打包在一起,于是尝试了一下
首先在项目目录中project/plugins.sbt添加

addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.14.5")
resolvers += Resolver.url("bintray-sbt-plugins", url("http://dl.bintray.com/sbt/sbt-plugin-releases"))(Resolver.ivyStylePatterns)

其中0.14.5为版本号,需要与自己sbt对应上,否则报错,可在http://dl.bintray.com/sbt/sbt-plugin-releases/com.eed3si9n/sbt-assembly/查看版本
然后在项目对应目录下执行sbt,然后输入plugins,即可看到sbtassembly插件了,如下:

$ sbt
[info] Loading settings from plugins.sbt ...
[info] Loading global plugins from C:\Users\14123\.sbt\1.0\plugins
[info] Loading settings from assembly.sbt,plugins.sbt ...
[info] Loading project definition from D:\workspace\spark-scala\project
[info] Loading settings from spark-scala.sbt ...
[info] Set current project to spark-scala (in build file:/D:/workspace/spark-scala/)
[info] sbt server started at local:sbt-server-8b6c904d40b181717b3f
sbt:spark-scala> plugins
In file:/D:/workspace/spark-scala/
        sbt.plugins.IvyPlugin: enabled in spark-scala
        sbt.plugins.JvmPlugin: enabled in spark-scala
        sbt.plugins.CorePlugin: enabled in spark-scala
        sbt.plugins.JUnitXmlReportPlugin: enabled in spark-scala
        sbt.plugins.Giter8TemplatePlugin: enabled in spark-scala
        com.typesafe.sbteclipse.plugin.EclipsePlugin: enabled in spark-scala
        sbtassembly.AssemblyPlugin: enabled in spark-scala
sbt:spark-scala>

但是这样执行sbt-assembly打包会报错,需要解决jar包冲突(deduplicate)问题
在项目的bulid.sbt里添加如下即可(只是其中一种解决策略,可根据自己项目实际情况自己设定)

assemblyMergeStrategy in assembly := {    case m if m.toLowerCase.endsWith("manifest.mf") => MergeStrategy.discard    case m if m.startsWith("META-INF") => MergeStrategy.discard    case PathList("javax", "servlet", xs @ _*) => MergeStrategy.first    case PathList("org", "apache", xs @ _*) => MergeStrategy.first    case PathList("org", "jboss", xs @ _*) => MergeStrategy.first    case "about.html"  => MergeStrategy.rename    case "reference.conf" => MergeStrategy.concat    case _ => MergeStrategy.first
}

其中不同旧版本和新版本sbt写法不一样,具体可上网看一下别人的博客或者在官网查看。

这样就可以sbt-assembly进行打包了,发现这样打的jar包确实很大,用sbt package打的jar包大小1.48MB,sbt-assembly打的jar包大小194MB,将spark-scala-assembly-1.0.jar上传到服务器,然后执行submit,发现还是报同样的错,查看一下sbt-assembly日志,发现确实将oracle驱动加载上了~

3、真正原因

这样就猜想不是缺少oracle驱动,于是上网查了好多,偶然发现可能是代码问题,下面是我写的从oracle取数的部分代码

val allTablesDF = spark.read
  .format("jdbc")
  .option("url", "jdbc:oracle:thin:@192.168.44.128:1521:orcl")
  .option("dbtable", "(select table_name,owner from all_tables where  owner  in('BIGDATA'))a")
  .option("user", "bigdata")
  .option("password", "bigdata")
  .load()

写法和我之前写的spark连接mysql的博客里的写法是一样的:Spark Sql 连接mysql
这样写在eclipse运行是没问题的,但是在spark-submit提交时是不行的,需要加上驱动信息

.option("driver", "oracle.jdbc.driver.OracleDriver")

重新打包,再运行,发现果然没问题

4、总结

4.1

其实在用spark提交之前写的spark连接mysql的程序也会报统一的错(如果$SPARK_HOME/jars没有mysql驱动),和oracle驱动不在sbt仓库里没关系。
但是之前在spark-shell里测试spark连接hive时已经将mysql驱动拷贝过去了,所以mysql没有报错

4.2

在代码里加上driver之后再提交如果没有oracle驱动会报不同的错

Exception in thread "main" java.lang.ClassNotFoundException: oracle.jdbc.driver.OracleDriver

4.3

通过--jars指定jar和sbt assembly打包都可以,看自己习惯,但通过--jars需要注意先后顺序
正确:

spark-submit --class com.dkl.leanring.spark.sql.Oracle2HiveDemo --jars ojdbc5-11.2.0.3.jar spark-scala_2.11-1.0.jar 
spark-submit --jars ojdbc5-11.2.0.3.jar --class com.dkl.leanring.spark.sql.Oracle2HiveDemo  spark-scala_2.11-1.0.jar

错误:

spark-submit --class com.dkl.leanring.spark.sql.Oracle2HiveDemo  spark-scala_2.11-1.0.jar --jars ojdbc5-11.2.0.3.jar
spark-submit --jars ojdbc5-11.2.0.3.jar spark-scala_2.11-1.0.jar --class com.dkl.leanring.spark.sql.Oracle2HiveDemo 
...

也就是通过sbt package和sbt assembly生成的项目jar包一定要放在最后面

4.4

通过--driver-class-path也可以实现加载额外的jar

spark-submit --class com.dkl.leanring.spark.sql.Oracle2HiveDemo --driver-class-path lib/*  spark-scala_2.11-1.0.jar

4.5

将oracle驱动拷贝到$SPARK_HOME/jars,就可以不在代码里指定driver选项了,而且也不用通过--jars添加oracle驱动,一劳永逸.

cp ojdbc5-11.2.0.3.jar $SPARK_HOME/jars
spark-submit --class com.dkl.leanring.spark.sql.Oracle2HiveDemo  spark-scala_2.11-1.0.jar

具体这样设置可根据实际情况和偏好习惯使用。

附完整代码(测试用)

比较简单就不加注释~

package com.dkl.leanring.spark.sqlimport org.apache.spark.sql.SparkSessionobject Oracle2HiveDemo {  def main(args: Array[String]): Unit = {    val spark = SparkSession
      .builder()
      .appName("Oracle2HiveDemo")
      .master("local")
      .enableHiveSupport()
      .getOrCreate()    val allTablesDF = spark.read
      .format("jdbc")
      .option("url", "jdbc:oracle:thin:@192.168.44.128:1521:orcl")
      .option("dbtable", "(select table_name,owner from all_tables where  owner  in('BIGDATA'))a")
      .option("user", "bigdata")
      .option("password", "bigdata")
      .option("driver", "oracle.jdbc.driver.OracleDriver")
      .load()    import spark.implicits._    import spark.sql
    sql("use oracle_test")
    allTablesDF.rdd.collect().foreach(row => {      val tableName: String = row(0).toString()      val dataBase: String = row(1).toString()

      println(dataBase + "." + tableName)      val df = spark.read
        .format("jdbc")
        .option("url", "jdbc:oracle:thin:@192.168.44.128:1521:orcl")
        .option("dbtable", dataBase + "." + tableName)
        .option("user", "bigdata")
        .option("password", "bigdata")
        .option("driver", "oracle.jdbc.driver.OracleDriver")
        .load()
      df.write.mode("overwrite").saveAsTable(tableName)

    })

    spark.stop

  }
}



作者:董可伦
链接:https://www.jianshu.com/p/b7d92046d0bc


点击查看更多内容
TA 点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
  • 推荐
  • 评论
  • 收藏
  • 共同学习,写下你的评论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消