为了账号安全,请及时绑定邮箱和手机立即绑定

在Apache Spark 2.0.0中,是否可以从外部数据库中获取查询(而不是获取整个表)?

在Apache Spark 2.0.0中,是否可以从外部数据库中获取查询(而不是获取整个表)?

红颜莎娜 2019-11-20 14:34:36
使用pyspark:from pyspark.sql import SparkSessionspark = SparkSession\    .builder\    .appName("spark play")\    .getOrCreate()    df = spark.read\    .format("jdbc")\    .option("url", "jdbc:mysql://localhost:port")\    .option("dbtable", "schema.tablename")\    .option("user", "username")\    .option("password", "password")\    .load()与其获取“ schema.tablename”,不如获取一个查询的结果集。
查看完整描述

2 回答

?
缥缈止盈

TA贡献2041条经验 获得超4个赞

与1.x中的相同,您可以传递有效的子查询作为dbtable参数,例如:


...

.option("dbtable", "(SELECT foo, bar FROM schema.tablename) AS tmp")

...


查看完整回答
反对 回复 2019-11-20
  • 2 回答
  • 0 关注
  • 474 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信