为了账号安全,请及时绑定邮箱和手机立即绑定

spark SQL和hive到底什么关系

/ 猿问

spark SQL和hive到底什么关系

慕娘9325324 2018-10-29 05:00:32

spark SQL和hive到底什么关系


查看完整描述

1 回答

?
吃鸡游戏

TA贡献1681条经验 获得超4个赞

Spark SQL解决了这两个问题。
第一,Spark SQL在Hive兼容层面仅依赖HQL parser、Hive Metastore和Hive SerDe。也就是说,从HQL被解析成抽象语法树(AST)起,就全部由Spark SQL接管了。执行计划生成和优化都由Catalyst负责。借助Scala的模式匹配等函数式语言特性,利用Catalyst开发执行计划优化策略比Hive要简洁得多。去年Spark summit上Catalyst的作者Michael Armbrust对Catalyst做了一个简要介绍:2013 | Spark Summit。
第二,相对于Shark,由于进一步削减了对Hive的依赖,Spark SQL不再需要自行维护打了patch的Hive分支。Shark后续将全面采用Spark SQL作为引擎,不仅仅是查询优化方面。

查看完整回答
反对 回复 2018-11-16
  • 1 回答
  • 0 关注
  • 2047 浏览
我要回答
慕课专栏
更多

添加回答

回复

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信