为了账号安全,请及时绑定邮箱和手机立即绑定

Hbase 关联 hive 表

标签:
Hbase

Hbase 是可以支持实时查询的非关系行数据库,采用列存储的同时也是的直接查询的数据不太直观,对此,我们可以将之关联hive表,通过HQL大到查询Hbase的目的

Hbase 关联 hive 表有两种方式(通过建立hive管理表 和 外表的方式实现)

通过管理表

1、创建hive-hbase 管理表:

drop table tbl_hive_mange;

create table tbl_hive_mange

(key String,

dict_id String,

city_id String,

city_name String,

city_code String,

group_id String,

group_name String,

area_code String,

bureau_id String,

sort String,

bureau_name String)

row format delimited

fields terminated by '|'

STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

WITH SERDEPROPERTIES("hbase.columns.mapping" = ":key,

     info:dict_id,

     info:city_id,

     info:city_name,

     info:city_code,

     info:group_id,

     info:group_name,

     info:area_code,

     info:bureau_id,

     info:sort,

     info:bureau_name")

TBLPROPERTIES("hbase.table.name" = "tbl_hive_mange");

webp

创建hive-hbase 管理表

2、创建普通的 hive 管理表

drop table tbl_hive_mange_1;

create table tbl_hive_mange_1

(key String,

dict_id String,

city_id String,

city_name String,

city_code String,

group_id String,

group_name String,

area_code String,

bureau_id String,

sort String,

bureau_name String)

row format delimited

fields terminated by '|'

STORED AS TEXTFILE;

webp

创建普通的 hive 管理表

3、向 tbl_hive_mange_1 中添加数据

load data inpath 'hdfs:/ns1/user/hive/warehouse/xx.db/a...' into table tbl_hive_mange_1;

webp

向 tbl_hive_mange_1 中添加数据

4、将 tbl_hive_mange_1 的数据添加到 tbl_hive_mange

insert overwrite table tbl_hive_mange select * from tbl_hive_mange_1;

webp

将 tbl_hive_mange_1 的数据添加到 tbl_hive_mange

目前为止:

建立了一张Hbase的表:tbl_hive_mange

并关联了 hive 表:tbl_hive_mange

同时将hive表 tbl_hive_mange_1 的数据添加到了 tbl_hive_mange

可以通过hivev表:tbl_hive_mange查询Hbase表:tbl_hive_mange 数据

注:

a:建立hive-hbase 管理表 tbl_hive_mange 后不能直接通过load data 的方式添加数据

hive> load data inpath 'hdfs://ns1/user/hive/warehouse/xx.db/tbl_hive_test' into table tbl_hive_test;

FAILED: SemanticException [Error 10101]: A non-native table cannot be used as target for LOAD

webp

load data

b:通过 desc formatted tbl_hive_mange 可以看到在默认的hive数据存储路径下存在制定文件夹,但是却没有数据,表明这个数据是存在hbase下面的。

webp

desc formatted tbl_hive_mange

c:删除表操作

先删除hbase(disabled->drop)

hbase(main):003:0> disable 'tbl_hive_mange'

0 row(s) in 2.5610 seconds

hbase(main):004:0> drop 'tbl_hive_mange'

0 row(s) in 1.3140 seconds

webp

删除表操作

此时show tables 在hive里面能看到tbl_hive_mange 但是已经没有数据了,用show tables还能查出来。但是用select * from tbl_hive_mange 查询的时候报错

webp

show tables

此时mysql中TBLS还有hive表的信息,执行drop table  tbl_hive_mange 报错。

webp

drop table

继续show tables时,发现表已经不在了。TBLS里面也没有hive表信息了。

通过管理表


1、建立外部表(hive),关联存在hbase表

drop table tbl_hive_xternal;

create xternal table tbl_hive_xternal

(key String,

dict_id String,

city_id String,

city_name String,

city_code String,

group_id String,

group_name String,

area_code String,

bureau_id String,

sort String,

bureau_name String)

row format delimited

fields terminated by '|'

STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

WITH SERDEPROPERTIES("hbase.columns.mapping" = ":key,

     info:dict_id,

     info:city_id,

     info:city_name,

     info:city_code,

     info:group_id,

     info:group_name,

     info:area_code,

     info:bureau_id,

     info:sort,

     info:bureau_name")

TBLPROPERTIES("hbase.table.name" = "tbl_hive_xternal");

webp

建立外部表(hive),关联存在hbase表

2、创建普通的 hive 管理表

drop table tbl_hive_xternal_1;

create table tbl_hive_xternal_1

(key String,

dict_id String,

city_id String,

city_name String,

city_code String,

group_id String,

group_name String,

area_code String,

bureau_id String,

sort String,

bureau_name String)

row format delimited

fields terminated by '|'

STORED AS TEXTFILE;

webp

创建普通的 hive 管理表

3、向 tbl_hive_xternal_1 中添加数据

load data inpath 'hdfs:/ns1/user/hive/warehouse/xx.db/a...' into table tbl_hive_xternal_1;

webp

向 tbl_hive_xternal_1 中添加数据

4、将 tbl_hive_xternal_1 的数据添加到 tbl_hive_xternal

insert overwrite table tbl_hive_xternal select * from tbl_hive_xternal_1;

webp

将 tbl_hive_xternal_1 的数据添加到 tbl_hive_xternal

目前为止:

建立了 hive 外部表表: tbl_hive_xternal

同时将hive表 tbl_hive_xternal_1 的数据添加到了 tbl_hive_xternal

可以通过hivev表: tbl_hive_xternal 查询Hbase表: tbl_hive_xternal 数据


注:

a:使用外部表需要确保 hbase的表存在,同时在建立hive标的时候可以指定hbase中不存在的列

b:desc formatted tbl_hive_xternal可以看到存储文件的路径,但是真实的数据存储在hbase

c:删除操作:删除hive表对hbase操作没有影响; 但是删除hbase表后hive查询会报错(数据存hbase)



作者:lillcol
链接:https://www.jianshu.com/p/86ff9d7459b7


点击查看更多内容
TA 点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
  • 推荐
  • 评论
  • 收藏
  • 共同学习,写下你的评论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消