-
数据模型：星形模型，雪花模型
查看全部 -
OLTP：连接事务处理，如银行转账，必须扣钱和加钱必须同时失败或成功。
OLAP：连接分析处理，基于历史数据，如商品推荐系统，不会对里边的数据做插入删除更新的操作。
查看全部 -
数据仓库只负责查询，且数据不随时间而变化
查看全部 -
创建内部表
查看全部 -
时间类型。
查看全部 -
复杂数据类型
查看全部 -
基本数据类型
查看全部 -
web界面
查看全部 -
静默模式 hive -S 不产生mapreduce的调试信息，直接输出最后的结果
查看全部 -
hive 查询单个字段会转化成mapreduce任务，但是执行select × from table不会转换成mapreduce任务
查看全部 -
CLI命令
查看全部 -
常用的CLI命令
进入ClI：输入hive
查看全部 -
嵌入模式 元数据存放在derby
本地模式 元数据存放在本地mysql
远程模式 元数据存放在远程mysql
查看全部 -
Hive的体系结构
查看全部 -
Hive的体系结构
查看全部 -
HQL的解析和执行过程
查看全部 -
Hive的元数据
查看全部 -
数据的主题。概念查看全部
-
hive桶表(Bucket Table)
--桶表是对数据进行哈希取值，然后放到不同文件中存储
create table bucket_table (sid int,sanme string, age int) clustered by (sname) into 5 buckets;--根据sname字段进行 哈希运算后放入5个桶中
查看全部 -
hive的外部表(External Table)
create external table external_student (sid int,sname string,age int) row format delimited fields terminated by ',' location '/input';
查看全部 -
hive分区表
create table partition_table (sid int,sname string) partitioned by (gender string)--分区字段为gender row format delimited fields terminated by ',';--字段分割符为逗号 --插入数据 insert into table partition_table partition(gender="M") select sid,sname from sample_date where gender='M'; insert into table partition_table partition(gender="F") select sid,sname from sample_date where gender='F'; --查询计划 hive> explain select * from sample_date where gender='M';
查看全部 -
hive创建内部表
create table t1
(tid int， tname string，age int)
location '/mytable/hive/t1' --location指定表存放路径
row format delimited fields terminated by ',' ;--列直接的分隔符逗号
create table t2
row format delimited fields terminated by ',' ;--列直接的分隔符逗号
as
select * from sample_data;
查看全部 -
hive远程服务启动
通过远程连接hive时hive的远程服务必须启动
端口：10000
启动方式：#hive --service hiveserver &
查看全部 -
hive web界面方式
端口 9999
启动方式：#hive --service hwi &
通过浏览器访问：http://ip地址:9999/hwi/
/conf/hive-site.xml文件中添加如下配置
<property>
<name>hive.hwi.listen.host</name>
<value>0.0.0.0</value>
<description>This is the host address the Hive Web Interface will listen on</description>
</property>
<property>
<name>hive.hwi.listen.port</name>
<value>9999</value>
<description>This is the port the Hive Web Interface will listen on</description>
</property>
<property>
<name>hive.hwi.war.file</name>
<value>${HIVE_HOME}/lib/hive-hwi-<version>.war</value>
<description>This is the WAR file with the jsp content for Hive Web Interface</description>
</property>
参考链接地址：
https://cwiki.apache.org/confluence/display/Hive/HiveWebInterface
查看全部 -
hive常用cli命令
查看数据仓库中的表
show tables；
查看数据仓库中内置的函数
show functions；
清屏命令
！clear；
查看表结构
desc 表名
查看hdfs上的文件
dfs -ls 目录
dfs -lsr /user 递归模式下显示/user目录及子目录
执行操作系统的命令
！命令
执行某个目录下的sql文件
hive>source /root/my.sql
进入hive命令行静默模式，静默模式不产生MapReduce的调试信息，直接输出结果
#hive -S
在操作系统命令行下执行命令
#hive -e 'show tables';
#hive -e 'select * from test1';
#hive -S -e 'select * from test1';
查看全部 -
hive远程元数据库配置
将mysql的jdbc的jar上传到hive的lib目录下
conf目录下配置hive-site.xml文件
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.56.101:3306/hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>password</value>
</property>
</configuration>
参考配置属性地址：
3.元数据中
tbls存储数据表信息
columns_v2存储数据字段信息
查看全部
举报