为了账号安全,请及时绑定邮箱和手机立即绑定
学习了,很好的视频
使用Oracle作为元数据的数据库时,Oracle只能有一个LongVarchar,所以建表会报错,Hive给出的建议是修改hive-metastore-0.13.0.jar中的package.jdo文件。
将VIEW_ORIGINAL_TEXT、VIEW_EXPANDED_TEXT的jdbc-type改为CLOB
如果使用Oracle作为元数据的数据库:
hive-site.xml改为:
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:oracle:thin:@IP:Port/Service_Name</value>
</property>

<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>oracle.jdbc.driver.OracleDriver</value>
</property>
我的hive启动之后只创建了14张表,没有TBLS表
外部表指向已经在 HDFS 中存在数据的文件,可以创建 Partition。它和内部表在元数据的组织上是相同的,而数据的存储则有较大的差异。

内部表的创建过程和数据加载过程(这两个过程可以在同一个语句中完成),在加载数据的过程中,实际数据会被移动到数据仓库目录中;之后对数据的访问将会直接在数据仓库目录中完成。删除表时,表中的数据和元数据将会被同时删除。

而外部表只有一个过程,加载数据和创建表同时完成,实际数据是存储在 LOCATION 后面指定的 HDFS 路径中,实际数并不会移动到数据仓库目录中。

当删除一个外部表时,仅删除元数据,表中的数据不会真正被删除。
常见的 Hive CLI 命令:
- 清屏:Ctrl + L 或者 !clear;
- 查看数据仓库中的数据库:show databases;
- 查看数据仓库中的表:show tables;
- 查看表结构:`desc tb_name;`或`describe tb_name;`
- 查看建表语句:`show create table tb_name;`
- 查看数据仓库中的内置函数:`show functions;`
- 查看 HDFS 上的文件:`dfs -ls hdfs_dir;`
- 执行 Linux 操作系统的命令:`!命令;`
- 执行 SQL 脚本:`source SQL文件`
Hive 依赖于 JDK 和 Hadoop,所以需要提前安装好 JDK 和 Hadoop 环境。
Hive 中的数据存储在 Hadoop HDFS 中,Hive 中的表和数据其实就是 HDFS 中的目录和文件:
- 在 Hive 中创建一张表就会自动在 HDFS 中创建一个文件夹
- 在该表中保存数据也就相当于在这个文件夹下面存储文件。
- 可以在 hive-site.xml 中指定数据仓库的目录:hive.metastore.warehouse.dir
hive已经安装了,以及xml配置好了,但是运行hive,mysql里没有创建表,
原因
之前初始化保存元数据的默认数据库为derby
现在运行初始化Hive在mysql里的脚本 $HIVE_HOME/scripts

schematool -initSchema -dbType mysql
https://cdn.mysql.com//Downloads/Connector-J/mysql-connector-java-8.0.11.tar.gz
<?xml version="1.0" ?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://127.0.0.1:3306/hive</value>
</property>
https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin
清华的员
https://mirrors.tuna.tsinghua.edu.cn/apache/hive
课程须知
1、熟练掌握Hadoop的体系结构,尤其是HDFS 2、熟悉Java编程 3、了解Linux的基本操作
老师告诉你能学到什么?
1、数据仓库简介 2、Hive是什么? 3、Hive的体系结构 4、Hive的安装与管理 5、Hive的数据类型 6、Hive的数据模型

微信扫码,参与3人拼团

意见反馈 帮助中心 APP下载
官方微信
友情提示:

您好,此课程属于迁移课程,您已购买该课程,无需重复购买,感谢您对慕课网的支持!

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

举报

0/150
提交
取消