为了账号安全,请及时绑定邮箱和手机立即绑定

如何将带有格式的文本导入hbase

/ 猿问

如何将带有格式的文本导入hbase

斯蒂芬大帝 2018-10-02 09:09:26
查看完整描述

1 回答

?
www说

1.在hbase中创建一个表
例如:create 'test','info'
2.配置环境
在hadoop的安装目录下找到hadoop.env.sh配置文件,将一文件加入到此配置文件中
(export HBASE_HOME=/usr/hbase
export HADOOP_CLASSPATH=$HBASE_HOME/hbase-0.94.12.jar:$HBASE_HOME/hbase-0.94.12-test.jar:$HBASE_HOME/conf:${HBASE_HOME}/lib/zookeeper-3.4.5.jar:${HBASE_HOME}/lib/guava-11.0.2.jar)
以上的配置文件可以不用配置,一但配置在启动hive时就会出错,需要另加配置。
然后拷贝jar包
将hbase的hbase-0.91.12.jar拷贝到haddoop的lib下,将hbase-0.94.12.tests.jar copy到hadoop的lib下
将hbase的配置文件hbase-site.xml文件拷贝到hadoop的conf下
3.重新启动hadoop
4.将所需要的文件上传到hdfs上,我用的eclipse上传的,大家也可以用hadoop fs -put test3.dat /application/logAnalyse/test/
5.在你安装的hbase的lib目录下执行一下的命令
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv - Dimporttsv.columns=info:userid,HBASE_ROW_KEY,info:netid test2 /application/logAnalyse/test/test3.dat
或是
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv - Dimporttsv.columns=HBASE_ROW_KEY,cf:c1,cf:c2 -Dimporttsv.separator=, test2 /application/logAnalyse/test/test3.txt
这样你去hbase执行scan 'test2'几可以看到已经有数据了

查看完整回答
反对 回复 2018-10-26

添加回答

回复

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信