-
HIVE 可将SQL语句转化为hadoop的命令，降低hadoop使用的门槛查看全部
-
1.编写WordCount.java,包含Mapper类和Reducec类 2.编译WordCount.java,java -classpath #资料下载里面有 3.打包 jar -cvf WordCount.jar classes/* 4.作业提交 hadoop jar WordCount.jar WordCount input output 提交到hadoop中运行，指定输入文件 ，指定输出文件 演示： jps #查看是否运行 1.vim WordCount.java # 资料下载里面有 2.javac -classpath /opt/hadoop-1.2.1/hadoop-core-1.2.1.jar:/opt/hadoop-1.2.1/lib//commons-cli-1.2.jar -d word_count_class/ WordCount.java #word_count_class/WordCount.java为编译的路径和编译后的文件 cd word_count_class ls #查看编译后的文件 3.jar -cvf WordCount.jar *.class #打包 4.提交文件 hadoop fs -mkdir input_wordcount #创建文件夹 hadoop fs -put input/* input_wordcount/ #把input下的文件提交到 input_wordcount文件夹 hadoop fs -cat input_wordcount/file1 #查看 hadoop jar word_count_class/wordcount.jar WordCount input_wordcount output_wordcount #对jar包中的主函数WordCount 指定参数输入input_wordcount和输出output_wordcount hadoop fs -ls output_wordount #查看运行结果 hadoop fs cat output_wordcount/part-r-00000 #查看提交的结果查看全部
-
很多问题其实在JDK环境配置时就有了，并且很多情况就是JAVA_HOME路径错了查看全部
-
hadoop提供了shell命令对hdfs系统进行操作查看全部
-
hadoop安装及配置： 1.下载hdoop按照包并进行解压 2.配置hdoop-env.sh文件，目的是配置jdk，并在profile配置haddoop的安装位置 3.配置core-site.xml文件：hdoop的核心文件，里面有关于hdoop的节点端口与主机端口 4.配置hdfs-site.xml文件：hdoop的文件存储的基本信息与目录 5.配置mapred-site.xml文件：hadoop的计算节点的端口号 6.启动hadoop：start-all.sh 7.查看端口：jps,可以看到五大守护进程说明正确 8.停止hdoop：stop-all.sh查看全部
-
Linux 下下载安装JDK （centos） 1、下载 ： yum install java-1.7.0-openjdk 查看可升级下载的软件包 yum search java|grep jdk 2、配置环境变量： vim /etc/profile export JAVA_HOME=/jdk路径 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/lib:$JRE_HOME/lib:$PATH jdk 路径可以用locate 搜索一下 located 用之前要updatedb 一下更新数据 3、让配置生效 source /etc/profile 4、测试 java -version 用yum 好像不用配置环境变量也行。。。。不过我配置了。 谁知道准确的麻烦私信我一下。。。谢谢QAQ查看全部
-
mapred.site.xml <configuration> <property> <name>mapred.job.tracker</name> <value>imooc:9001</value> </property> </configuration>查看全部
-
<!-- core-site.xml --> <property> <name>hadoop.tmp.dir</name> <value>/hadoop</value> </property> <property> <name>dfs.name.dir</name> <value>/hadoop/name</value> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property>查看全部
-
设置环境变量查看全部
-
1.创建目录：hadoop fs -mkdir input 2.查看文件： hadoop fs -ls hadoop fs -ls input_wordcount 3.编译java文件 javac -classpath /opt/hadoop-1.2.1/hadoop-core-1.2.1.jar:/opt/hadoop-1.2.1/lib/commons-cli-1.2.jar -d 编译后地址 编译文件 4.打包指令 jar -cvf 打包后文件名.jar 某某.class 5.提交输入文件给hadoop hadoop fs -put 文件路径 提交后的路径 例：hadoop fs -put input/* input_wordcount/ 6.提交jar给hadoop执行 hadoop jar jar包路径 执行的主函数名(主类名，main方法所在类名) 输入目录名 输出目录名 例：hadoop jar word_count_class/wordcount.jar WordCount input_wordcount output_wordcount查看全部
-
下载hadoop： wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz core-site.xml -------------------------------------- <property> <name>hadoop.tmp.dir</name> <value>/hadoop</value> </property> <property> <name>dfs.name.dir</name> <value>/hadoop/name</value> </property> <property> <name>fs.default.name</name> <value>hdfs://imooc:9000</value> </property> </configuration> ~ ~ --INSERT-- hdfs-site.xml--------------------------------------------------------------- <property> <name>dfs.date.dir</name> <value>/hadoop/date</value> </property> mapred-site.xml--------------------------------------------------------------------- <configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>查看全部
-
vim /etc/profile 的时候一定要把Hadoop_home配置在path前面，不然变量拿不到，hadoop命令无效查看全部
-
HDFS写入文件的流程查看全部
-
HDFS读取文件流程查看全部
-
读写首先都是通过namenode查询查看全部
举报
0/150
提交
取消