-
将代码打包;
把输入文件put到hadoop下面
使用hadoop jar运行jar包
查看全部 -
map reduce查看全部
-
编写WordCount.java,包含Mapper类和Reducec类 2.编译WordCount.java,java -classpath #资料下载里面有 3.打包 jar -cvf WordCount.jar classes/* 4.作业提交 hadoop jar WordCount.jar WordCount input output 提交到hadoop中运行,指定输入文件 ,指定输出文件
javac -classpath /opt/hadoop-1.2.1/hadoop-core-1.2.1.jar:/opt/hadoop-1.2.1/lib/commons-cli-1.2.jar -d 编译后地址 编译文件
查看全部 -
1.编写WordCount.java,包含Mapper类和Reducec类 2.编译WordCount.java,java -classpath #资料下载里面有 3.打包 jar -cvf WordCount.jar classes/* 4.作业提交 hadoop jar WordCount.jar WordCount input output 提交到hadoop中运行,指定输入文件 ,指定输出文件
查看全部 -
MapReduce容错机制
1、重复执行(尝试4次不成功就放弃)
2、推测执行(有任意一个tasktracker执行慢,重新再找一个tasktracker执行,新、旧只要有一个完成,则终止未完成的tasktracker)
查看全部 -
MapReduce作业执行过程
查看全部 -
TaskTracker角色职能
查看全部 -
JobTracker角色职能
查看全部 -
MapReduce真谛
查看全部 -
适用性
查看全部 -
局限性
查看全部 -
HDFS特点: 1. 数据冗余,硬件容错 2. 流式的数据存储。 一次写入,多次读取 3。 存储大文件 局限性: 适合数据批量读写,吞吐量高;不适合交互式应用,低延迟很难满足。 --适合一次写入、多次读取,顺序读写;不支持多用户并发写相同文件。
查看全部 -
HDFS写文件流程
查看全部 -
HDFS文件读取流程
查看全部 -
二级NameNode保证NameNode高可用
查看全部
举报