-
MapReduce的容错机制
重复执行（至多重复执行四次）
推测执行（若一方计算速度较慢，则新开一台机器进行相同计算，两者之间择优选择）
查看全部 -
JobTracker的角色
作业调度
分配任务、监控任务执行进度
监控TaskTracker的状态
TaskTracker的角色
执行任务
向JobTracker汇报任务进度
MapReduce作业执行过程
查看全部 -
Hadoop MapReduce体系结构
查看全部 -
MapReduce的原理
1.一个大任务分成多个小的子任务（map），并行执行后，合并结果（reduce）
2.使用过程
查看全部 -
HDFS中写入文件的流程
查看全部 -
HDFS读取文件的流程
查看全部 -
二级NameNode
二级NameNode定期同步元数据映像文件和修改文件，NameNode发生故障时，备胎转正
查看全部 -
心跳检测
DataNode定期向NameNode发送心跳信息
心跳机制是定时发送一个自定义的结构体(心跳包)，让对方知道自己还活着，以确保连接的有效性的机制。
查看全部 -
数据块副本（数据容错）
每个数据块有三个副本，分布在两个机架内的三个节点
其中有两个副本在同一机架内
查看全部 -
hadoop fs -ls
hadoop fs -rm
hadoop fs -put
hadoop fs -mkdir
hadoop fs -get
查看全部 -
HDFS读取文件的流程
查看全部 -
HDFS写入文件的流程
查看全部 -
HDFS的文件被分成块进行存储
HDFS块的默认大小是64MB
块是文件存储处理的逻辑单元
查看全部 -
源码
https://github.com/Y1ran/Hadoop-MapReduce
查看全部 -
mkdir examples //生成一个examples目录
cd examples //进入examples文件路径
mkdir word_count //生成word_count目录
cd word_count //进入word_count目录
mkdir input //用于存放提交的作业
mkdir word_count_class //用于存放编译好的类
vim WordCount.java // 编写好java程序后保存，资料下载里面有
javac -classpath /opt/hadoop-1.2.1/hadoop-core-1.2.1.jar:/opt/hadoop-1.2.1/lib/commons-cli-1.2.jar -d word_count_class/ WordCount.java //因为编译WordCount.java过程需要引用hadoop封装类，所以需要引用
jar -cvf wordcount.jar *.class //将当前目录下的所有class都打包进wordcount.jar文件中
cd .. //返回上级word_count目录
cd input
vim file1 //编辑好file1 之后保存 ，file1里面为需要提交的作业
vim file2 // 类似
cd .. //返回到word_count目录
hadoop fs -mkdir input_wordcount //创建一个hadoop 目录，用于存放提交的作业
hadoop fs -put input/* input_wordcount //将本地的作业提交到input_wordcount目录中
hadoop fs -ls input_wordcount //查看文件是否在该目录下
hadoop jar word_count_class/wordcount.jar WordCount input_wordcount output_wordcount //提交jvm运行的jar，同时提交运行的主类，input..和out..分别用于保存提交的作业和运行结束的作业
....
....
....
等待程序运行， ok
查看全部
举报