-
hadoop fs -mkdir input查看全部
-
hadoop fs -put hadoop-env.sh input/查看全部
-
shell接口。 hadoop namenode -format hadoop fs -ls /查看全部
-
心跳检测:DataNode定期向NameNode发送心跳消息查看全部
-
<property> <name>hadoop.tmp.dir</name> <value>/hadoop</value> </property> <property> <name>dfs.name.dir</name> <value>/hadoop/name</value> </property> <property> <name>fs.default.name</name> <value>hdfs://imooc:9000</value> </property>查看全部
-
zookeeper 监控 维护工具。。查看全部
-
Hasdoop查看全部
-
http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz查看全部
-
存储与分析查看全部
-
hadoop的功能和优势:
Hadoop是什么:是一个开源的、分布式存储和分布式计算平台;
两个核心组件:
1.HDFS,分布式文件系统,存储海量数据
2.MapReduce,并行处理框架,实现任务分解和调度
Hadoopk可以做什么?
搭建大型数据仓库,PB级数据的存储、处理、分析、统计等业务。
hadoop的优势:
1.高扩展,理论上无限扩展
2.低成本
3.成熟的生态圈
查看全部 -
hdfs读取数据流程:
读取:
1、客户端想namenode请求
2、namenode返回元数据(数据包含哪些块,以及这些块的位置等等)
3、读数据数据块并组装
查看全部 -
hdfs写入:
1、客户端拆分文件
2、客户端请求namenode,namenode返回可以用的datanode
3、写入数据块到datanode
4、复制数据库
5、更新元数据到namenode
查看全部 -
mapreduce容错机制:
1、重复执行,因为job问题,硬件问题,数据问题等等一起任务异常,导致 重试,默认重复4次失败就会放弃执行
2、所有的map任务执行完成才继续执行reduce任务,如果某一个节点计算特别慢,就新起一个节点和这个慢节点做相同的计算任务,只要其中一个完成即可
查看全部 -
hdfs写入:
1、客户端拆分文件
2、客户端请求namenode,namenode返回可以用的datanode
3、写入数据块到datanode
4、复制数据库
5、更新元数据到namenode
查看全部 -
hdfs读取数据流程:
读取:
1、客户端想namenode请求
2、namenode返回元数据(数据包含哪些块,以及这些块的位置等等)
3、读数据数据块并组装
查看全部
举报