-
hadoop包括两个核心组件：
HDFS:分布式文件系统。存储海量数据
MapReduce：并行处理框架，实现任务分解和调度
查看全部 -
查看全部 -
查看全部 -
datanode定期向namenode发送心跳消息
查看全部 -
namenode是管理节点，存放文件元数据
datanode是hdfs的工作节点，存放数据块
查看全部 -
配置文件
1.hadoop-env.sh 外部环境
修改JAVA_HOME
2.core-site.xml 工作目录
hadoop.tmp.dir dfs.name.dir fs.default.name
3.hdfs-site.xml 数据存放目录
dfs.data.dir
4.mapred-site.xml 任务调度器
mapred.job.tracker
5./etc/proifle 配置环境变量
HADOOP_HOME PATH查看全部 -
hadoop生态
查看全部 -
hadoop生态tu
查看全部 -
书籍推荐
查看全部 -
Hive: 使用SQL语句查询Hadoop数据
HBase: 存储结构化数据的分布式数据库(放弃了事务）
Zookeeper: 监控节点状态，维护节点配置，保持节点间的一致性查看全部 -
查看全部 -
书签 0413
查看全部 -
安装hadoop: 1、准备liunx环境； 2、安装JDK； 3、配置hadoop； 新搭建方式：使用云主机进行配置
查看全部 -
MapReduce容错机制 1.重复执行，任务失败后，重复执行4次； 2.推测执行，对于较慢的任务，新建taskTracker执行相同任务，使用最先完成的task。
查看全部 -
MapReduce作业执行过程
查看全部
举报
0/150
提交
取消