-
hadoop安装需要配置以下4个文件：
hadoop-env.sh
core-site.xml
mapred-site.xml
hadfs-ste.xml
查看全部 -
设置环境变量
vim /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64/
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
source /etc/profile
查看全部 -
JobTracker
作业调度
分配任务、监控任务执行进度
监控TaskTracker的状态
TaskTrack
执行任务
汇报任务状态
查看全部 -
HDFS 分布式文件系统
MapReduce 并行处理矿建
HIVE 将SQL语句转化为Hadoop任务 ，降低使用门槛
HBASE 存储结构化数据的分布式数据库
（放弃了事务特性 最求更高的扩展）
zookeeper 监控Hadoop集群的状态、管理配置、维护节点一次性
查看全部 -
MapReduce BigTable GFS
成本降低，能用PC机，就不用大型机和高端存储。
硬件故障为常态，通过软件保证可靠性。
简化并行分布式计算，无需控制节点同步和数据交换。
查看全部 -
linux系统中设置JAVA环境变量
查看全部 -
linux系统中安装JDK
apt-get install openjdk-7-jdk
查看全部 -
Hadoop生态圈
查看全部 -
Hadoop的组成
查看全部 -
Google大数据三大关键技术
MapReduce
BigTable
GFS
革命性变化：
成本降低，能用PC机，就不用大型机和高端存储
软件容错、硬件故障视为常态，通过软件保证可靠性
简化并行分布式计算，无需控制节点同步和数据交换
Hadoop是一个模仿Google大数据技术的开源实现
查看全部 -
MAP查看全部
-
MapReduce的容错机制
1.重复执行
2.推测执行
查看全部 -
MapReduce作业执行过程
查看全部 -
TaskTracker的角色
1.执行任务
2.汇报任务状态
查看全部 -
JobTracker的角色
1. 作业调度
2.分配任务、监控任务执行进度
3.监控TaskTracker的状态
查看全部
举报