-
Google大数据技术：MapReduce、bigtable、GFS。
查看全部 -
MapReduce的容错机制
1、重复执行（默认执行4次，4次后放弃）
2、推测执行
查看全部 -
TaskTracker的角色
1、执行任务
2、向JobTracker汇报任务状态
查看全部 -
JobTracker的角色
1、作业调度2、分配任务，监控任务执行进度
3、监控TaskTracker的状态
查看全部 -
HDFS的特点
1、数据冗余，硬件容错
2、流式的数据访问（一次写入多次读取，且写入的数据无法修改）
3、适合存储大文件
查看全部 -
DATaNode数据块：
每个数据块3个副本，分布在两个机架内的三个节点
查看全部 -
NameNode是管理节点，存放文件元数据
1、文件与数据块的映射表
2、数据块与数据节点的映射表
查看全部 -
HDFS的文件被分成块进行存储
HDFS块默认大小64MB
块是文件存储处理的逻辑单元
查看全部 -
Hadoop的组成：
包括两个核心组成：
HDFS：分布式文件系统，存储海量的数据
MapReduce：并行处理框架，实现任务分解和调度
查看全部 -
Google大数据技术
MapReduce、BigTable、GFS
查看全部 -
安装后配置hadoop文件
一、设置java目录和hadoop目录：
vi /etc/profile
JAVA_HOME=/etc/usr/java/jdk-1.8.1
JAR_HOME=$JAVA_HOME/jre
HADOOP_HOME=/etc/usr/hadoop-1.2.1
PATH=$JAVA_HOME/bin:$JAR_HOME/bin:$HADOOP_HOME/bin:$PAHT
二、修改四个配置文件
1、core-site.xml（haddop.temp.dir、dfs.name.dir、fs.default.name）
<configuration> <property> <name>hadoop.tmp.dir</name> <value>/hadoop</value> </property> <property> <name>dfs.name.dir</name> <value>/hadoop/name</value> </property> <property> <name>fs.default.name</name> <value>hdfs://imooc:9000</value> </property> </configuration>
2、修改mapred-site.xml（mapred.job.tracker）
<configuration> <property> <name>mapred.job.tracker</name> <value>imooc:9001</value> </property> </configuration>
3、修改hsfs-site.xml，设置dfs.data.dir
<property> <name>dfs.data.dir</name> <value>/hadoop/data</value> </property>
4、修改hadoop的环境变量文件hadoop-env.sh
JAVA_HOME=/etc/usr/java/jkd-1.8.1
三、对hadoop进行格式化已经启动：
hadoop namenode -format
start-all.sh
jps=》查看hadoop是否安装成功
查看全部 -
SSH 工具
云上安装LINUX
putty工具已完成
查看全部 -
Hadoop的优势：
高扩展
低成本
成熟的生态圈
查看全部 -
Hadoop的用处
查看全部 -
Hadoop的组成
查看全部
举报