-
HDFS设计架构：
块:文件以“块”进行存储，HDFS默认块大小为64M
namenode：是管理节点，存放文件元数据，包括文件与数据块的映射表、数据块与数据节点的映射表
datenode：工作节点，真正存储数据块 最终体系结构：由block、namenode、datanode、secondarynamenode、client组成
查看全部 -
一.安装jdk
二.配置hadoop的配置文件
1.mapred-site.xml 配置文件
mapred.job.tracker mapred 访问路径
2.core-site.xml 配置文件 需要修改的
hadoop.tmp.dir 临时工作目录
dfs.name.dir 原数据目录
fs.default.name 文件系统地址和端口号
3.hdfs-site.xml
dfs.data.dir 存放文件块的一个目录
4.hadoop-env.sh
配置java_home的安装路径
三.格式化format
hadoop namenode -format
四.启动hadoop
start-satrt-all.sh
五.用命令jps查看进程
JpbTracker
Jps
SecondaryNameNode
NameNode
DataNode
TaskTracker
查看全部 -
下载软件地址： wget https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
配置4个文件(三个xml文件，一个.sh文件)
mapred-site.xml
core-site.xml
hadoop-env.sh
hdfs-site.xml
hadoop安装及配置：
1.下载hdoop按照包并进行解压
2.配置hdoop-env.sh文件，目的是配置jdk，并在profile配置haddoop的安装位置
3.配置core-site.xml文件：hdoop的核心文件，里面有关于hdoop的节点端口与主机端口
4.配置hdfs-site.xml文件：hdoop的文件存储的基本信息与目录
5.配置mapred-site.xml文件：hadoop的计算节点的端口号
查看全部 -
设置环境变量
vim /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64/
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
查看全部 -
zookeeper（动物管理员）
管理Hadoop节点状态和Hadoop的配置，维护数据节点的一致性
查看全部 -
hbase区别HDFS
查看全部 -
Hadoop可以用来做什么？
查看全部 -
Hadoop的组成
查看全部 -
hadoop是什么
开源的 分布式存储+分布式计算平台
查看全部 -
MapReduce的容错机制
重复执行：执行出错之后会重复执行四次
推测执行，判断taskTracker的运行状态，适当进行替换和舍弃
查看全部 -
MapReduce的作业执行过程
查看全部 -
JobTracker的角色
作业调度
分配任务、监控任务的执行进度
监控taskTracker状态
TaskTracker的角色
执行任务
向JobTracker报告进度
查看全部 -
MapReduce的核心思想就是分而治之，将一个大人物分成多个小任务，并行执行之后，在合并结果
查看全部 -
HDFS的存取命令
存：hadoop fs -put a.txt input
取：Hadoop fs -get input/a.txt
查看全部 -
HDSF特点
数据肉欲，硬件容错，做了多个备份
流式访问数据，无法对数据进行更改，适合一次写入，多次读取
存储大文件，不适合大量存储小文件，以为NameNode比较占空间，小文件不划算
适用性和局限性
适合数据的批量读写，吞吐量高，一次写入，多次读取
不适合交互式应用，低延迟很难满足，不支持并发写入相同文件
查看全部
举报