-
java环境变量查看全部
-
HDFS写入文件流程（每个块的写入）查看全部
-
HDFS读取文件流程查看全部
-
Hadoop的数据管理策略： 1、数据块副本：每个数据块有3个副本，分布在各DataNode节点中。确保当某个节点发生故障时，仍然可以从其他节点获取到对应数据块 2、心跳检测：每个DataNode都会定期向NameNode发送特定的消息，表明对应DataNode是处于active状态的 3、二级NameNode：定期同步NameNode的元数据映像文件、修改日志，当NameNode发生故障时，取代其成为NameNode查看全部
-
HDFS基本概念：【图：HDFS体系结构】 1、块（Block）：HDFS的文件被分成块进行存储，块的大小默认为64MB，块是文件存储处理的逻辑单元 2、NameNode：管理节点，存放文件元数据 文件元数据包括（1）文件与数据块的映射表；（2）数据块与数据节点的映射表 3、DataNode：工作节点，存放数据块查看全部
-
4、命令hadoop测试Hadoop是否安装配置成功 5、启动之前，对namenode进行格式化（文件系统格式化） 命令hadoop namenode -format 6、启动Hadoop 执行hadoop-1.2.1/bin目录下的start-all.sh：在任意目录下输入命令start-all.sh 命令jps查看当前java进程，以此判断Hadoop是否正常运行：应当包括进程JobTracker, TaskTracker, NameNode, DataNode, SecondaryNameNode 命令hadoop fs -ls /查看HDFS上的文件夹（根目录下）查看全部
-
配置Hadoop： 1、下载Hadoop安装包 命令wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz 2、解压缩 命令tar -zxvf hadoop-1.2.1.tar.gz 3、配置文件，在hadoop-1.2.1/conf文件夹下，文件包括 hadoop-env.sh, core-site.xml, hdfs-site.xml, mapred-site.xml (1)vim hadoop-env.sh 将# export JAVA_HOME=/usr/lib/j2sdk1.5-sun 修改为 export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 #jdk安装目录（命令echo $JAVA_HOME可以获得路径） (2)vim core-site.xml 在<configuration></configuration>之间加入 <property> <name>hadoop.tmp.dir</name> <value>/hadoop</value> </property> <property> <name>dfs.name.dir</name> <value>/hadoop/name</value> </property> <property> <name>fs.default.name</name> <value>hdfs://imooc:9090</value><!--host:端口--> </property> (3)vim hdfs-site.xml 在<configuration></configuration>之间加入 <property> <name>dfs.data.dir</name> <value>/hadoop/data</value> </property> (4)vim mapred-site.xml 在<configuration></configuration>之间加入 <property> <name>mapred.job.tracker</name> <value>imooc:9001</value><!--host:端口--> </property>查看全部
-
安装JDK，配置环境变量（Ubuntu系统）： 1、命令javac测试是否已经存在java开发环境 2、命令apt-get install openjdk-7-jdk安装jdk（是否安装选y） 3、命令vim /etc/profile设置环境变量 【按i进入insert模式，按Esc退出，在非insert模式下输入:wq表示保存并退出vim】 在文件开头添加（#开头的行是注释）： export JAVA_HOME = /usr/lib/jvm/java-7-openjdk-amd64 #jdk安装目录 export JRE_HOME = $JAVA_HOME/jre export HADOOP_HOME = /opt/hadoop1.2.1 #Hadoop安装目录，安装完Hadoop后再添加 export CLASSPATH = $JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH = $JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH #安装完Hadoop后再添加:$HADOOP_HOME/bin 4、命令source /etc/profile使其生效查看全部
-
HDFS:块、NameNode、DataNode 块 默认大小为64MB查看全部
-
Hadoop安装： 1、Linux环境：虚拟机/云主机，Ubuntu/CentOS 2、安装JDK 3、配置Hadoop查看全部
-
Hadoop相关的工具： 1、Hive：将SQL语句转化为Hadoop任务，使用者只需编写SQL语句，降低了使用Hadoop的门槛 2、HBASE：存储结构化数据的分布式数据库。相比传统关系型数据库，放弃了事务特性，追求更高的扩展；相比HDFS，提供数据的随机读写和实时访问，实现了对表数据的读写功能 3、zookeeper：监控集群里每个节点的状态，管理整个集群的配置，维护数据的一致性查看全部
-
Hadoop的组成： 1、HDFS：分布式文件系统，存储海量数据 2、MapReduce：并行处理框架，实现任务的分解和调度查看全部
-
参考书查看全部
-
NameNode存放的元数据查看全部
-
NameNode 节点查看全部
举报
0/150
提交
取消