-
Hadoop 主要作用是 分布式存储+分布式计算查看全部
-
大数据存储及处理技术的原理以及hadoop的使用和开发查看全部
-
#Google大数据技术 MapReduce、BigTables、GFS 革命性的变化1：成本降低，能用PC机，就不用大型机和高端存储。 革命性的变化2：软件容错硬件故障视为常态，通过软件保证可靠性。 革命性的变化3：简化并行分布式计算，无须控制节点同步和数据交换查看全部
-
系统瓶颈：存储容量，读写速率，计算效率查看全部
-
HDFS特点： 1、数据冗余，软件方式保证低成本硬件容错。 2、流式读写（一次写入，多次读取，不可修改）。 3、适合存储大文件（否则namenode消耗高，头大身小）。 优点：存储块大，吞吐量高，为存储大文件设计； 缺点：延迟高，不适合交互式访问，不支持多用户同时操作一个块。查看全部
-
1.每个数据块3个副本，分布在两个机架内的三个节点，2个在同一个机架上，另外一个在另外的机架上。 2.心跳检测，datanode定期向namenode发送心跳消息。 3.secondary namenode;定期同步元数据映像文件和修改日志，namenode发生故障，secondaryname备份上位查看全部
-
NameNode 适合存储大的文件查看全部
-
4、mapred-site.xml文件 <configuration> <property> <name>mapred.job.tracker</name> <value>iZ234znod84Z:9001</value> </property> </configuration>查看全部
-
hdfs-site.xml <property> <name>dfs.data.dir</name> <value>/hadoop/data</value> </property>查看全部
-
<property> <name>hadoop.tmp.dir</name> <value>/hadoop</value> </property> <property> <name>dfs.name.dir</name> <value>/hadoop/name</value> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property>查看全部
-
工具hive查看全部
-
1.HDFS文件系统的文件分成“块（block）”进行存储 2.HDFS块的默认大小64MB 3.块是文件存储处理的逻辑单元 4.HDFS有两类节点：a.NameNode;b.DataNode a.NameNode是管理节点，存放文件元数据，包括文件与数据块的映射表、数据块与数据节点的映射表 b.DataNode是工作节点，存放数据块查看全部
-
Linux基础知识 Java编程基础查看全部
-
hadoop安装步骤： 1、安装JDK:apt-get install openjdk-7-jdk； 2、设置环境变量：JAVA_HOME、JRE_HOME、CLASSPATH、PATH 3、下载hadoop安装包并解压到指定目录下； 4、设置环境变量：HADOOP_HOME、PATH 5、修改相关配置文件$HADOOP_HOME/conf： 1）修改hadoop-env.sh，设置JAVA_HOME； 2）修改core-site.xml，设置hadoop.tmp.dir、dfs.name.dir、fs.default.name； 3）修改mapred-site.xml，设置mapred.job.tracker； 4）修改hdfs-site.xml，设置dfs.data.dir； 6、格式化：hadoop namenode -format； 7、启动：start-all.sh 8、检查：jps查看全部
-
需要安装apt-get install openssh-server. hosts文件中需要添加 imooc 127.0.0.1查看全部
举报
0/150
提交
取消