-
mapReduce查看全部
-
文件写入流程查看全部
-
客户端发送文件读请求——>namenode返回元数据（从哪些datanode找到）——>客户端读取block，下载下来之后组装； 客户端文件拆分成block——>通知namenode返回可用的 有足够磁盘空间的datanode——>客户端对block进行写入——>流水线复制——>更新元数据 ；查看全部
-
hadoop安装步骤： 1、安装JDK:apt-get install openjdk-7-jdk； 2、设置环境变量：JAVA_HOME、JRE_HOME、CLASSPATH、PATH（在/etc/profile） 3、下载hadoop安装包并解压到指定目录下； 4、设置环境变量：HADOOP_HOME、PATH（在/etc/profile） 5、修改相关配置文件$HADOOP_HOME/conf： 1）修改hadoop-env.sh，设置JAVA_HOME； 2）修改core-site.xml，设置hadoop.tmp.dir、dfs.name.dir、fs.default.name； 3）修改mapred-site.xml，设置mapred.job.tracker； 4）修改hdfs-site.xml，设置dfs.data.dir； 6、格式化：hadoop namenode -format； 7、启动：start-all.sh 8、检查：jps查看全部
-
hadoop的组成，包括两个核心组成： HDFS:分布式文件系统，存储海量的数据 MapReduce：并行处理框架，实现任务分解和调度查看全部
-
HDFS使用：它提供了 shell 接口，可以进行命令行操作 hadoop namenode -format #格式化namenode hadoop fs -ls / #打印 / 目录文件列表 hadoop fs -mkdir input #创建目录 input hadoop fs -put hadoop-env.sh input/ #上传文件 hadoop-env.sh 到 input 目录下 hadoop fs -get input/abc.sh hadoop-envcomp.sh #从 input 目录中下载文件 hadoop fs -cat input/hadoop-env.sh #查看文件 input/hadoop-env.sh hadoop dfsadmin -report #dfs报告查看全部
-
hadoop查看全部
-
hadoop生态圈查看全部
-
google三大技术查看全部
-
mapreduce\bigtable\GFS查看全部
-
21世纪核心的竞争是数据的竞争 谁拥有更多数据，谁就拥有未来 ——马云查看全部
-
hadoop运行查看全部
-
Java查看全部
-
重新看查看全部
-
google大数据技术查看全部
举报
0/150
提交
取消