-
ttt查看全部
-
hadoop配置查看全部
-
HDFS;分布式文件存储,(文件以“块”进行存储,HDFS默认块大小为64M,) NameNode: 管理节点,存储文件元数据。文件与数据块的映射表,数据块与数据节点的映射表。 DataNode: 工作节点,真正存储数据块。查看全部
-
hadoop环境成功搭建查看全部
-
环境变量中设置hadoop环境查看全部
-
更新配置文件hadoop目录下/conf文件加下面mapred-site.xml: 1.mapred.job.tracker: 任务执行查看全部
-
更新配置文件hadoop目录下/conf文件加下面hdfs_site.xml: 1.dfs.data.dir: 文件系统数据目录查看全部
-
更新配置文件hadoop目录下/conf文件加下面core_site.xml配置hadoop的配置: 1.hadoop.tmp.dir: hadoop工作目录; 2.dfs.name.dir: 元数据目录; 3.fs.default.name:查看全部
-
更新配置文件hadoop目录下/conf文件加下面 1.hadoop-env.sh里面的java_home的路径,和系统安装的java_home的路径相同;查看全部
-
通过wget命令可以获取hadoop的安装包; wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz查看全部
-
source FileName 作用:在当前bash环境下读取并执行FileName中的命令。 注:该命令通常用命令“.”来替代。 如:source .bash_rc 与 . .bash_rc 是等效的。 注意:source命令与shell scripts的区别是, source在当前bash环境下执行命令,而scripts是启动一个子shell来执行命令。这样如果把设置环境变量(或alias等等)的命令写进scripts中,就只会影响子shell,无法改变当前的BASH,所以通过文件(命令列)设置环境变量时,要用source 命令。查看全部
-
设置java环境变量查看全部
-
linux环境下下载安装jdk查看全部
-
1.Hadoop作用主要用于分布式存储以及分布式计算; 2.hadoop生态系统: 1).hdfs 2).mapreduce 3).相关开源工具: (1)hive:将sql语句转化为hadoop任务。 (2)HBASE:存储结构化数据的分布式数据库,放弃事务特性,追求更高的扩展,它提供数据的随机读写和实时访问,实现对表数据的读写功能 (3)zookeeper:监控Hadoop集群里的每个节点的状态,管理整个集群的配置,维护数据节点之间的一致性。查看全部
-
HDFS;分布式文件系统, MapReduce:并行处理框架,实现任务分解和调度查看全部
举报
0/150
提交
取消