-
HDFS系统 Mapreduce框架查看全部
-
HDFS查看全部
-
hadoop安装步骤： 1、安装JDK:apt-get install openjdk-7-jdk； 2、设置环境变量：JAVA_HOME、JRE_HOME、CLASSPATH、PATH 3、下载hadoop安装包并解压到指定目录下； 4、设置环境变量：HADOOP_HOME、PATH 5、修改相关配置文件$HADOOP_HOME/conf： 1）修改hadoop-env.sh，设置JAVA_HOME； 2）修改core-site.xml，设置hadoop.tmp.dir、dfs.name.dir、fs.default.name； 3）修改mapred-site.xml，设置mapred.job.tracker； 4）修改hdfs-site.xml，设置dfs.data.dir； 6、格式化：hadoop namenode -format； 7、启动：start-all.sh 8、检查：jps查看全部
-
MapReduce执行过程查看全部
-
安装hadoop: 1、准备liunx环境； 2、安装JDK； 3、配置hadoop； 收费快捷方式：使用云主机进行配置查看全部
-
hadoop生态系统： 1.hdfs分布式存储系统 2.mapreduce 大数据编程模型 3.相关开源工具： （1）hive：将sql语句转化为hadoop任务 （2）HBASE：存储结构化数据的分布式数据库，放弃事务特性，追求更高的扩展，它提供数据的随机读写和实时访问，实现对表数据的读写功能 （3）zookeeper:监控Hadoop集群里的每个节点的状态，管理整个集群的配置，维护数据节点之间的一致性查看全部
-
Google提出的三大革命技术：Mapreduce, BigTable, GFS 1：成本降低、能用PC机、就不用大型机和高端存储。 2、软件容错硬件故障视为常态。通过软件保证高可靠性。 3.简化并行分布式计算，无须控制节点同步和数据交换。。。查看全部
-
MapReduce作业执行流程查看全部
-
MapReduce体系结构查看全部
-
前提准备: 1.Linux常用命令的掌握 2.java的编程基础查看全部
-
这图。。。查看全部
-
jobTracker的角色：1、作业调度；2、分配；3、监控查看全部
-
每个数据块（datanode）都会有3个副本，分布在两个机架内的三个节点。查看全部
-
hdfs的文件被分成块进行存储，HDFS块的大小默认是64MB.块数文件存储处理的逻辑单元。查看全部
-
mkdir examples //生成一个examples目录 cd examples //进入examples文件路径 mkdir word_count //生成word_count目录 cd word_count //进入word_count目录 mkdir input //用于存放提交的作业 mkdir word_count_class //用于存放编译好的类 vim WordCount.java // 编写好java程序后保存，资料下载里面有 javac -classpath /opt/hadoop-1.2.1/hadoop-core-1.2.1.jar:/opt/hadoop-1.2.1/lib/commons-cli-1.2.jar -d word_count_class/ WordCount.java //因为编译WordCount.java过程需要引用hadoop封装类，所以需要引用 jar -cvf wordcount.jar *.class //将当前目录下的所有class都打包进wordcount.jar文件中 cd .. //返回上级word_count目录 cd input vim file1 //编辑好file1 之后保存 ，file1里面为需要提交的作业 vim file2 // 类似 cd .. //返回到word_count目录 hadoop fs -mkdir input_wordcount //创建一个hadoop 目录，用于存放提交的作业 hadoop fs -put input/* input_wordcount //将本地的作业提交到input_wordcount目录中 hadoop fs -ls input_wordcount //查看文件是否在该目录下 hadoop jar word_count_class/wordcount.jar WordCount input_wordcount output_wordcount //提交jvm运行的jar，同时提交运行的主类，input..和out..分别用于保存提交的作业和运行结束的作业 .... .... .... 等待程序运行， ok查看全部
举报
0/150
提交
取消